特許ウォッチ

公開番号2024117499
公報種別公開特許公報(A)
公開日2024-08-29
出願番号2023023632
出願日2023-02-17
発明の名称画像処理装置、画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 3/047 20240101AFI20240822BHJP(計算;計数)
要約【課題】HMD(Head Mounted Display)で視聴することを前提に、魚眼画像などの非透視投影画像に対して画像処理を適用する場合、画像中の領域に依存することなく、透視投影用の画像処理を非透視投影画像に適用可能にする画像処理装置、方法及びプログラムを提供する。
【解決手段】画像処理装置が行う処理は、非透視投影画像1を取得・分割するS2010ことと、分割したそれぞれの画像領域内の画像を透視投影画像に変換するS2030ことと、該透視投影画像に対して画像処理を施すS2040ことと、非透視投影画像2に変換するS2050ことと、を含む。
【選択図】図2
特許請求の範囲【請求項１】
非透視投影画像におけるそれぞれの画像領域内の画像を透視投影画像に変換し、該透視投影画像に対して画像処理を施してから非透視投影画像に変換する変換手段
を備えることを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記変換手段は、前記画像領域における画素の画素位置および前記画像領域の縦方向および横方向の角度に応じたパラメータに基づいて該画像領域内の画像を透視投影画像に変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変換手段は、前記透視投影画像に対してバイラテラルフィルタを施すことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変換手段は、前記透視投影画像に対してバンドパスフィルタを施すことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記変換手段は、前記透視投影画像に対して、ディープラーニングを使った鮮鋭化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記変換手段は、前記透視投影画像に対してガウシアンフィルタカーネルによる畳み込み積分を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記それぞれの画像領域について前記変換手段により得られる非透視投影画像に基づく結合画像を生成する生成手段を有し、
前記変換手段は、隣り合う画像領域が重複部分を有するそれぞれの画像領域内の画像を透視投影画像に変換し、該透視投影画像に対して画像処理を施してから非透視投影画像に変換し、
前記生成手段は、前記それぞれの画像領域について前記変換手段により得られる非透視投影画像に基づく結合画像のそれぞれの画素の画素値を、該画素に対応するブレンド率に基づいて正規化する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記変換手段は、前記非透視投影画像における画像領域に対応するフィルタ強度のフィルタ処理を該画像領域に対応する透視投影画像に対して行ってから非透視投影画像に変換することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記変換手段は、前記非透視投影画像における画像領域の位置に基づいてフィルタ強度を求めることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記変換手段は、前記非透視投影画像における画像領域の位置の射影による変形量に基づいてフィルタ強度を求めることを特徴とする請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、非透視投影画像に対する画像処理技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）型のＸＲ情報処理端末が普及し始めている。ＸＲとは、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、仮想現実）、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，拡張現実）、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ，複合現実）を総称する言葉である。
【０００３】
ＨＭＤ型のＸＲ情報処理端末では、ＣＧだけでなく実写も視聴可能で、魚眼レンズをつかった広角の画像の一部を、頭部の動きに追従して切り出し、透視投影画像に変換して表示する。透視投影とは立体物上の点が全て１点の視点に放射状に集束すると考える射影方式である。狭義の透視投影は平面への射影だが、ＨＭＤの表示パネル前にはレンズが配置され、画像を平面に表示するわけではない。しかし、１点の視点に放射状に集束する画像を扱うことに違いがないため、以後、これらの射影を総称して透視投影と表現する。ＸＲ向けの実写の広角画像コンテンツには、３６０度画像（全天周画像などとも呼ばれる）やステレオ１８０度画像がある。３６０度画像は、２つ以上の魚眼カメラで撮影した画像をつなぎ合わせて作られる。ステレオ１８０度画像は、魚眼レンズを並べてステレオ撮影することで得られる。撮影時の記録は魚眼画像の形で記録されることが多いが、ＨＭＤ向けの配信用コンテンツとしては、魚眼画像に透視投影画像への変換を容易にするメッシュ情報を添付したもの、あるいは、魚眼画像を正距円筒画像に変換したものが使われる。メッシュ情報とは、魚眼画像を三角形で分割する際の交点の座標とそれを半球上に射影する座標の情報である。メッシュ情報で射影する座標は、レンズの歪みを除去したものになる。ＨＭＤにおける表示時には、魚眼画像の画素に対し、交点をそのまま、非交点は補間することで、半球に射影し、さらに透視投影画像に変換する。正距円筒画像は、魚眼画像を正距円筒変換したもので、メッシュと同様にレンズ歪を除去した形で変換され、ＨＭＤにおける表示時には、透視投影画像に変換される。魚眼画像や正距円筒画像は広角領域も２次元画像データとして画像に記録できるが、像高の高い部分（広角領域）は、中央部に対して、大きく歪ませて記録することになる。
【先行技術文献】
【特許文献】
【０００４】
米国特許出願公開第２０２０／０３８２７５５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＨＭＤで視聴することを前提に、魚眼画像などの非透視投影画像に対して画像処理を適用する場合、特許文献１の技術では、どの視野でも均一な画像処理結果を得るためには、射影方式と視野領域に応じて画像処理を変える必要があった。本発明では、画像中の領域に依存することなく、透視投影用の画像処理を非透視投影画像に適用可能にするための技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態は、非透視投影画像におけるそれぞれの画像領域内の画像を透視投影画像に変換し、該透視投影画像に対して画像処理を施してから非透視投影画像に変換する変換手段を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像中の領域に依存することなく、透視投影用の画像処理を非透視投影画像に適用可能にするための技術を提供することができる。
【図面の簡単な説明】
【０００８】
画像処理装置のハードウェア構成例を示すブロック図。
画像処理装置が行う処理のフローチャート。
分割領域と、該分割領域に対応する透視投影画像と、の関係を示す図。
画像処理装置が行う処理のフローチャート。
アルファチャンネルマップの構成例を示す図。
画像処理装置が行う処理のフローチャート。
画像処理装置が行う処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置のハードウェア構成例について、図１のブロック図を用いて説明する。ＣＰＵ１０１は、メモリ１０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、画像処理装置全体の動作制御を行うと共に、画像処理装置が行う処理として説明する各種の処理を実行もしくは制御する。
（【００１１】以降は省略されています）

関連特許