特許ウォッチ

公開番号2025003256
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2023161507
出願日2023-09-25
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 15/04 20110101AFI20241226BHJP(計算;計数)
要約【課題】 3Dモデルを構成する要素とカメラ視点との位置関係によっては、UV展開にて生成されるフラグメントに色付けができない結果、色抜けを含んだ低画質なテクスチャ画像になってしまう。
【解決手段】 UV展開において、仮想カメラのカメラパラメータを設定してフラグメントを生成するようにする。
【選択図】図6
特許請求の範囲【請求項１】
視点の異なる複数の撮影画像に映るオブジェクトの三次元形状データを取得する取得手段と、
前記三次元形状データを構成する要素を複数のグループに分割する分割手段と、
前記複数のグループそれぞれに対し、特定の撮影視点を表す視点情報を対応付ける制御手段と、
前記複数のグループとグループ毎に対応付けられた前記特定の撮影視点を表す視点情報とに基づいて二次元マップを生成する第１生成手段と、
前記二次元マップに基づき前記オブジェクトの色を表すテクスチャ画像を生成する第２生成手段と、
を備え、
前記特定の撮影視点には、前記複数の撮影画像それぞれの撮影視点とは異なる仮想的な撮影視点を含む、
ことを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記取得手段は、前記複数の撮影画像それぞれの撮影視点を表す複数の視点情報を取得し、
前記分割手段は、前記複数の視点情報に基づいて、前記三次元形状データを構成する要素を複数のグループに分割する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記取得手段によって取得された前記複数の視点情報が表す複数の撮影視点のいずれも条件を満たさない場合、前記複数の視点情報が表す複数の撮影視点とは異なる仮想的な撮影視点を、前記特定の撮影視点として前記対応付けを行う、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記取得手段によって取得された前記複数の視点情報によって表される複数の撮影視点のうち前記条件を満たす撮影視点を前記特定の撮影視点として前記対応付けを行う、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記複数の視点情報のうち注目する視点情報に対応する撮影視点の方向ベクトルと前記グループを構成する要素の法線ベクトルとのなす角が閾値以下であることを前記条件とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記複数の視点情報によって表される撮影視点の中に前記なす角が閾値以下となる撮影視点がない場合、前記グループを構成する要素の法線ベクトルに沿った視線方向を持つ仮想的な撮影視点を、前記特定の撮影視点として前記対応付けを行う、ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記複数の視点情報によって表される撮影視点のうち注目する撮影視点で前記グループを構成する要素を射影したときに得られる形状の面積が閾値以上であることを前記条件とする、請求項４に記載の画像処理装置。
【請求項８】
前記制御手段は、前記複数の視点情報によって表される撮影視点の中に前記面積が閾値以上となる撮影視点がない場合、前記グループを構成する要素の法線ベクトルに沿った視線方向を持つ仮想的な撮影視点を、前記特定の撮影視点として前記対応付けを行う、ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記分割手段は、前記三次元形状データを構成する要素の法線ベクトルに基づいて要素をグループに分割する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記グループを構成する要素の法線ベクトルに沿った視線方向を持つ仮想的な撮影視点を、前記特定の撮影視点として前記対応付けを行う、ことを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、オブジェクトの三次元形状データの色決めに用いるテクスチャ画像を生成する技術に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
近年、三次元コンピュータグラフィックスが発達してきている。三次元コンピュータグラフィックスでは、オブジェクトの形状を、複数のポリゴンで構成されたメッシュデータ（一般に「３Ｄモデル」とも呼ばれる。）で表現する。そして、オブジェクトの色や質感等は、当該３Ｄモデルを構成する各ポリゴンの表面にテクスチャ画像を貼り付けることにより表現する。テクスチャ画像は、３Ｄモデルを複数のグループに分割し、グループ毎にＵＶ展開して生成した二次元断片（「フラグメント」と呼ばれる。）を配置したＵＶマップに色情報を付与することにより生成できる。例えば、特許文献１では、各ポリゴンに対してオブジェクトに対する複数のカメラ視点の中から１つのカメラ視点を選択し、グループ毎にＵＶ展開する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１―６４３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３Ｄモデルを構成するポリゴンの面内方向付近にしかカメラが存在しない場合、ＵＶ展開によって生成されるフラグメントの形状が直線に近いような潰れた形になり、色情報を付与できないという問題がある。ここで、具体例を使って説明する。図１（ａ）は、人の顔のメッシュデータを構成する２つのポリゴン１１０１、１１０２が映る位置に配置されたカメラ視点１１０３を図示している。図１（ｂ）は、これら２つのポリゴン１１０１、１１０２とカメラ視点１１０３との位置関係を示す図である。いま、カメラ視点１１０３の視線方向とポリゴン１１０１とはほぼ垂直な関係にある一方、カメラ視点１１０３の視線方向とポリゴン１１０２とはほぼ平行な関係にある。ここで、ポリゴン１１０１をカメラ視点１１０３で射影してフラグメント１１０６を生成すると、黒丸１１０８で示すいくつかの画素中心を内側に含むことになる。よって、カメラ視点１１０３の撮影画像におけるこれら各画素の画素値を使ってフラグメント１１０６に色情報を付与することができる。これに対し、ポリゴン１１０２をカメラ視点１１０３で射影してフラグメント１１０７を生成した場合には、カメラ視点１１０３の撮影画像におけるどの画素の画素中心もその内側に含まないことになる。その結果、フラグメント１１０７には色情報を付与することができない、ということになる。このように、３Ｄモデルを構成する要素（上述の例ではポリゴン）とカメラ視点との位置関係によっては、ＵＶ展開にて生成されるフラグメントに色付けができない結果、色抜けを含んだ低画質なテクスチャ画像になってしまうという課題がある。
【課題を解決するための手段】
【０００５】
本開示に係る画像処理装置は、視点の異なる複数の撮影画像に映るオブジェクトの三次元形状データを取得する取得手段と、前記三次元形状データを構成する要素を複数のグループに分割する分割手段と、前記複数のグループそれぞれに対し、特定の撮影視点を表す視点情報を対応付ける制御手段と、前記複数のグループとグループ毎に対応付けられた前記特定の撮影視点を表す視点情報とに基づいて二次元マップを生成する第１生成手段と、前記二次元マップに基づき前記オブジェクトの色を表すテクスチャ画像を生成する第２生成手段と、を備え、前記特定の撮影視点には、前記複数の撮影画像それぞれの撮影視点とは異なる仮想的な撮影視点を含む、ことを特徴とする画像処理装置。
【発明の効果】
【０００６】
本開示によれば、高画質なテクスチャ画像を得ることができる。
【図面の簡単な説明】
【０００７】
（ａ）はメッシュデータを構成するポリゴンが映る位置に配置されたカメラ視点を示す図、（ｂ）はポリゴンとカメラ視点との位置関係を示す図。
（ａ）は画像処理装置が備えるハードウェア構成の一例を示すブロック図、（ｂ）は画像処理装置のソフトウェア構成の一例を示すブロック図。
実施形態１に係る、画像処理装置の大まかな動作フローを示すフローチャート。
実施形態１に係る、メッシュ分割処理の詳細を示すフローチャート。
カメラ選択処理の詳細を示すフローチャート。
実施形態１に係る、カメラパラメータ設定処理の詳細を示すフローチャート。
実施形態１に係る、テクスチャ画像生成処理の詳細を示すフローチャート。
（ａ）はメッシュデータとその生成に使用された複数の撮影画像に対応する実カメラを示す図、（ｂ）はメッシュデータがグループに分割された状態を示す図、（ｃ）はグループに対応するフラグメントを示す図、（ｄ）は二次元マップ上にフラグメントを配置した状態を示す図。
グループに対して仮想カメラのカメラパラメータを設定する様子を示す図。
テクスチャ画像の生成過程を説明する図。
実施形態２に係る、画像処理装置の大まかな動作フローを示すフローチャート。
実施形態２に係る、メッシュ分割処理の詳細を示すフローチャート。
実施形態２に係る、カメラパラメータ設定処理の詳細を示すフローチャート。
（ａ）はメッシュデータを示す図、（ｂ）はメッシュデータがグループに分割された状態を示す図。
実施形態２に係る、テクスチャ画像生成処理の詳細を示すフローチャート。
カメラ選択処理の詳細を示すフローチャート。
実施形態３に係る、画像処理装置の大まかな動作フローを示すフローチャート。
仮想カメラの配置例を示す図。
実施形態３に係る、メッシュ分割処理の詳細を示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【０００９】
［実施形態１］
まず、本実施形態に係る、画像処理装置のハードウェア構成及びソフトウェア構成について、図面を参照して説明する。
【００１０】
＜ハードウェア構成＞
図２（ａ）は、本実施形態の画像処理装置１００が備えるハードウェア構成の一例を示すブロック図である。画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、表示部１０５、操作部１０６、通信部１０７、及びバス１０８を有している。
（【００１１】以降は省略されています）

関連特許