特許ウォッチ

公開番号2025060576
公報種別公開特許公報(A)
公開日2025-04-10
出願番号2024171510
出願日2024-09-30
発明の名称画像処理装置、撮像装置、制御方法、プログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20250403BHJP(計算;計数)
要約【課題】仮想視点画像について所定の画質を担保する。
【解決手段】画像処理装置は、撮像画像をテクスチャとして適用する3次元モデルを描画した仮想視点画像を生成する画像処理装置であって、3次元モデルに関する法線情報を取得する取得手段と、3次元モデルを描画する描画視点を設定する設定手段と、設定手段により設定された描画視点に基づいて3次元モデルを描画した仮想視点画像を生成する第1生成手段と、を有し、設定手段は、法線情報に基づく空間領域中に描画視点を設定する。
【選択図】図11
特許請求の範囲【請求項１】
撮像画像をテクスチャとして適用する３次元モデルを描画した仮想視点画像を生成する画像処理装置であって、
前記３次元モデルを描画する描画視点を設定する設定手段と、
前記設定手段により設定された前記描画視点に基づいて前記３次元モデルを描画した前記仮想視点画像を生成する第１生成手段と、
前記３次元モデルに基づいて、前記設定手段に設定させる前記描画視点を制御する制御手段と、
を有する
ことを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記３次元モデルに関する法線情報を取得する取得手段をさらに有し、
前記制御手段は、前記法線情報に基づく空間領域中に前記描画視点を設定させるよう前記設定手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１生成手段は、前記３次元モデルを３次元空間に配置して前記描画視点について当該３次元空間を描画することで、前記仮想視点画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記空間領域は、前記３次元空間中の部分領域であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記空間領域は、前記３次元モデルを基準とした前記３次元空間中の範囲を相対的に定めるものであり、
前記制御手段は、前記法線情報に基づいて前記空間領域を特定する特定手段を含む
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記特定手段は、前記３次元モデルを基準とする前記空間領域の角度範囲を特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記法線情報は、前記３次元モデルを構成する面の法線ベクトルの情報を含み、
前記特定手段は、前記３次元モデルを構成する各面の法線ベクトルまたは前記３次元モデルの端部に分布する各面の法線ベクトルと、前記３次元空間中の位置から前記３次元モデルに向かうベクトルと、がなす角に基づいて前記角度範囲を特定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特定手段は、前記３次元モデルを構成する各面の法線ベクトルまたは前記３次元モデルの端部に分布する各面の法線ベクトルと、前記３次元モデルに向かうベクトルとの内積の平均値が所定の閾値を下回る前記３次元空間中の位置を特定し、当該３次元空間中の位置に基づいて前記角度範囲を特定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記特定手段はさらに、前記３次元モデルを基準とする前記空間領域の距離範囲を特定することを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記特定手段は、前記距離範囲のうちの前記３次元モデルに最も近接する距離を、当該３次元モデルにテクスチャとして適用される前記撮像画像の空間分解能に基づいて決定することを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、プログラムに関し、特に撮像時と異なる視点に対応する仮想視点画像を撮像画像に基づいて生成する技術に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
撮像画像に基づいて被写体等の３次元モデルとテクスチャを生成し、テクスチャを適用した当該３次元モデルを配置した３次元空間を任意の視点（仮想視点）について描画することで、撮像装置とは異なる位置から見た仮想視点画像を生成する技術がある。当該技術を利用することで、視点を順次異ならせながら撮像シーンを観賞する体験をユーザに提供することもできる（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－００３７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、仮想視点画像の品質は、当該仮想視点画像の生成にあたり設定される仮想視点に応じて変化し得る。例えば、撮像装置から被写体までの距離情報に基づいて構築される３次元モデルには、特に撮像方向において局所的に急峻な奥行き方向の変化が表れる領域等において、奥行き方向に延びる面が含まれる。撮像装置から抽出した画像をテクスチャとしてこのような面に適用すると、３次元モデルを撮像方向から描画する場合にはテクスチャが撮像画像と同様に見えるが、他の方向から描画する場合にはテクスチャが面に合わせて引き伸ばされ、異なった態様に見え得る。故に、３次元モデルを描画する方向によっては、一部の領域のテクスチャが好適に表れず（空間分解能が低下し）、画質劣化が発生した印象を観賞者に与え得る。
【０００５】
本発明は、上述の問題点に鑑みてなされたものであり、仮想視点画像について所定の画質を担保する画像処理装置、撮像装置、制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前述の目的を達成するために、本発明の画像処理装置は、撮像画像をテクスチャとして適用する３次元モデルを描画した仮想視点画像を生成する画像処理装置であって、３次元モデルを描画する描画視点を設定する設定手段と、設定手段により設定された描画視点に基づいて３次元モデルを描画した仮想視点画像を生成する第１生成手段と、３次元モデルに基づいて、設定手段に設定させる描画視点を制御する制御手段と、を有することを特徴とする。
【発明の効果】
【０００７】
このような構成により本発明によれば、仮想視点画像について所定の画質を担保することが可能となる。
【図面の簡単な説明】
【０００８】
本発明の実施形態及び変形例に係るデジタルカメラ１００のハードウェア構成を例示したブロック図
本発明の実施形態及び変形例に係る撮像素子１１の詳細構成を例示した図
本発明の実施形態及び変形例に係る撮像素子１１を用いた撮像面位相差測距原理を説明するための図
本発明の実施形態及び変形例に係る撮像素子１１を用いた撮像面位相差測距原理を説明するための別の図
本発明の実施形態及び変形例に係るデジタルカメラ１００で実行される距離画像の生成処理を例示したフローチャート
本発明の実施形態及び変形例に係るデフォーカス量から距離情報を導出する方法を説明するための図
本発明の実施形態及び変形例に係る距離情報に基づく３次元モデルの構築を説明するための図
本発明の実施形態及び変形例に係る３次元空間への３次元モデルの配置を例示した図
本発明の実施形態１及び変形例１に係る観賞上の違和感を知覚させ得る仮想視点画像を説明するための図
本発明の実施形態１に係る描画視点を設定可能な空間領域を例示した図
本発明の実施形態及び変形例に係るデジタルカメラ１００で実行される仮想視点画像の生成処理を例示したフローチャート
本発明の実施形態２に係る描画視点を設定可能な空間領域を例示した図
本発明の変形例２に係る描画視点を設定可能な空間領域を例示した図
本発明の変形例４に係る観賞上の違和感を知覚させ得る仮想視点画像を説明するための図
本発明の変形例５に係る観賞上の違和感を知覚させ得る仮想視点画像を説明するための図
本発明の実施形態３に係る仮想視点動画像の各フレームの仮想カメラの設定方法を説明するための図
本発明の変形例７に係る仮想視点動画像の生成方法を説明するための図
本発明の実施形態４に係る焦点距離の変更による仮想視点動画像の変化を説明するための図
本発明の実施形態４に係る描画視点の焦点距離の変更有無を判定する方法を説明するための図
本発明の実施形態４及び変形例９乃至１５に係るデジタルカメラ１００で実行される仮想視点画像の生成処理を例示したフローチャート
【発明を実施するための形態】
【０００９】
［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
以下に説明する一実施形態は、画像処理装置の一例としての、撮像画像に基づいて被写体に対応する３次元モデルを構築し、当該３次元モデルを描画することで撮像位置とは異なる視点に係る画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像をテクスチャとして適用する３次元モデルを描画した画像を生成することが可能な任意の機器に適用可能である。このような電子機器には、プリントシール機、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡ等）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン等を含むことができる。なお、本発明の実施はこれらの機器に限られるものではなく、他の機器においても実施可能であることは言うまでもない。
（【００１１】以降は省略されています）

関連特許