特許ウォッチ

公開番号2025086735
公報種別公開特許公報(A)
公開日2025-06-09
出願番号2023200974
出願日2023-11-28
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 15/20 20110101AFI20250602BHJP(計算;計数)
要約【課題】仮想視点画像の画質を向上させる。
【解決手段】本開示に係る画像処理装置102は、オブジェクトを複数の方向から撮像することにより得られる複数の撮像画像のデータと、仮想視点の位置、及び前記仮想視点における視線方向に関する仮想視点情報とを取得し、前記仮想視点情報に基づいて取得された前記オブジェクトの特徴に基づいて、仮想視点画像の生成方式を設定し、前記仮想視点情報と、設定された前記仮想視点画像の生成方式とに基づいて、前記仮想視点画像を生成する。
【選択図】図3
特許請求の範囲【請求項１】
オブジェクトを複数の方向から撮像することにより得られる複数の撮像画像のデータを取得する画像取得手段と、
仮想視点の位置、及び前記仮想視点における視線方向に関する仮想視点情報を取得する視点取得手段と、
前記仮想視点情報に基づいて取得された前記オブジェクトの特徴に基づいて、仮想視点画像の生成方式を設定する設定手段と、
前記仮想視点情報と、設定された前記仮想視点画像の生成方式とに基づいて、前記仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記設定手段は、形状に基づくレンダリング方式、又は放射輝度場に基づくレンダリング方式のいずれかを前記仮想視点画像の生成方式として設定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記形状に基づくレンダリング方式は、視体積交差法により前記複数の撮像画像を用いて生成された前記オブジェクトの３次元形状を示す情報と前記複数の撮像画像のデータとに基づいて、レンダリングを行う方式であること、
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記放射輝度場は、前記複数の撮像画像における画素値と、前記放射輝度場とに基づくボリュームレンダリングにより取得される画素値との差が小さくなるように繰り返し処理を行った結果として推定される関数であり、
前記放射輝度場に基づくレンダリング方式は、前記放射輝度場を示す前記関数に前記仮想視点情報を入力することにより、レンダリングを行う方式であること、
を特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記オブジェクトの特徴は、前記オブジェクトを前記仮想視点から見た場合の、前記オブジェクトの形状の複雑さであり、
前記設定手段は、前記オブジェクトの形状が複雑であるほど、前記仮想視点画像の生成方式として前記放射輝度場に基づくレンダリング方式を優先して設定すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記オブジェクトの特徴は、前記オブジェクトを前記仮想視点から見た場合の、前記仮想視点画像における画素あたりの前記オブジェクトのサイズであり、
前記設定手段は、前記画素あたりの前記オブジェクトのサイズが小さいほど、前記仮想視点画像の生成方式として前記放射輝度場に基づくレンダリング方式を優先して設定すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記オブジェクトの特徴は、前記オブジェクトを前記仮想視点から見た場合の、前記オブジェクトの形状の複雑さ、及び前記仮想視点画像における画素あたりの前記オブジェクトのサイズであり、
前記設定手段は、前記オブジェクトの形状が複雑であるほど、且つ、前記画素あたりの前記オブジェクトのサイズが小さいほど、前記仮想視点画像の生成方式として前記放射輝度場に基づくレンダリング方式を優先して設定すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記設定手段は、前記複数の撮像画像に像として含まれる前記オブジェクトが複数存在する場合、複数存在する前記オブジェクトのうちの１つを代表オブジェクトとして選択し、選択した前記代表オブジェクトを前記仮想視点から見た場合の前記代表オブジェクトの特徴に基づいて、前記仮想視点画像の生成方式を設定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記設定手段は、前記複数の撮像画像に像として含まれる前記オブジェクトが複数存在する場合、前記オブジェクトごとに、前記オブジェクトを前記仮想視点から見た場合の前記オブジェクトの特徴に基づいて、前記仮想視点画像の生成方式を設定し、
前記生成手段は、前記オブジェクトごとに設定された生成方式に基づいて、互いに異なる複数の生成方式により複数の仮の仮想視点画像を生成し、生成した複数の前記仮の仮想視点画像を合成することにより、前記仮想視点画像を生成すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記仮想視点画像を生成する際に、複数存在する前記オブジェクトの、前記仮想視点から見た場合の重なりに基づいて、生成した複数の前記仮の仮想視点画像を合成すること、
を特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点画像を生成する画像処理技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
オブジェクトを様々な方向から撮像することにより得られる複数の撮像画像を用いてオブジェクト形状を推定し、オブジェクトを任意の仮想視点から見た場合の像に対応する画像（仮想視点画像）を再構成する技術がある。しかしながら、オブジェクトの位置によりオブジェクトの像を含まない撮像画像が生じることに起因して、オブジェクトの形状（以下「オブジェクト形状」と呼ぶ。）を正確に推定できずに仮想視点画像の画質が低下してしまうことがある。特許文献１には、オブジェクトの位置に基づき出力する仮想視点画像の生成方法を選択する技術が開示されている。具体的には、特許文献１に開示された技術は、オブジェクトが複数の撮像装置により撮像される領域に位置する場合にはオブジェクト形状を使用して生成される仮想視点画像を出力するものである。一方、オブジェクトが複数の撮像装置のうち一部の撮像装置により撮像されない領域に位置する場合には、オブジェクト形状を使用せずに生成される仮想視点画像が出力される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－０７５８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、オブジェクトが複数の撮像装置により撮像される領域に位置していたとしても、仮想視点から見たときのオブジェクト形状が複雑な場合等には、オブジェクト形状を正確に推定できずに仮想視点画像の画質が低下してしまうことがあった。
【０００５】
そこで本開示は、例えば上述のような場合であっても、高画質な仮想視点画像を生成可能な技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本開示に係る画像処理装置は、オブジェクトを複数の方向から撮像することにより得られる複数の撮像画像のデータを取得する画像取得手段と、仮想視点の位置、及び前記仮想視点における視線方向に関する仮想視点情報を取得する視点取得手段と、前記仮想視点情報に基づいて取得された前記オブジェクトの特徴に基づいて、仮想視点画像の生成方式を設定する設定手段と、前記仮想視点情報と、設定された前記仮想視点画像の生成方式とに基づいて、前記仮想視点画像を生成する生成手段と、を有する。
【発明の効果】
【０００７】
本開示に係る技術によれば、仮想視点画像の画質を向上させることができる。
【図面の簡単な説明】
【０００８】
実施形態１に係る画像処理システムの構成の一例を示す図である。
実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
実施形態１に係る画像処理装置の機能構成の一例を示すブロック図である。
実施形態１に係る画像処理装置の処理フローの一例を示すフローチャートである。
実施形態１に係る撮像装置の配置、及び撮像装置による撮像により得られる撮像画像の一例を示す図である。
実施形態１に係る方式設定部におけるレンダリング方式の設定処理の流れの一例を示すフローチャートである。
実施形態１に係るオブジェクトの概略形状の一例を示す図である。
実施形態１に係る方式設定部が用いるルックアップテーブルの一例を示す図である。
実施形態１に係る画像生成部における仮想視点画像の生成処理の流れの一例を示すフローチャートである。
実施形態１の変形例１に係る画像生成部における仮想視点画像の生成処理の流れの一例を示すフローチャートである。
実施形態２に係る撮像装置の配置、及び撮像装置による撮像により得られる撮像画像の一例を示す図である。
実施形態２に係る方式設定部が用いるルックアップテーブルの一例を示す図である。
実施形態２の変形例１に係る撮像装置の配置の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本開示の実施形態について、図面を参照して説明する。尚、以下の実施形態は、本開示を必ずしも限定するものではない。また、以下の実施形態において説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。
【００１０】
［実施形態１］
実施形態１では、仮想視点からオブジェクトを見た場合の当該オブジェクトの特徴に基づいてレンダリング方式（生成方式）を設定し、設定されたレンダリング方式により仮想視点に対応する仮想視点画像を生成する形態について説明する。仮想視点画像の生成には、複数の撮像装置による様々な方向からの撮像により得られる複数の撮像画像（以下「多視点画像」と呼ぶ。）のデータが用いられる。仮想視点画像のレンダリング方式は、仮想視点からオブジェクトを見た場合のオブジェクト形状の複雑さと、仮想視点に対応する仮想視点画像を生成した場合の仮想視点画像における１画素あたりに像として含まれるオブジェクトのサイズとに基づいて設定される。以下「１画素あたりに像として含まれるオブジェクトのサイズ」を、「画素あたりのオブジェクトサイズ」と表記して説明する。
（【００１１】以降は省略されています）

関連特許