特許ウォッチ

公開番号2024041435
公報種別公開特許公報(A)
公開日2024-03-27
出願番号2022146257
出願日2022-09-14
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/55 20170101AFI20240319BHJP(計算;計数)
要約【課題】撮像画像に基づいて推定される被写体の形状を表す三次元モデルの精度を向上させる。
【解決手段】撮像画像から抽出された1以上の前景領域を示す情報を取得する。1以上の前景領域の中から、少なくとも一部の前景領域を、画像において予め定められた領域の境界に前景領域がかかっているか否かに少なくとも基づいて選択する。選択された少なくとも一部の前景領域を、被写体の三次元形状を示す情報を生成するために出力する。
【選択図】図4
特許請求の範囲【請求項１】
撮像画像から抽出された１以上の前景領域を示す情報を取得する取得手段と、
前記１以上の前景領域の中から、少なくとも一部の前景領域を、前記画像において予め定められた領域の境界に前記前景領域がかかっているか否かに少なくとも基づいて選択する選択手段と、
選択された前記少なくとも一部の前景領域を、被写体の三次元形状を示す情報を生成する形状生成手段に出力する出力手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 930 文字）【請求項２】
前記取得手段は、前記画像から前記１以上の前景領域を抽出することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記画像は前記被写体を含む画像であり、
前記選択手段が選択した前景領域を示す情報に基づいて、前記被写体の三次元形状を示す情報を生成する形状生成手段と、
前記被写体の三次元形状を示す情報に基づいて、前記被写体の仮想視点画像を生成する画像生成手段と、
をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記予め定められた領域は、前記画像の全体であることを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記予め定められた領域は、前記画像における前景領域の抽出対象領域であることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記取得手段は、前記画像における前景領域の抽出対象領域から前記１以上の前景領域を抽出し、
前記予め定められた領域は、前記画像における前景領域の抽出対象領域であることを特徴とする、請求項２に記載の画像処理装置。
【請求項７】
前記予め定められた領域は、撮像により得られた像が写る有効領域であることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記画像には変形された撮像画像が含まれ、前記予め定められた領域は、前記画像における、前記変形された撮像画像が占める領域であることを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記画像はレンズ歪み補正処理を受けており、
前記予め定められた領域の境界は、前記レンズ歪み補正処理により変形した後の撮像画像の端と一致するように定められることを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
前記選択手段は、前記前景領域の面積にさらに基づいて、前記１以上の前景領域の中から前記少なくとも一部の前景領域を選択することを特徴とする、請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は画像処理装置、画像処理方法、及びプログラムに関し、特に画像から前景領域を抽出する技術に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
任意の仮想視点からの被写体の画像（仮想視点画像）を生成する技術が知られている。このような技術においては、異なる位置に設置された複数のカメラによる同期撮影が行われる。また、このような撮影により得られた複数の視点からの撮像画像を用いて、仮想視点画像が生成される。具体的には、撮像画像から、背景差分法又は機械学習手法等を用いて被写体の領域を示す前景シルエット画像が生成される。そして、複数の撮像画像から得られた前景シルエット画像を用いて、視体積交差法等を用いて被写体の三次元モデルが生成される。そして、任意の視点からの三次元モデルの画像と背景画像とを合成することにより、仮想視点画像が生成される。こうして、三次元背景空間の中にいる被写体を任意の視点から見ることが可能となる。
【０００３】
ここで、前景シルエット画像に不要な前景シルエットが含まれていると、得られる三次元モデルの精度が劣化する。このため、不要な前景シルエットを前景シルエット画像から取り除くことが望まれる。例えば、特許文献１は、前景シルエット画像（マスク画像）の補正技術を提案している。特許文献１の手法によれば、三次元モデル（ボクセルデータ）の投影に基づく前景シルエット画像の欠損充填、及び所定の画素数以下の前景シルエットの削除により、前景シルエット画像が補正される。
【先行技術文献】
【特許文献】
【０００４】
特開２０１１－０４３８７９号公報
特開２０２０－１４１３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願発明者は、特許文献１の手法を用いて前景シルエットの補正を行った場合、特に被写体がカメラの視野の端に存在する場合に、三次元モデルの精度が劣化し、又は三次元モデルの欠損が生じやすいことを見出した。
【０００６】
本開示の技術は、撮像画像に基づいて推定される被写体の形状を表す三次元モデルの精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
一実施形態に係る画像処理装置は以下の構成を備える。すなわち、
撮像画像から抽出された１以上の前景領域を示す情報を取得する取得手段と、
前記１以上の前景領域の中から、少なくとも一部の前景領域を、前記画像において予め定められた領域の境界に前記前景領域がかかっているか否かに少なくとも基づいて選択する選択手段と、
選択された前記少なくとも一部の前景領域を、被写体の三次元形状を示す情報を生成する形状生成手段に出力する出力手段と、
を備える。
【発明の効果】
【０００８】
撮像画像に基づいて推定される被写体の形状を表す三次元モデルの精度を向上させることができる。
【図面の簡単な説明】
【０００９】
仮想視点映像を生成するための撮影方法について説明する図。
一実施形態に係る画像処理装置の機能構成例を示すブロック図。
一実施形態に係る画像処理方法のフローチャート。
前景シルエットの除去例を示す図。
前景シルエットの除去例を示す図。
一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図。
歪み補正の例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許