特許ウォッチ

公開番号2025058733
公報種別公開特許公報(A)
公開日2025-04-09
出願番号2023168863
出願日2023-09-28
発明の名称生成装置、再生装置、情報処理方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20250402BHJP(計算;計数)
要約【課題】大きいサイズのオブジェクトの三次元形状を適切に表現すること。
【解決手段】生成装置は、オブジェクトの三次元モデルの一部を含んだゾーンについて、仮想視点から見た場合のそのゾーンに含まれるその三次元モデルの形状の表面を示す点のそれぞれと仮想視点との間の距離に対応する画素値を有するデプス画像を生成する。生成装置は、そのデプス画像の生成において、仮想視点から見た場合のゾーンの境界面の点が三次元モデルの形状の内部に存在する場合、その点に対応するデプス画像の画素値を、補完値を用いて補完し、複数の仮想視点に対してデプス画像を生成する。
【選択図】図6
特許請求の範囲【請求項１】
オブジェクトの三次元モデルの一部を含んだゾーンについて、仮想視点から見た場合の当該ゾーンに含まれる前記三次元モデルの形状の表面を示す点のそれぞれと仮想視点との間の距離に対応する画素値を有するデプス画像を生成する生成手段を有し、
前記生成手段は、
前記仮想視点から見た場合の前記ゾーンの境界面の点が前記三次元モデルの形状の内部に存在する場合、当該点に対応する前記デプス画像の画素値を、補完値を用いて補完し、
複数の前記仮想視点に対して前記デプス画像を生成する、
ことを特徴とする生成装置。
続きを表示（約 1,500 文字）【請求項２】
それぞれが前記三次元モデルの一部を含んだ複数の前記ゾーンを設定する設定手段をさらに有する、ことを特徴とする請求項１に記載の生成装置。
【請求項３】
前記設定手段は、さらに、複数の前記ゾーンのそれぞれに対して複数の前記仮想視点を設定する、ことを特徴とする請求項２に記載の生成装置。
【請求項４】
前記生成手段は、前記境界面の点が前記三次元モデルの形状の内部に存在する場合、前記仮想視点と当該点との間の距離に対応する画素値を、前記補完値として使用する、ことを特徴とする請求項１に記載の生成装置。
【請求項５】
前記生成手段は、前記境界面の点が前記三次元モデルの形状の内部に存在する場合、前記仮想視点と前記ゾーンに含まれる前記三次元モデルの形状の表面までの距離に対応する画素値として使用されない所定値を、前記補完値として使用する、ことを特徴とする請求項１に記載の生成装置。
【請求項６】
前記生成手段は、
前記境界面の点のいずれかが前記三次元モデルの形状の内部に存在する場合、前記三次元モデルの形状の表面を示す点のそれぞれと前記仮想視点との間の距離に対応する画素値を、前記所定値を除く値域で表現し、
前記境界面の点のいずれもが前記三次元モデルの形状の外部に存在する場合、前記三次元モデルの形状の表面を示す点のそれぞれと前記仮想視点との間の距離に対応する画素値を、前記所定値を含んだ値域で表現する、
ことを特徴とする請求項５に記載の生成装置。
【請求項７】
前記生成手段は、さらに、前記仮想視点から見た前記オブジェクトの前記三次元モデルについてのテクスチャを示すテクスチャ画像を生成し、前記デプス画像において前記補完値を用いて補完される点についての前記テクスチャ画像の画素値を第２の補完値を用いて補完する、ことを特徴とする請求項１に記載の生成装置。
【請求項８】
前記デプス画像と、前記ゾーンの設定情報と、前記仮想視点の設定情報とを少なくとも含んだ符号化データを生成する符号化手段をさらに有する、ことを特徴とする請求項１に記載の生成装置。
【請求項９】
オブジェクトの三次元モデルの一部をそれぞれ含んだ複数のゾーンに含まれるそれぞれのゾーンについて、複数の仮想視点のそれぞれから見た場合の当該ゾーンに含まれる前記一部の三次元モデルの形状の表面を示す点のそれぞれと仮想視点との間の距離に対応する画素値を有するデプス画像であって、前記仮想視点から見た場合の前記ゾーンの境界面の点が前記オブジェクトの三次元モデルの形状の内部に存在する場合に当該点に対応する前記デプス画像の画素値が補完値を用いて補完された前記デプス画像を取得する取得手段と、
前記複数のゾーンのそれぞれについて、前記複数の仮想視点のそれぞれについての前記デプス画像から、当該ゾーンにおける前記オブジェクトの一部の三次元モデルを生成する生成手段と、
前記複数のゾーンのそれぞれについて生成された前記複数のゾーンのそれぞれについての前記オブジェクトの一部の三次元モデルを統合して前記オブジェクトの三次元モデルを再構成する再構成手段と、
を有することを特徴とする再生装置。
【請求項１０】
前記生成手段は、前記デプス画像に含まれる画素の前記画素値に基づいてボクセルを設定することにより、前記ゾーンにおける前記オブジェクトの一部の三次元モデルを生成する、ことを特徴とする請求項９に記載の再生装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、オブジェクトの三次元形状の符号化技術に関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
それぞれが異なる位置に配置された複数の撮像装置によって被写体が同期撮像された画像に基づいて、その被写体を任意の仮想的な視点から観察することを可能とする仮想視点画像の構成技術が知られている。例えば、撮像された複数の画像に基づいて被写体の三次元形状を表すデータが形成され、そのデータに基づいて再構成された被写体が仮想空間に配置され、その仮想空間が二次元画像に変換されることにより仮想視点画像が生成される。なお、仮想空間には、コンピュータによって生成された物体も配置されうる。特許文献１には、複数の撮像装置を用いた撮像により各撮像装置の位置及び視線の方向に対応するデプス情報および色情報を取得し、それらの情報に基づいて被写体の三次元形状および色彩を示した三次元モデルを取得する技術が記載されている。また、特許文献１では、仮想空間の一部を切り出して、その一部の空間に存在する被写体について三次元形状のデータを生成することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
特表２０２０－５２２８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想空間に配置されるオブジェクトの三次元形状は、ボクセルの塊として表現されうる。ここで、一辺の長さが３ミリメートル（ｍｍ）のボクセルを用いて、各辺を１０ビットのビット深度で表現する場合、一辺が３０７２ｍｍまでの大きさのオブジェクトの三次元形状を表現することができる。すなわち、オブジェクトの大きさが、一辺あたり約３メートル（ｍ）までの大きさに収まる場合は、そのオブジェクトの形状を、３０ビット長のデータにより、３ｍｍ単位の解像度で表現することができる。一方で、この大きさを超えるオブジェクトについては、例えばボクセルのサイズを大きくすることにより表現することができるが、解像度が低下し、精細な三次元形状を表現することができなくなりうる。また、ビット深度を増加させることは、例えば機器の置き換えが生じる場合があるなど、システム全体への影響が大きくなる場合がありうる。
【０００５】
本発明は、大きいサイズのオブジェクトの三次元形状を適切に表現する技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様による生成装置は、オブジェクトの三次元モデルの一部を含んだゾーンについて、仮想視点から見た場合の当該ゾーンに含まれる前記三次元モデルの形状の表面を示す点のそれぞれと仮想視点との間の距離に対応する画素値を有するデプス画像を生成する生成手段を有し、前記生成手段は、前記仮想視点から見た場合の前記ゾーンの境界面の点が前記三次元モデルの形状の内部に存在する場合、当該点に対応する前記デプス画像の画素値を、補完値を用いて補完し、複数の前記仮想視点に対して前記デプス画像を生成する。
【発明の効果】
【０００７】
本発明によれば、大きいサイズのオブジェクトの三次元形状を適切に表現することが可能になる。
【図面の簡単な説明】
【０００８】
情報処理システムの構成例を示す図である。
装置のハードウェア構成例を示す図である。
データ生成装置の機能構成例を示すブロック図である。
データ生成処理の流れの例を示す図である。
三次元モデルの分割及び仮想視点の設定を説明する図である。
デプス情報生成処理の流れの例を示す図である。
デプス情報補完処理の流れの例を示す図である。
デプス画像の例を示す図である。
テクスチャ情報生成処理の流れの例を示す図である。
テクスチャ情報補完処理の流れの例を示す図である。
符号化データの例を示す図である。
再生装置の機能構成例を示すブロック図である。
三次元モデル生成処理の流れの例を示す図である。
ゾーンの統合処理の流れの例を示す図である。
デプス情報生成処理の流れの例を示す図である。
デプス情報の補完方法の例を説明する図である。
符号化データの例を示す図である。
デプス画像の例を示す図である。
符号化データの例を示す図である。
三次元モデル生成処理の流れの例を示す図である。
データ生成処理の流れの例を示す図である。
デプス情報及びテクスチャ情報の生成処理の流れの例を示す図である。
ゾーン手前のデータ有無の判定処理の流れの例を示す図である。
三次元モデル生成処理の流れの例を示す図である。
符号化データの例を示す図である。
データ生成装置の機能構成の別の例を示すブロック図である。
境界面判定画像の例を示す図である。
三次元モデルの内部の点と外部の点との違いを説明する図である。
デプス情報生成処理の流れの別の例を示す図である。
テクスチャ情報生成処理の流れの別の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
（システム構成）
図１に、本実施形態に係る情報処理システムの構成例を示す。本情報処理システムは、例えば、データ生成装置１０２及び再生装置１２２を含んで構成される。本情報処理システムでは、例えばサーバなどによって構成されるデータ生成装置１０２が、ネットワークを通じて伝送可能な形式に三次元モデルの情報を変換して出力する。本実施形態では、データ生成装置１０２が、例えば複数の撮像装置を用いた撮像によって得られた画像に基づく三次元シーンのデータから、そのシーンにおけるオブジェクトを含んだ空間を切り出す。なお、以下では、このときに切り出される空間をゾーンと呼ぶ場合がある。そして、データ生成装置１０２は、その切り出された空間に含まれるオブジェクトをデプス画像およびテクスチャ画像を用いて表現し、それらの情報を符号化して出力する。デプス画像は、例えば、視点（撮像装置）とオブジェクトの表面の点までの距離を特定可能な値を画素値として有する画像であり、テクスチャ画像は、その視点から見たオブジェクトの色を特定可能な画像である。例えば、スポーツの試合が撮像されて得られた空間の中からプレイヤを含んだゾーンが切り出され、そのプレイヤの三次元形状データを特定可能なデプス画像およびテクスチャ画像が生成されて符号化されうる。再生装置１２２は、その符号化されたデータを取得して、オブジェクトの三次元形状データを再構成する。一般的に、三次元形状モデルは、既知の視点位置情報とデプス画像によって得られるデプス情報を用いて形状が推定され、テクスチャ画像によって特定されるテクスチャ情報を用いて色付けを行うことができる。なお、以下では、三次元モデルの特定の点に関する仮想視点との間の距離の情報をデプス情報と呼び、その三次元モデルの各点におけるデプス情報が二次元にマッピングされて得られる画像をデプス画像と呼ぶ。なお、デプス画像における特定の画素の画素値のことを指してデプス情報と呼ぶ場合もある。また、三次元モデルの特定の点に関するテクスチャの情報をテクスチャ情報と呼び、その三次元モデルの各点におけるテクスチャ情報が二次元にマッピングされて得られる画像をテクスチャ画像と呼ぶ。なお、テクスチャ画像における特定の画素の画素値をテクスチャ情報と呼ぶ場合もある。
（【００１１】以降は省略されています）

関連特許