特許ウォッチ

公開番号2025137461
公報種別公開特許公報(A)
公開日2025-09-19
出願番号2025033344
出願日2025-03-04
発明の名称動的多次元メディアコンテンツ投影
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/55 20170101AFI20250911BHJP(計算;計数)
要約【課題】動的多次元メディアコンテンツが投影される方法を提案する。
【解決手段】実世界のビューを描写する2D画像を含む画像データを取得される。2D画像の地面上のオブジェクトに対応する3Dポリゴンが検出される。3D表面モデルは、地面セグメントと非地面セグメントとを含む3Dセグメントにセグメント化される。複数の3Dセグメントから1つ以上の非地面セグメントを除去することによって、3D表面モデルの地面セグメントが抽出される。2D画像における2D画素座標と地面セグメントの3D表面座標との間の対応情報は、2D画像と3D表面モデルの地面セグメントとに対してレイキャスティング操作を適用することによって決定される。この対応情報に基づいて、3Dポリゴンが3D表面モデルに投影される。
【選択図】図7

特許請求の範囲【請求項１】
電子デバイス内のプロセッサによって実行される方法であって、
実世界の場所のビューを描写する２次元（２Ｄ）画像を含む画像データを取得することと、
前記２Ｄ画像の地面領域上の１つ以上のオブジェクトに対応する１つ以上の３Ｄポリゴンを検出することと、
前記実世界の場所の３次元（３Ｄ）表面モデルを取得することと、
前記３Ｄ表面モデルを、地面セグメントと１つ以上の非地面セグメントとを含む複数の３Ｄセグメントにセグメント化することと、
前記複数の３Ｄセグメントから前記１つ以上の非地面セグメントを除去することによって、前記３Ｄ表面モデルの前記地面セグメントを抽出することと、
前記２Ｄ画像と前記３Ｄ表面モデルの前記地面セグメントとに対してレイキャスティング操作を適用することによって、前記２Ｄ画像における２Ｄ画素座標と前記地面セグメントの３Ｄ表面座標との間の対応情報を決定することと、
前記対応情報に基づいて、前記１つ以上のオブジェクトに対応する前記１つ以上の３Ｄポリゴンを前記３Ｄ表面モデルに投影することと、を含む、方法。
続きを表示（約 1,400 文字）【請求項２】
３Ｄ空間における前記３Ｄ表面モデルの初期ビューに対応する初期カメラ姿勢パラメータを推定することと、
前記３Ｄ表面モデルのビューを前記２Ｄ画像のビューに位置合わせするように前記初期カメラ姿勢パラメータを最適化することと、をさらに含む、請求項１に記載の方法。
【請求項３】
前記対応情報は、前記２Ｄ画素座標と、前記２Ｄ画素座標に対応する前記３Ｄ表面座標とを含むテーブルを含む、請求項１に記載の方法。
【請求項４】
前記１つ以上の３Ｄポリゴンの頂点との前記３Ｄ表面座標のマッピングを含む頂点情報を生成することと、
前記１つ以上の３Ｄポリゴンのエッジへの前記頂点のマッピングを含むエッジ情報を生成することと、
前記１つ以上の３Ｄポリゴンの投影は、さらに、前記頂点情報と前記エッジ情報とに基づいて実行される、請求項１に記載の方法。
【請求項５】
前記頂点情報は、頂点ＩＤ、ポリゴンＩＤ、頂点タイプ、及び前記３Ｄ表面座標を含む一次テーブルを含み、
前記エッジ情報は、前記ポリゴンＩＤ、エッジＩＤ、及びエッジ頂点のＩＤを含む二次テーブルを含む、請求項４に記載の方法。
【請求項６】
前記頂点タイプは、地面又はオブジェクトのうちの１つを含む、請求項５に記載の方法。
【請求項７】
前記１つ以上の３Ｄポリゴンの各３Ｄポリゴンは、前記３Ｄ表面モデルの３Ｄ空間における複数のオブジェクトのうちの対応するオブジェクトを囲む、請求項１に記載の方法。
【請求項８】
データベースから、画像のセット内の複数のオブジェクトに対応する複数の２Ｄポリゴンに関連付けられた履歴データを取り出すことであって、
前記複数の３Ｄポリゴンの各３Ｄポリゴンは、前記複数のオブジェクトうちの対応するオブジェクトを囲む、ことと、
前記履歴データに基づいてポリゴン推定モデルを訓練することと、
前記訓練されたポリゴン推定モデルに基づいて、前記２Ｄ画像において前記検出された１つ以上のオブジェクトに対応する１つ以上の３Ｄポリゴンを推定することと、
前記推定された１つ以上の３Ｄポリゴンと前記検出された１つ以上の３Ｄポリゴンとの間の差が事前定義された閾値未満であるという決定に基づいて、前記検出された１つ以上の３Ｄポリゴンを前記２Ｄ画像の前記地面領域に投影することと、をさらに含む、請求項１に記載の方法。
【請求項９】
前記推定された１つ以上の３Ｄポリゴンと前記検出された１つ以上の３Ｄポリゴンとの間の差が前記事前定義された閾値よりも大きいという決定に基づいて、前記推定された１つ以上の３Ｄポリゴンを前記２Ｄ画像の前記地面領域に投影することをさらに含む、請求項８に記載の方法。
【請求項１０】
前記対応情報の決定は、
前記２Ｄ画像の画像サイズを抽出することと、
２Ｄ画素座標から２Ｄ座標を選択することと、
前記選択された２Ｄ座標に対してレイキャスティング操作を適用して、３Ｄ空間における前記地面セグメント上の前記３Ｄ表面座標の対応する３Ｄ表面座標を推定することと、
前記２Ｄ画素座標と前記３Ｄ表面座標とに基づいて、前記対応情報を決定することと、を含む、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示において議論される実施形態は、動的多次元メディアコンテンツ投影に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
オブジェクト検出における３Ｄ視点は、その能力に基づいて、２Ｄ画像よりも実世界のシナリオの完全な理解を提供することがある。これは、自動車事故のように徹底的な調査が必要な状況で特に有用であることがある。しかし、ＣＣＴＶのような２Ｄ単眼カメラの普及は、その低コストに起因して、３Ｄ視点の可能性の完全な実現を妨げている。ポリゴンを地面に投影する以前の方法では、重大な問題が発生することがある。この方法は、地面全体が２Ｄ単眼カメラから見えるときに良好に機能することがあるが、ポリゴンを見えない地面に投影することができない。これは、特に、木、交通信号などのオブジェクトがビューを遮るオクルージョン状況において問題となることがある。
【０００３】
本開示における特許請求の範囲の主題は、何らかの欠点を解決するか、又は上記のような環境においてのみ動作する実施形態に限定されない。むしろ、この背景技術は、本開示で記載されるいくつかの実施形態が実施され得る１つの例示的な技術を示すためにのみ提供されている。
【発明の概要】
【０００４】
一実施形態の一態様によれば、方法は、実世界の場所のビューを描写する２Ｄ画像を含み得る画像データを取得することを含み得る動作のセットを含んでもよい。動作のセットは、２Ｄ画像の地面領域上のオブジェクトに対応する３Ｄポリゴンを検出することと、実世界の場所の３Ｄ表面モデルを取得することとをさらに含んでもよい。３Ｄ表面モデルは、地面セグメントと１つ以上の非地面セグメントとを含む複数の３Ｄセグメントにセグメント化されてもよい。３Ｄ表面モデルの地面セグメントは、複数の３Ｄセグメントから非地面セグメントを除去することによって抽出されてもよい。動作のセットは、２Ｄ画像と３Ｄ表面モデルの地面セグメントとに対してレイキャスティング操作を適用することによって、２Ｄ画像における２Ｄ画素座標と地面セグメントの３Ｄ表面座標との間の対応情報を決定することと、対応情報に基づいて、オブジェクトに対応する３Ｄポリゴンを３Ｄ表面モデルに投影することと、をさらに含んでもよい。
【０００５】
本実施形態の目的及び利点は、少なくとも特許請求の範囲において特に指摘された要素、特徴、及び組み合わせによって実現され、達成される。
【０００６】
前述の一般的記載及び後述の発明を実施するための形態は、いずれも例として示されており、説明的であり、特許請求の範囲に記載された発明を限定するものではない。
【図面の簡単な説明】
【０００７】
例示的な実施形態は、添付の図面を使用することを通して、追加の具体性及び詳細と共に記載及び説明される。
【０００８】
動的多次元メディアコンテンツ投影に関する例示的な環境を表す図である。
【０００９】
動的多次元メディアコンテンツ投影のための例示的な電子デバイスを示すブロック図である。
【００１０】
動的多次元メディアコンテンツ投影におけるオブジェクト検出及び地面セグメント化のための実行パイプラインを示す図である。
（【００１１】以降は省略されています）

関連特許