特許ウォッチ

公開番号2025012709
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023115761
出願日2023-07-14
発明の名称映像合成装置及びプログラム
出願人日本放送協会
代理人個人,個人,個人,個人
主分類H04N 5/265 20060101AFI20250117BHJP(電気通信技術)
要約【課題】3Dモデルと2D映像のより自然な合成映像を生成する映像合成装置及びプログラムを提供する。
【解決手段】映像合成装置1は、オブジェクトの3Dモデルと、オブジェクトの種類、オブジェクトの大きさ、3Dモデルの生成手法、ポイント数及びショット種類を含む3Dモデル属性とを取得する3Dモデル属性取得部11と、2D映像と、その解像度である2D映像解像度とを取得する2D映像属性取得部12と、取得した3Dモデル属性の3Dモデルを2D映像に変換した場合の推定解像度と、2D映像解像度とのうち低いほうを画質に決定する画質決定部14と、画質が推定解像度の場合、その画質に解像度を変換した2D映像と、2D映像に変換した3Dモデルとを合成し、画質が2D映像解像度の場合、2D映像属性取得部12が取得した2D映像と、その画質の2D映像に変換した3Dモデルとを合成する映像合成部15と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、前記オブジェクトの種類、前記オブジェクトの大きさ、前記三次元モデルの生成手法、前記三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する三次元モデル属性取得部と、
二次元映像と、前記二次元映像の解像度である二次元映像解像度とを取得する二次元映像属性取得部と、
前記三次元モデル属性の前記三次元モデルを二次元映像に変換した場合の推定解像度と、前記二次元映像解像度とのうち低いほうを画質に決定する画質決定部と、
前記推定解像度を前記画質に決定した場合、前記画質に解像度を変換した前記二次元映像と、二次元映像に変換した前記三次元モデルとを合成して合成映像を生成し、前記二次元映像解像度を前記画質に決定した場合、前記二次元映像属性取得部が取得した前記二次元映像と、前記画質の二次元映像に変換した前記三次元モデルとを合成して合成映像を生成する映像合成部と、
を備える映像合成装置。
続きを表示（約 1,100 文字）【請求項２】
オブジェクトの種類、オブジェクトの大きさ、三次元モデルの生成手法、ポイント数、及び、ショットの種類と、推定解像度とを対応付けて記憶する画質記憶部を備え、
前記画質決定部は、前記三次元モデル属性が示す前記オブジェクトの種類を表す単語、前記オブジェクトの種類を表す単語の類語、又は、前記オブジェクトの種類を表す単語の上位概念の単語と、前記三次元モデル属性が示す前記オブジェクトの大きさ、前記生成手法、前記ポイント数、及び、前記ショットの種類とに対応した前記推定解像度を前記画質記憶部から読み出す、
請求項１に記載の映像合成装置。
【請求項３】
前記映像合成部は、前記三次元モデルのポイント数を削減し、ポイント数が削減された前記三次元モデルを二次元映像に変換することにより、前記画質の二次元映像に変換した前記三次元モデルを得る、
請求項１に記載の映像合成装置。
【請求項４】
前記二次元映像属性取得部は、取得した前記二次元映像の画面サイズを取得し、取得した画面サイズの縦横比が所定の比率である場合には、前記画面サイズの横の画素数を前記二次元映像解像度とし、取得した前記画面サイズの縦横比が前記所定の比率ではない場合には、前記画面サイズにおける縦の画素数を変更せずに縦横比を前記所定の比率とした場合の横の画素数を前記二次元映像解像度とする、
請求項１に記載の映像合成装置。
【請求項５】
コンピュータを、
ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、前記オブジェクトの種類、前記オブジェクトの大きさ、前記三次元モデルの生成手法、前記三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する三次元モデル属性取得手段と、
二次元映像と、前記二次元映像の解像度である二次元映像解像度とを取得する二次元映像属性取得手段と、
前記三次元モデル属性の前記三次元モデルを二次元映像に変換した場合の推定解像度と、前記二次元映像解像度とのうち低いほうを画質に決定する画質決定手段と、
前記推定解像度を前記画質に決定した場合、前記画質に解像度を変換した前記二次元映像と、二次元映像に変換した前記三次元モデルとを合成して合成映像を生成し、前記二次元映像解像度を前記画質に決定した場合、前記二次元映像属性取得手段が取得した前記二次元映像と、前記画質の二次元映像に変換した前記三次元モデルとを合成して合成映像を生成する映像合成手段と、
として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、映像合成装置及びプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
異なるフォーマットの複数の映像を合成する方法として、一方の映像のフォーマットを、他方の映像のフォーマットに変換した後に合成する方法がある。例えば、３Ｄ（三次元）モデルと２Ｄ（二次元）映像とを合成する場合は、３Ｄモデルを２Ｄ映像に変換してから合成する。ここで、３Ｄモデルから２Ｄ映像への変換の際に、変換の前後で３Ｄモデルの主観的画質が低減しないようにする技術がある（例えば、特許文献１参照）。また、他の映像合成方法として、ＶＲ映像に２Ｄ映像をマッピングした合成映像を生成する技術（例えば、特許文献２参照）や、複数の高画質の画像を重畳する技術（例えば、特許文献３参照）がある。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－０６３８８２号公報
特開２０２２－２１８８６号公報
特開２０１８－１０９９４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３Ｄモデルと２Ｄ映像の合成のように、互いに異なるフォーマットの映像を合成すると、合成された映像が不自然に見えることがある。その要因として、映像が合成された位置や、合成された映像の大きさ、合成された映像における光の反射など様々なものが考えられる。これまでは、合成された映像を人の目で確認し、手動で各種パラメータを調整することでその不自然さを解消していたため、多大な労力を要していた。
【０００５】
上述した特許文献１の技術は、ポイントクラウドをボクセル化する手法であり、ポイントクラウド単体での画質劣化を考慮しているため、２Ｄ映像との合成については述べられていない。また、特許文献２の技術は、ＶＲ映像の中の注目すべきところを部分的に高解像度化するものであり、特許文献３の技術は、静止画である全天球画像と平面画像とを統合する際に、低い画質の全天球画像に高い画質の平面画像を重畳するものである。しかしながら、これらは、合成された映像が自然に見えるようにするものではない。
【０００６】
本発明は、このような事情を考慮してなされたものであり、３Ｄモデルと２Ｄ映像のより自然な合成映像を生成することができる映像合成装置及びプログラムを提供する。
【課題を解決するための手段】
【０００７】
［１］本発明の一態様は、ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、前記オブジェクトの種類、前記オブジェクトの大きさ、前記三次元モデルの生成手法、前記三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する三次元モデル属性取得部と、二次元映像と、前記二次元映像の解像度である二次元映像解像度とを取得する二次元映像属性取得部と、前記三次元モデル属性の前記三次元モデルを二次元映像に変換した場合の推定解像度と、前記二次元映像解像度とのうち低いほうを画質に決定する画質決定部と、前記推定解像度を前記画質に決定した場合、前記画質に解像度を変換した前記二次元映像と、二次元映像に変換した前記三次元モデルとを合成して合成映像を生成し、前記二次元映像解像度を前記画質に決定した場合、前記二次元映像属性取得部が取得した前記二次元映像と、前記画質の二次元映像に変換した前記三次元モデルとを合成して合成映像を生成する映像合成部と、を備える映像合成装置である。
【０００８】
［２］本発明の一態様は、上述の映像合成装置であって、オブジェクトの種類、オブジェクトの大きさ、三次元モデルの生成手法、ポイント数、及び、ショットの種類と、推定解像度とを対応付けて記憶する画質記憶部を備え、前記画質決定部は、前記三次元モデル属性が示す前記オブジェクトの種類を表す単語、前記オブジェクトの種類を表す単語の類語、又は、前記オブジェクトの種類を表す単語の上位概念の単語と、前記三次元モデル属性が示す前記オブジェクトの大きさ、前記生成手法、前記ポイント数、及び、前記ショットの種類とに対応した前記推定解像度を前記画質記憶部から読み出す。
【０００９】
［３］本発明の一態様は、上述の映像合成装置であって、前記映像合成部は、前記三次元モデルのポイント数を削減し、ポイント数が削減された前記三次元モデルを二次元映像に変換することにより、前記画質の二次元映像に変換した前記三次元モデルを得る。
【００１０】
［４］本発明の一態様は、上述の映像合成装置であって、前記二次元映像属性取得部は、取得した前記二次元映像の画面サイズを取得し、取得した画面サイズの縦横比が所定の比率である場合には、前記画面サイズの横の画素数を前記二次元映像解像度とし、取得した前記画面サイズの縦横比が前記所定の比率ではない場合には、前記画面サイズにおける縦の画素数を変更せずに縦横比を前記所定の比率とした場合の横の画素数を前記二次元映像解像度とする。
（【００１１】以降は省略されています）

関連特許