特許ウォッチ

公開番号2025171711
公報種別公開特許公報(A)
公開日2025-11-20
出願番号2024077331
出願日2024-05-10
発明の名称ビデオシースルー映像処理装置、処理方法、プログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 7/18 20060101AFI20251113BHJP(電気通信技術)
要約【課題】ビデオシースルー映像処理装置において、ビデオシースルー画像と人工映像を重畳表示する際に、両画像の位置合わせが微小にずれることが発生しても、その境界の目立ち具合を低減しひと繋がりの映像体験を提供する。
【解決手段】ビデオシースルー映像処理装置は、映像の撮像および表示を行う手段を備えたビデオシースルー映像取得部と、予め記録された映像ないし、CGである人工映像取得部と、前記ビデオシースルー映像と、前記人工映像の画質をそれぞれ評価する画質評価部と、前記画質評価の結果に基づいて、前記ビデオシースルー映像の画質と前記人工映像の画質差を計算する画質差計算部と、前記画質差に基づいて、前記ビデオシースルー映像と前記人工映像の画質を変更する画質変更部を有する。
【選択図】図2
特許請求の範囲【請求項１】
映像の撮像および表示を行う手段を備えたビデオシースルー映像取得部と、
予め記録された映像ないし、ＣＧである人工映像取得部と、
前記ビデオシースルー映像と、前記人工映像の画質をそれぞれ評価する画質評価部と、
前記画質評価の結果に基づいて、前記ビデオシースルー映像の画質と前記人工映像の画質差を計算する画質差計算部と、
前記画質差に基づいて、前記ビデオシースルー映像と前記人工映像の画質を変更する画質変更部を持つことを特徴とするビデオシースルー映像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記画質は、前記ビデオシール―画像と前記人工映像の境界に隣接する、前記ビデオシースルー映像の部分領域に基づいて決定される輝度と、前記人工映像の部分領域に基づいて決定される輝度に基づいて決定される情報であることを特徴とする、請求項１に記載のビデオシースルー映像処理装置。
【請求項３】
前記画質は、前記ビデオシール―画像と前記人工映像の境界に隣接する、前記ビデオシースルー映像の部分領域に基づいて決定される彩度・色相と、前記人工映像の部分領域に基づいて決定される彩度・色相に基づいて決定される情報であることを特徴とする、請求項１に記載のビデオシースルー映像処理装置。
【請求項４】
前記画質は、前記ビデオシール―画像と前記人工映像の境界に隣接する、前記ビデオシースルー映像の部分領域に基づいて決定される空間周波数と、前記人工映像の部分領域に基づいて決定される空間周波数に基づいて決定される情報であることを特徴とする、請求項１に記載のビデオシースルー映像処理装置。
【請求項５】
前記画質は、請求項２から４に記載される画質の組み合わせであることを特徴とし、または、画質変更部は、前記画質評価部が評価する画質とは異なるノイズを付加することで画質を変更する、請求項１に記載のビデオシースルー映像処理装置。
【請求項６】
前記画質変更部は、前記ビデオシースルー映像と前記人工映像の境界からの距離に応じて画質変更の強度を決定することを特徴とする、請求項１に記載のビデオシースルー映像処理装置。
【請求項７】
前記画質変更部は、前記ビデオシースルー映像と前記人工映像の画質に基づいて、現在フレームの画質を変更することを特徴とする、請求項１に記載のビデオシースルー映像処理装置。
【請求項８】
前記画質変更部は、前記ビデオシースルー映像の画質と前記人工映像の画質に基づいて、画質の変更手段を判断し選択する手段を更に備え持つ、請求項１に記載のビデオシースルー映像処理装置。
【請求項９】
映像の撮像および表示を行う手段を備えたビデオシースルー映像取得手段と、
予め記録された映像ないし、ＣＧである人工映像取得手段と、
前記ビデオシースルー映像と、前記人工映像の画質をそれぞれ評価する画質評価手段と、
前記画質評価の結果に基づいて、前記ビデオシースルー映像の画質と前記人工映像の画質差を計算する画質差計算手段と、
前記画質差に基づいて、前記ビデオシースルー映像と前記人工映像の画質を変更する画質変更部手段を持つことを特徴とするビデオシースルー映像処理方法。
【請求項１０】
映像の撮像および表示を行う手段を備えたビデオシースルー映像取得手段と、
予め記録された映像ないし、ＣＧである人工映像取得手段と、
前記ビデオシースルー映像と、前記人工映像の画質をそれぞれ評価する画質評価手段と、
前記画質評価の結果に基づいて、前記ビデオシースルー映像の画質と前記人工映像の画質差を計算する画質差計算手段と、
前記画質差に基づいて、前記ビデオシースルー映像と前記人工映像の画質を変更する画質変更部手段を持つことを特徴とするビデオシースルー映像処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ビデオシースルー映像処理装置、処理方法、プログラムに関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
現実空間とＶｉｒｔｕａｌ空間とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）や拡張現実感（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）が知られている。これらの技術は、現実空間とコンピュータによって作られる３ＤＣＧ空間を繋ぎ目なく融合する技術である。ゲームなどのエンターテインメントのみならず、地図のナビゲーションアプリや、実物とＣＧを重畳して試作レスで確認する産業用途も広がっている。ＭＲ、ＡＲを体験するための機器としては、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）やタブレット、スマートフォンなどがあり得る。いずれの機器においても、装置にあるカメラで現実空間を撮影し、その現実映像をビデオシースルー映像としてユーザに提示しつつ、同時に人工映像（ＣＧ映像や、記録映像）を重ね合わせて表示することが行われている。
【０００３】
ＭＲやＡＲを実現するコンテンツ内でユーザが見まわす自由度としては３ＤｏＦのコンテンツと６ＤｏＦのコンテンツがある。３ＤｏＦのコンテンツとは、ユーザが把持する端末や、ＨＭＤを被ったユーザの姿勢のみ反映するコンテンツである。ユーザが見まわすと、提示される人工映像もその姿勢に合わせて表示される。具体的には、ユーザを中心として周囲に球状の画面表示面があり、その一部がビデオシースルー映像、一部が人工映像（特に記録映像）を表示するということが行われている。一方で６ＤｏＦのコンテンツとは、前記姿勢に加えて、ＨＭＤを装着するユーザの位置や、ユーザが把持するタブレット、スマートフォンの位置も反映するコンテンツである。その場で見まわすだけでなく、ユーザが移動するに伴って、人工映像はその位置姿勢に合わせて表示され、現実空間に固定されているように見まわすことができる。具体的にはユーザは体験エリア内でビデオシースルー映像が表示されるエリアと、特に現実をスキャンしてメッシュ化したＣＧとを重畳表示するということが行われている。
【０００４】
いずれのコンテンツにおいても、ビデオシースルー映像の領域と、人工映像の領域の間に境界が存在する。その境界で、例えば同じ壁面が表示されていたとしても、色味や、明るさや、解像感が異なることに起因して境界が目立つことがある。例えばビデオシースルー映像は、カメラが撮像した時に、そのカメラが持つノイズがある。カメラの光学中心から離れるに従って減光して撮像されていたり、ノイズがのっていたりする。また、記録映像の場合もビデオシースルー映像と同様のノイズが発生しうるが、撮影した日時や、機材の差に起因して、ビデオシースルー映像とは異なるノイズがのっているため、結果として境界が目立つことになる。ＣＧの場合は、ビデオシースルー映像よりも一般的にクリアな画質であり、これも結果として境界が目立つ。また特にｐｏｉｎｔｃｌｏｕｄや、ＬＩＤＡＲ等によって３次元スキャンされたメッシュデータの場合、必ずしもクリアな画質とはならずに、形状が実際よりも凸凹している、または色がずれていることが起こり得る。
【０００５】
従来、ビデオシースルー映像が持つノイズを、ＣＧ映像にも適用することで、境界を目立たなくし、全体としてシームレスな映像にすることが行われている。例えば特許文献１では、ＡＲを実現するビデオシースルー装置において、ビデオシースルー映像と、ＣＧ映像とをシームレスに繋げることを目的として、ＣＧ映像に、ビデオシースルー映像のノイズに近いノイズを付加する手法について開示している。しかしながら、人間の目で完全に気づかなくなるように画質調整することは困難である。人間の近くは差分に敏感であるため。これを完全に消そうとすると、より多くの調整時間を必要とする。また、表示するＣＧはクリアな画像である前提がある。一方で同時に重畳表示する人工映像が予め記録していた記録映像であれば、撮影時のカメラのノイズがある。また、ＣＧであっても、三次元に再構成された点群やメッシュデータには、センサ起因のノイズが含まれるため、ビデオシースルー画像と人工映像の両方の画質に基づいて、境界を目立たなくする処理を行うことが望ましい。
【０００６】
また、矩形の画像同士の結合および境界の輝度差、色差の低減は、従来、航空機やドローンによる空撮画像の結合で多数行われている。例えば特許文献２では、ドローンなどによる空撮において、撮影条件が異なる画像をつなぎ合わせて１枚の合成画像を生成する際に、画像間の輝度等、出力画素値の差異を低減して高品質な合成画像を生成可能とした画像処理について開示している。上記のような手法を用いれば、目視では区別できないほどに２つの空撮画像の画質差を取り除き得る。しかし一方で、ビデオシースルー映像処理装置においては別の問題が存在する。ビデオシースルー映像処理装置においては、撮像装置が撮像した映像中の所望の位置に人工映像を配置できるように、位置合わせ処理が必要である。位置合わせ処理は、マーカーを画像処理によって認識・追跡する手法や、ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ）があり得る。いずれの位置合わせ手法を用いたとしても、カメラ画像自体に多少のノイズが含まれるため、位置合わせ誤差の発生や、時間経過ごとにジッターが発生することはほぼ不可避である。すると、仮に現在時点で完全に両画像がシームレスになるように作りこんでも、位置合わせ誤差変化やジッターの発生によって、重畳位置がずれ、境界線が再度明確になってしまうということが起きる。仮にこれを更に次の瞬間に合わせこもうとしても、逐次その合わせ込みのパラメータを再計算することは情報処理の処理能力的に現実的ではない。
【先行技術文献】
【特許文献】
【０００７】
特許第７１７２０３４号明細書
国際公開第２０２０／５４８２４６号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は上記課題に鑑みたもので、ビデオシースルー映像処理装置において、ビデオシースルー画像と人工映像を重畳表示する際に、両画像の位置合わせが微小にずれることが発生しても、その境界の目立ち具合を低減しひと繋がりの映像体験を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のビデオシースルー映像処理装置は、映像の撮像および表示を行う手段を備えたビデオシースルー映像取得部と、予め記録された映像ないし、ＣＧである人工映像取得部と、前記ビデオシースルー映像と、前記人工映像の画質をそれぞれ評価する画質評価部と、前記画質評価の結果に基づいて、前記ビデオシースルー映像の画質と前記人工映像の画質差を計算する画質差計算部と、前記画質差に基づいて、前記ビデオシースルー映像と前記人工映像の画質を変更する画質変更部を持つことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ビデオシースルー映像と人工映像に画質差があっても、ノイズなど画質の変更が存在する箇所を境界面以外にも生成するため、ビデオシースルー映像と人工映像の差分に気づきにくくなり、実在感を保った体験ができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許