特許ウォッチ

公開番号2025059915
公報種別公開特許公報(A)
公開日2025-04-10
出願番号2023170314
出願日2023-09-29
発明の名称情報処理装置および情報処理方法
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20250403BHJP(計算;計数)
要約【課題】現実空間の画像と仮想空間の画像を合成するための情報処理装置において、計算量の増大を抑えるための技術を提供する。
【解決手段】現実空間を撮像して得られた現実画像を取得する取得手段と、現実空間と位置合わせされた仮想空間の画像である仮想画像を生成する生成手段と、現実画像に対して画像処理を行うことが可能な画像処理手段と、現実画像と仮想画像を合成した合成画像を生成する合成手段を有し、画像処理手段は、合成画像に占める仮想画像の割合を閾値と比較した結果に応じて、現実画像に対する画像処理の内容を変更する情報処理装置を用いる。
【選択図】図2
特許請求の範囲【請求項１】
現実空間を撮像して得られた現実画像を取得する取得手段と、
仮想空間の画像である仮想画像を生成する生成手段と、
前記現実画像に対して画像処理を行うことが可能な画像処理手段と、
前記現実画像と前記仮想画像を合成した合成画像を生成する合成手段と、
を有し、
前記画像処理手段は、前記合成画像に占める前記仮想画像の割合を閾値と比較した結果に応じて、前記現実画像に対する画像処理の内容を変更する
ことを特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記画像処理手段は、前記合成画像に占める前記仮想画像の割合が前記閾値より大きいとき、前記現実画像の解像度を低くするような画像処理を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像処理手段は、前記合成画像に占める前記仮想画像の割合が前記閾値より大きいとき、前記現実画像のうち、前記合成画像において前記仮想画像に隠れる領域に対する画像処理を行わない
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記画像処理手段は、前記合成画像に占める前記仮想画像の割合が、前記閾値よりも大きい第２の閾値より大きいとき、前記現実画像に対する画像処理を行わない
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記画像処理手段は、前記合成画像に占める前記仮想画像の割合が１００％であるとき、前記現実画像に対する画像処理を行わない
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記画像処理手段は、前記仮想画像のうち前記合成画像において透過される領域は、前記割合の算出の際に前記現実画像として扱う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記合成画像を、前記情報処理装置の外部に出力する出力手段をさらに有する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項８】
前記取得手段は、前記情報処理装置の外部の撮像装置により撮像された前記現実画像を取得する
ことを特徴とする請求項7に記載の情報処理装置。
【請求項９】
前記情報処理装置は、ユーザが装着するヘッドマウントディスプレイと通信可能に構成されており、
前記ヘッドマウントディスプレイは、前記外部の撮像装置を備えるとともに、前記出力手段から出力された前記合成画像を表示するための表示装置を備える
ことを特徴とする請求項8に記載の情報処理装置。
【請求項１０】
現実空間を撮像して得られた現実画像を取得する取得工程と、
仮想空間の画像である仮想画像を生成する生成工程と、
前記現実画像に対して画像処理を行う画像処理工程と、
前記現実画像と前記仮想画像を合成した合成画像を生成する合成工程と、
を有し、
前記画像処理工程では、前記合成画像に占める前記仮想画像の割合を閾値と比較した結果に応じて、前記現実画像に対する画像処理の内容を変更する
ことを特徴とする情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年、現実空間と仮想空間とを違和感なく融合させて提示する複合現実感（Ｍｉｘｅｄ
Ｒｅａｌｉｔｙ、ＭＲ）技術の研究が盛んである。ＭＲ技術の中でも、現実空間に仮想空間を重ね合わせて提示するＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ（ＡＲ、拡張現実感とも呼ばれる）技術が特に注目を集めている。ＡＲ技術は、例えばユーザが装着するＨＭＤ（ヘッドマウントディスプレイ）などに適用可能である。
【０００３】
ＡＲの画像提示は、主にビデオシースルー方式または光学シースルー方式により実現される。ビデオシースルー方式の場合には、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に、撮像装置の位置および姿勢に応じて位置合わせされて生成された仮想空間が合成されて表示される。仮想空間の画像は、具体的にはコンピュータグラフィックス（ＣＧ）により描画された仮想物体や文字情報などにより構成される。光学シースルー方式の場合には、表示装置の位置及び姿勢に応じて生成された仮想空間の画像が透過型ディスプレイに表示される。これにより、観察者の網膜上で現実空間と仮想空間が合成される。
【０００４】
ＡＲ技術において最も重要な課題の一つは、現実空間と仮想空間との間の位置合わせをいかに実時間で正確に行うかである。ＡＲにおける位置合わせの問題は、ビデオシースルー方式を利用する場合には、シーン中における（すなわちシーン中に規定される基準座標系における）撮像装置の位置及び姿勢を求める問題となる。ビデオシースルー方式における位置合わせ方法の代表例として、シーン中に形状の情報が既知な人工的指標（マーカ）を配置しておき、撮像した現実画像中のマーカを画像認識することで、基準座標系における撮像装置の位置及び姿勢を求める手法が挙げられる。このとき、基準座標系における撮像装置の位置及び姿勢は、現実画像内における指標の投影位置と、既知の情報である指標の基準座標系における３次元位置姿勢との対応関係から求められる。
【０００５】
また、ビデオシースルー方式において、人工的な指標ではなくシーン中に元来存在する特徴（以下、自然特徴）を利用する位置合わせ方法もある。この方法では従来、画像に写る全ての人工的指標、もしくは自然特徴を均等に利用することで位置及び姿勢の計算をしていたが、計算量の増大を招いていた。
【０００６】
そこで、計算量の増大を抑制することを目的として、ユーザが注視する領域に基づく画像描画の最適化手法の一種であるフォビエイテッドレンダリングが提案された。フォビエイテッドレンダリングは、画像内のユーザが注視する領域付近のみを基準の解像度で描画し、それ以外の領域を基準以下の解像度で描画する手法である。ここで人間の視覚には、注視領域から遠くなるほど認識できる視野情報の量が減少するという特性がある。そのため、注視領域から遠い領域の解像度などを下げても体感品質には影響しない。フォビエイテッドレンダリングは、この特性を利用して、ユーザの注視領域については高品質でレンダリングし、注視領域から遠ざかるほどレンダリング品質を下げることにより、ユーザの体感する画像品質と、レンダリングの計算コストとの双方を最適化する技術である。
【０００７】
ここで、ビデオシースルー方式のＨＭＤにおいて、ＨＭＤ本体の小型軽量化や電力消費量の低減のために、レンダリングをＨＭＤ外部の情報処理装置に行わせる場合がある。この場合、ＨＭＤに搭載された撮像装置により撮像された画像を情報処理装置に送信し、情
報処理装置においてレンダリングおよび仮想画像との重畳処理を行ったのち、生成された合成画像が再びＨＭＤに転送される。ここで、特許文献１（特開２０１８－０８８６０４号公報）では、フォビエイテッドレンダリングと同様にユーザによる注視領域を検出し、注視領域から離れた領域の解像度を落としてから情報処理装置への転送を実施する技術を開示している。
【先行技術文献】
【特許文献】
【０００８】
特開２０１８－０８８６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特に近年、ＨＭＤと外部情報処理装置の間の接続を無線化することで、ＨＭＤをポータブル化してユーザの移動範囲を広げる要望が高まっている。その場合ＨＭＤは電池駆動となるため、より一層の電力消費量の削減が求められる。しかしながら特許文献１では、ユーザが注視している領域については演算処理を行う必要があり、電力を消費してしまう。また、合成画像における仮想画像の表示形態に関わらず、注視している領域から離れるに従って一律に解像度を落とすという処理方法を取っている。そのため、合成画像中の仮想画像の表示形態によっては必ずしも行う必要がないような、現実画像に対する画像処理を行っている可能性があり、計算量の増大につながり、電力消費増加を招くおそれがある。
【００１０】
本発明は上記課題に鑑みてなされたものである。本発明の目的は、現実空間の画像と仮想空間の画像を合成するための情報処理装置において、計算量の増大を抑えるための技術を提供することである。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許