特許ウォッチ

公開番号2025095863
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023212229
出願日2023-12-15
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/70 20170101AFI20250619BHJP(計算;計数)
要約【課題】レイテンシの低減を可能にする。
【解決手段】情報処理装置は、検出手段と領域決定手段とを有する。検出手段は、撮像装置が現実空間を撮像した画像から特徴を検出する。領域決定手段は、その検出された特徴に基づいて、撮像装置により次に撮像される画像に対して特徴がある領域を予測し、さらに、撮像装置が次に撮像した画像のうち、予測した特徴がある領域のみを、検出手段に送信する領域として決定する。
【選択図】図1
特許請求の範囲【請求項１】
撮像装置が現実空間を撮像した画像から特徴を検出する検出手段と、
前記検出された前記特徴に基づいて、前記撮像装置により次に撮像される画像に対して前記特徴がある領域を予測し、前記撮像装置が前記次に撮像した画像のうち、前記予測した前記特徴がある領域のみを、前記検出手段に送信する領域として決定する領域決定手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記検出手段による前記特徴の検出結果に基づいて、仮想空間の画像を生成する生成手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検出手段により検出された前記特徴に基づいて、前記撮像装置の位置姿勢を取得する取得手段を有し、
前記生成手段は、前記撮像装置の位置姿勢に応じた前記仮想空間の画像を生成することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記生成手段は、前記仮想空間の画像と、前記撮像装置により前記撮像された画像とを合成した合成画像を生成することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記撮像装置が前記次に撮像する画像のうち、前記領域決定手段により前記決定された前記領域の送信を要求する送信手段と、
前記撮像装置が前記次に撮像した現実空間の画像のうち、前記送信の要求に応じて前記撮像装置から送信されてきた領域の画像を受信する受信手段と、
を有し、
前記受信手段は、前記送信の要求に応じて前記撮像装置から送信された前記領域の画像を、前記検出手段に送出することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記撮像装置により撮像された前記現実空間の画像を受信する受信手段を有し、
前記受信手段は、前記撮像装置が前記次に撮像した前記現実空間の画像のうち、前記領域決定手段により前記決定された前記領域の画像のみを、前記検出手段に送出することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記撮像装置により撮像された前記現実空間の画像に画像処理を行う他の情報処理装置から、前記画像処理が行われた後の画像を受信する受信手段と、
前記撮像装置が前記次に撮像した現実空間の画像のうち、前記領域決定手段により前記決定された前記領域の画像の送信を要求する送信手段と、
を有し、
前記受信手段は、前記送信の要求に応じて前記他の情報処理装置から送信された前記領域の画像を、前記検出手段に送出することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記領域決定手段は、前記撮像装置に備えられた姿勢センサにより検出された情報をも用いて、前記撮像装置が前記次に撮像する画像に対して前記特徴がある領域を予測することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記検出手段は、前記現実空間に存在する特定の現実物体を前記特徴として検出し、
前記領域決定手段は、前記撮像装置により次に撮像される画像に対して前記現実物体がある領域を予測し、前記撮像装置が前記次に撮像した画像のうち、前記予測した前記現実物体がある領域のみを、前記検出手段に送信する領域として決定することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項１０】
前記特定の前記現実物体は手であることを特徴とする請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、複合現実空間や仮想空間を実現する際の情報処理技術に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）システムで用いられる頭部装着型の画像表示装置（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）としては、例えばビデオシースルー方式のＨＭＤなどが知られている。ビデオシースルー方式のＨＭＤは、内蔵カメラ（撮像装置）にて撮像した現実空間の画像に、そのカメラの位置姿勢に応じて生成したＣＧ画像（コンピュータグラフィクスにより描画された仮想物体や文字情報等の画像）を重畳描画した合成画像を表示する。
【０００３】
ＭＲシステムでは、内蔵カメラで撮像した現実空間とカメラの位置姿勢に応じて生成した仮想物体との位置を正しく合わせることが求められるため、そのカメラの位置姿勢を正確かつリアルタイムに推定する必要がある。カメラの位置姿勢を推定する手法としては、例えば、現実空間を撮像した画像から、当該現実空間内で固定した（つまり３次元座標が変わらない）特徴点を検出し、その検出した特徴点に基づいて位置姿勢を推定する手法などが知られている。なおこのような位置姿勢の推定技術は、複合現実空間を生成する際だけでなく、人工現実感（ＶｉｒｔｕａｌＲｅａｌｉｔｙ：ＶＲ：仮想現実感）を提供するＶＲシステムでも利用することができる。
【０００４】
またＭＲシステムでは、ＨＭＤに表示されている仮想物体を観察者が仮想的に操作等することができ、さらにその操作等に対するインタラクションも実現されている。このようなインタラクションを実現する場合、仮想物体を仮想的に操作する観察者の手などの現実物体、つまり現実空間内を移動し、さらに見た目も変形するような現実物体を、その仮想物体よりも手前（前景）側に表示する必要がある。なぜなら、仮想物体よりも手前にあるべき現実物体が、その仮想物体によって隠されてしまうと、仮想物体との距離感や現実感が破綻してしまうからである。また、このような現実物体と仮想物体との位置関係を正しく表現するためには、現実空間の画像内において現実物体の検出および距離計測が必要となる。ただし、観察者の手のように、現実空間内において移動・変形する現実物体をリアルタイムに検出することは容易ではない。移動・変形する現実物体を検出する手法としては、その検出対象の現実物体の色情報を予め登録しておき、撮像画像から登録色と同じ色の画像領域を抽出することで、当該現実物体を検出するような手法が提案されている。
【０００５】
前述したように、ＭＲシステムでは、カメラで撮像した画像を用いて、特徴点の検出や、検出対象の現実物体の登録色の画像領域の検出等が行われるため、画像から特徴点や色等をそれぞれ取得するのに適した複数のカメラがＨＭＤに搭載されることもある。さらに、ＨＭＤには、いわゆるステレオカメラ構成の二つのカメラの画像を用いたステレオ計測によって距離計測を行うためのカメラが搭載されていることもある。
【０００６】
また、一般的なＭＲシステムでは、撮像画像から現実物体を検出する処理や特徴点の検出処理、現実空間と仮想物体の画像合成処理などは、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）やＷＳ（ＷｏｒｋＳｔａｔｉｏｎ）などの情報処理装置で行われている。なお、ＨＭＤと情報処理装置との間は、有線または無線により接続される。しかしながら、前述したようにＨＭＤに複数のカメラが搭載されている場合、情報処理装置では、それら複数のカメラで撮像された画像データを用いた処理を行うことになるため、レイテンシが長くなってしまうことがある。すなわち現実空間を撮像してから情報処理装置で生成された合成画像がＨＭＤに表示されるまでの時間や、観察者の頭部や手の動きなどに応じて情報処理装置で生成される仮想物体の画像がＨＭＤに表示されるまでの時間が長くなってしまう。
【０００７】
なお、特許文献１には、イベント駆動型のセンサを使って、関心領域の検出対象が移動したかどうかを判断し、検出対象が移動していないときに、トラッキング処理を無効にして処理時間を減らすことで、レイテンシを低減可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
特開２０２２－８０１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら特許文献１の技術は、ゲームのプレイヤーであるユーザ等の動きをトラッキングする場合のレイテンシを低減する技術であり、カメラを搭載したＨＭＤと情報処理装置を含むシステムにおけるレイテンシの低減のために適用することは難しい。
【００１０】
そこで本発明は、レイテンシの低減を可能にすることを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許