特許ウォッチ

公開番号2025066312
公報種別公開特許公報(A)
公開日2025-04-23
出願番号2023175804
出願日2023-10-11
発明の名称情報処理装置、情報処理システム、情報処理方法、プログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 7/593 20170101AFI20250416BHJP(計算;計数)
要約【課題】距離情報を要する装置がより高速に高精度な距離情報を取得できるようにする。
【解決手段】情報処理装置は、互いに視差を有する第1の画像と第2の画像とを取得する取得手段と、前記第1の画像と前記第2の画像に基づき、前記第1の画像の第1の範囲の距離情報を、第1の演算によって算出する第1の演算手段と、前記第1の画像の前記第1の範囲に含まれ、かつ、前記第1の範囲よりも小さい第2の範囲と、前記第2の画像の第3の範囲とを外部装置に送信する第1の送信手段と、前記第1の演算とは異なる第2の演算によって前記外部装置において前記第2の範囲と前記第3の範囲に基づき算出された前記第2の範囲の距離情報を受信する受信手段と、前記受信手段により受信された前記第2の範囲の距離情報に基づき、前記第1の演算手段により算出された前記第1の範囲の距離情報を補正する補正手段と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
互いに視差を有する第１の画像と第２の画像とを取得する取得手段と、
前記第１の画像と前記第２の画像に基づき、前記第１の画像の第１の範囲の距離情報を、第１の演算によって算出する第１の演算手段と、
前記第１の画像の前記第１の範囲に含まれ、かつ、前記第１の範囲よりも小さい第２の範囲と、前記第２の画像の第３の範囲とを外部装置に送信する第１の送信手段と、
前記第１の演算とは異なる第２の演算によって前記外部装置において前記第２の範囲と前記第３の範囲に基づき算出された前記第２の範囲の距離情報を受信する受信手段と、
前記受信手段により受信された前記第２の範囲の距離情報に基づき、前記第１の演算手段により算出された前記第１の範囲の距離情報を補正する補正手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記第２の範囲の距離情報が前記第２の演算により算出される場合の計算コストは、前記第２の範囲の距離情報が前記第１の演算により算出される場合の計算コストよりも多い、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記外部装置は、ネットワーク上のクラウドにおける機器である、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第１の範囲のうち、前記第１の演算によって距離情報が算出されていない範囲を、前記第２の範囲として決定する決定手段をさらに有する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記決定手段は、前記第１の演算によって２以上の距離が算出された範囲を、前記第２の範囲として決定する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１の範囲のうち、ユーザが見ている範囲を前記第２の範囲として決定する決定手段をさらに有する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記第１の範囲のうち、前記第１の画像の中心範囲を前記第２の範囲として決定する決定手段をさらに有する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記第１の範囲は、複数の画素ブロックから構成されており、
前記第１の範囲のうち、周辺の画素ブロックとの輝度の差分が第１の閾値よりも小さい画素ブロックの範囲を前記第２の範囲として決定する決定手段をさらに有する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記決定手段は、前記第１の範囲に含まれる画素ブロックごとに、前記第１の画像の中心位置と当該画素ブロックとの距離、または、前記第１の画像においてユーザが見ている位置と当該画素ブロックとの距離に応じて、前記第１の閾値を決定する、
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記第１の演算手段は、前記情報処理装置と前記外部装置との間の通信状態に応じて、前記画素ブロックのサイズを決定する、
ことを特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法、プログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）システムは、カメラから取得した画像に基づき、撮影対象までの距離情報を取得している。距離情報は、「撮影空間の３次元マップ生成」、および「ＭＲシステムを利用するユーザの手と仮想空間のＣＧとのシームレスな位置関係の算出」などに利用される。
【０００３】
一般的に、ステレオ処理に代表される撮影対象までの距離算出（デプス演算）では、一対のカメラを有するステレオカメラにより現実空間を撮影したステレオ画像に存在する被写体までの距離が、三角測量によって算出される。三角測量とは、左右のカメラによって撮影された被写体の像の位置ずれ量を検出して、位置ずれ量に基づきカメラと被写体までの距離を算出する方法である。この位置ずれ量は、カメラから被写体までの距離に反比例する。このため、２つの画像における同一の被写体の位置の差分である位置ずれ量を特定することによって、被写体までの距離の算出が可能である。
【０００４】
特許文献１では、デプス情報処理装置は、２つのカメラの撮影により得られた２つの画像のブロックマッチングにより距離情報を取得する。そして、デプス情報処理装置は、距離情報の取得に失敗したと判定される画素ブロックが存在する場合には、ブロックサイズをより小さく設定して、再度同じ距離算出（デプス演算）を行う。
【先行技術文献】
【特許文献】
【０００５】
特開２０２０－１４０３４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１のように、高精度なデプス演算をデプス情報処理装置のハードウェアで実現すると、メモリまたは演算器のリソース不足などにより、デプス情報処理装置の実装または変更が阻害される可能性がある。一方、計算リソースが潤沢であり、高速計算が可能なクラウド上のサーバ機を用いて高精度なデプス演算を実現する場合には、ネットワーク上の伝送帯域の制限が発生する場合がある。この場合には、実際にデプス演算の結果を用いる機器が、デプス演算結果を取得するまでに、大きな遅延が発生してしまい、システム全体としてのパフォーマンスが低下する。
【０００７】
そこで、本発明は、距離情報を要する装置がより高速に高精度な距離情報を取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１つの態様は、
互いに視差を有する第１の画像と第２の画像とを取得する取得手段と、
前記第１の画像と前記第２の画像に基づき、前記第１の画像の第１の範囲の距離情報を、第１の演算によって算出する第１の演算手段と、
前記第１の画像の前記第１の範囲に含まれ、かつ、前記第１の範囲よりも小さい第２の範囲と、前記第２の画像の第３の範囲とを外部装置に送信する第１の送信手段と、
前記第１の演算とは異なる第２の演算によって前記外部装置において前記第２の範囲と
前記第３の範囲に基づき算出された前記第２の範囲の距離情報を受信する受信手段と、
前記受信手段により受信された前記第２の範囲の距離情報に基づき、前記第１の演算手段により算出された前記第１の範囲の距離情報を補正する補正手段と、
を有することを特徴とする情報処理装置である。
【０００９】
本発明の１つの態様は、
互いに視差を有する第１の画像と第２の画像とを取得する取得ステップと、
前記第１の画像と前記第２の画像に基づき、前記第１の画像の第１の範囲の距離情報を、第１の演算によって算出する第１の演算ステップと、
前記第１の画像の前記第１の範囲に含まれ、かつ、前記第１の範囲よりも小さい第２の範囲と、前記第２の画像の第３の範囲とを外部装置に送信する第１の送信ステップと、
前記第１の演算とは異なる第２の演算によって前記外部装置において前記第２の範囲と前記第３の範囲に基づき算出された前記第２の範囲の距離情報を受信する受信ステップと、
前記受信ステップにおいて受信された前記第２の範囲の距離情報に基づき、前記第１の演算ステップにおいて算出された前記第１の範囲の距離情報を補正する補正ステップと、を有することを特徴とする情報処理方法である。
【発明の効果】
【００１０】
本発明によれば、距離情報を要する装置がより高速に高精度な距離情報を取得できる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許