特許ウォッチ

公開番号2024062512
公報種別公開特許公報(A)
公開日2024-05-10
出願番号2022170386
出願日2022-10-25
発明の名称情報処理装置、移動デバイス、システム、制御方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 7/246 20170101AFI20240501BHJP(計算;計数)
要約【課題】安定して高精度な位置姿勢推定処理を実現するために、移動デバイスの位置合わせに用いるマップ中から移動物体を検出する。
【解決手段】移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持部と、固定カメラの画像を入力する画像入力部と、前記固定カメラの画像から移動物体を検出する移動物体検出部と、前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新部と、前記第二マップを保持する第二マップ情報保持部と、を備えることを特徴とする情報処理装置。
【選択図】図1
特許請求の範囲【請求項１】
移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持部と、
固定カメラの画像を入力する画像入力部と、
前記固定カメラの画像から移動物体を検出する移動物体検出部と、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、
前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新部と、
前記第二マップを保持する第二マップ情報保持部と、
を備えることを特徴とする情報処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記第一マップ情報保持部に保持する前記第一マップを他の装置から受信するマップ受信部と、
前記第二マップ情報保持部に保持された前記第二マップのうち、少なくとも一部を前記移動デバイスに送信するマップ送信部と
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記マップ送信部は、前記第二マップ情報保持部に保持された前記第二マップのうち、前記移動デバイスの現在地に対応する位置のマップ情報を選択して前記移動デバイスに送信する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記マップ更新部は、前記第一マップを用いて生成した第二マップと、過去に生成され前記第二マップ情報保持部に保持された第二マップと、を統合して新たな第二マップを生成し、当該新たな第二マップを前記第二マップ情報保持部に保持する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記固定カメラの画像を撮影時刻と関連付けて記録する画像蓄積部をさらに備え、
前記マップ対応検出部は、前記第一マップに含まれる画像の撮影時刻に対応する撮影時刻を有する固定カメラの画像を選択して対応を検出し、
前記移動物体検出部と前記マップ更新部は、前記選択された固定カメラの画像を用いて処理を行う、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第一マップ情報保持部は、前記第一マップと関連付けて、前記第一マップに含まれる前記画像を撮影したデバイスの性質を示す機種情報を保持し、
前記第二マップ情報保持部は、前記機種情報に応じて複数の第二マップを保持し、
前記マップ更新部は、前記第一マップを用いて生成した第二マップと、過去に生成され前記第二マップ情報保持部に保持された第二マップとを統合する際、前記機種情報に応じた第二マップを選択する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記移動物体検出部は、さらに、検出した移動物体ごとに識別情報を生成し、前記画像入力部から入力される画像のフレーム間で前記移動物体の追跡を行い、
前記マップ更新部は、前記第一マップに含まれる空間中の特徴情報に対し、前記移動物体の識別情報を付加した第二マップを生成する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
カメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成部と、
前記第一マップを他の装置に送信する第一マップ送信部と、
前記他の装置から、前記第一マップに含まれる前記特徴情報に対し、移動物体であるか否かを示す情報が付加された第二マップを受信する第二マップ受信部と、
前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する自己位置推定部と、
を備える移動デバイス。
【請求項９】
前記第一マップ送信部が前記第一マップを前記他の装置に送信するタイミングは、
前記移動デバイスが前記他の装置に関連付けられた固定カメラの所定距離以内にあると判定されたとき、
前記移動デバイスが前記カメラから新たなキーフレームの情報を得たとき、および、
前記移動デバイスが受信した前記第二マップに対して前記カメラから新たな情報を追加したとき、
の少なくともいずれかである、
ことを特徴とする請求項８に記載の移動デバイス。
【請求項１０】
前記移動デバイスは、ＨＭＤである、
ことを特徴とする請求項８に記載の移動デバイス。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、移動デバイスの位置合わせに用いるマップから移動物体を検出する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、設計・製造分野においてプロトタイプを用いた評価の期間短縮、費用削減が求められている。ＣＡＤ（コンピュータ支援設計）システムで作成した設計（形状・デザイン）データを用いて、組み立てやすさやメンテナンス性の評価をするための複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）システムが導入されている。
【０００３】
ＭＲシステムの画像表示装置には、ビデオシースルー方式と光学シースルー方式とがある。ビデオシースルー方式の画像表示装置は、撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間（コンピュータグラフィクスにより描画された仮想物体や文字情報等）の画像を重畳描画した合成画像を表示する。光学シースルー方式の画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する。
【０００４】
ＭＲ技術において重要な課題の一つは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということである。そのために、現実空間におけるカメラの位置及び姿勢を正確かつリアルタイムに推定する必要がある。
【０００５】
その実現方法の一つに、カメラで撮影された画像を用いて現実空間のマップを構築し、そのマップに基づいてカメラの位置及び姿勢を求める方法がある。例えば、Ｖｉｓｕａｌ
ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）と呼ばれる手法がある（例えば、非特許文献１を参照）。この技術は、ＭＲシステムだけでなく、ロボットや無人搬送車の自己位置推定などにも利用されている。
【０００６】
ＶｉｓｕａｌＳＬＡＭは、カメラで撮影された画像から現実空間におけるカメラの位置姿勢を求めると同時に、必要に応じてその画像からキーフレームの情報を抽出し、その情報を蓄積したマップを構築する手法である。キーフレームの情報には、画像と、その画像を撮影したカメラの位置姿勢、およびその画像から抽出された特徴点の３次元情報が含まれる。ＶｉｓｕａｌＳＬＡＭによる方法では、実行時にマップを新たに作成した場合、実行の度に異なる基準座標系に基づいて位置姿勢推定がなされる。そのため、同じ環境においては、過去に作成されたマップを利用して処理を行い、一貫した基準座標系に基づく位置姿勢推定を行うことが望ましい。
【０００７】
また、ＶｉｓｕａｌＳＬＡＭにおいてはカメラで撮影した画像中に移動物体が含まれる場合、それらはカメラの動きとは異なる方向に動きベクトルを生じるため、カメラ位置姿勢推定の誤差の原因となる。そのため、より安定したカメラ位置姿勢の推定を行うためには、移動物体の影響を取り除くことが望ましい。
【０００８】
特許文献１では、マップと画像の対応点のうち、動きベクトルの異なる点を移動物体上の点であると判定し、マップから除去することでこれを実現している。
【先行技術文献】
【特許文献】
【０００９】
特開２０１２－２２１０４２号公報
【非特許文献】
【００１０】
Ｇ．ＫｌｅｉｎａｎｄＤ．Ｍｕｒｒａｙ：“ＰａｒａｌｌｅｌＴｒａｃｋｉｎｇａｎｄＭａｐｐｉｎｇｆｏｒＳｍａｌｌＡＲＷｏｒｋｓｐａｃｅｓ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆＳｉｘｔｈＩＥＥＥａｎｄＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＭｉｘｅｄａｎｄＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，２００７．
Ｂ．Ｅｌｖｉｒａ，Ｊ．Ｄ．ＴａｒｄｏｓａｎｄＪ．Ｍ．Ｍ．Ｍｏｎｔｉｅｌ：“ＯＲＢＳＬＡＭ－Ａｔｌａｓ：ＡＲｏｂｕｓｔＡｎｄＡｃｃｕｒａｔｅＭｕｌｔｉ－ｍａｐＳｙｓｔｅｍ”，ＩＥＥＥ／ＲＳＪＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｌｌｉｇｅｎｔＲｏｂｏｔｓａｎｄＳｙｓｔｅｍｓ（ＩＲＯＳ），２０１９．
Ｄ．Ｇ．Ｌｏｗｅ：“ＤｉｓｔｉｎｃｔｉｖｅＩｍａｇｅＦｅａｔｕｒｅｓｆｒｏｍＳｃａｌｅ－ＩｎｖａｒｉａｎｔＫｅｙｐｏｉｎｔｓ”，ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００４．
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許