特許ウォッチ

公開番号2024177821
公報種別公開特許公報(A)
公開日2024-12-24
出願番号2023096168
出願日2023-06-12
発明の名称プログラム、情報処理装置及び情報処理方法
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/33 20170101AFI20241217BHJP(計算;計数)
要約【課題】カメラの位置姿勢、及び、画像特徴の3次元情報の少なくとも一方の算出に掛かる計算コストの削減を、精度を維持したまま行う。
【解決手段】実施形態のプログラムは、コンピュータを、対応関係取得部と選別部と算出部として機能させる。対応関係取得部は、カメラにより撮像された複数の画像から複数の画像特徴を算出し、前記複数の画像特徴の対応関係を取得する。選別部は、複数の前記対応関係を、対応関係の有効性と、前記有効性が有効性閾値よりも低い対応関係が削除される場合に前記複数の画像のうち少なくともいずれか1つの画像に及ぼす影響と、に基づいて選別する。算出部は、前記複数の対応関係から選別された対応関係から、前記カメラの位置姿勢、及び、前記画像特徴の3次元情報の少なくとも一方を算出する。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータを、
カメラにより撮像された複数の画像から複数の画像特徴を算出し、前記複数の画像特徴の対応関係を取得する対応関係取得部と、
複数の前記対応関係を、対応関係の有効性と、前記有効性が有効性閾値よりも低い対応関係が削除される場合に前記複数の画像のうち少なくともいずれか１つの画像に及ぼす影響と、に基づいて選別する選別部と、
前記複数の対応関係から選別された対応関係から、前記カメラの位置姿勢、及び、前記画像特徴の３次元情報の少なくとも一方を算出する算出部、
として機能させるためのプログラム。
続きを表示（約 1,700 文字）【請求項２】
前記コンピュータを、
前記カメラの撮影位置の初期値、及び、前記カメラの姿勢の初期値の少なくとも一方を取得する初期値取得部として更に機能させ、
前記算出部は、前記カメラの撮影位置の初期値、及び、前記カメラの姿勢の初期値の少なくとも一方に更に基づいて、前記カメラの位置姿勢、及び、前記画像特徴の３次元情報の少なくとも一方を算出する、
請求項１に記載のプログラム。
【請求項３】
前記対応関係の有効性は、前記対応関係にある２つの画像特徴が示す位置の間の移動量が、より大きいことであり、
前記有効性閾値は、所定の移動量を示し、
前記選別部は、前記対応関係にある２つの画像特徴が示す位置の間の移動量が、より大きい対応関係を削除しないように、前記複数の対応関係を選別する、
請求項１又は２に記載のプログラム。
【請求項４】
前記対応関係の有効性は、前記対応関係がある画像特徴を含む画像の数が、より多いことであり、
前記有効性閾値は、所定の画像数を示し、
前記選別部は、前記対応関係がある画像特徴を含む画像の数が、より多い対応関係を削除しないように、前記複数の対応関係を選別する、
請求項１又は２に記載のプログラム。
【請求項５】
前記対応関係の有効性は、前記対応関係にある画像特徴の類似度が、より高いことであり、
前記有効性閾値は、所定の類似度を示し、
前記選別部は、前記対応関係にある画像特徴の類似度が、より高い対応関係を削除しないように、前記複数の対応関係を選別する、
請求項１又は２に記載のプログラム。
【請求項６】
前記対応関係取得部は、前記対応関係の信頼度を算出するニューラルネットワークを用いて、前記信頼度を更に取得し、
前記対応関係の有効性は、前記信頼度が、より高いことであり、
前記有効性閾値は、所定の信頼度を示し、
前記選別部は、前記対応関係の信頼度が、より高い対応関係を削除しないように、前記複数の対応関係を選別する、
請求項１又は２に記載のプログラム。
【請求項７】
前記複数の画像のうち少なくともいずれか１つの画像に及ぼす影響は、前記画像毎に分布する画像特徴の位置のばらつきであり、
前記選別部は、前記有効性が前記有効性閾値よりも低い対応関係が削除される場合に、前記画像特徴の位置のばらつきを評価する評価値が、影響閾値よりも小さくならないように、前記複数の対応関係を選別する、
請求項１又は２に記載のプログラム。
【請求項８】
前記複数の画像のうち少なくともいずれか１つの画像に及ぼす影響は、前記複数の画像における前記対応関係の総数であり、
前記選別部は、前記有効性が前記有効性閾値よりも低い対応関係が削除される場合に、前記複数の画像における前記対応関係の総数が、影響閾値よりも小さくならないように、前記複数の対応関係を選別する、
請求項１又は２に記載のプログラム。
【請求項９】
前記選別部は、前記対応関係の総数が、所定の総数に近づくまで、前記有効性閾値を変化させ、前記有効性が前記有効性閾値よりも低い対応関係が削除される場合に、前記複数の画像における前記対応関係の総数が、前記影響閾値よりも小さくならないように、前記複数の対応関係を選別する、
請求項８に記載のプログラム。
【請求項１０】
前記複数の画像のうち少なくともいずれか１つの画像に及ぼす影響は、前記画像毎に含まれる前記画像特徴の総数であり、
前記選別部は、前記有効性が前記有効性閾値よりも低い対応関係が削除される場合に、前記画像特徴の総数が、影響閾値よりも小さくならないように、前記複数の対応関係を選別する、
請求項１又は２に記載のプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態はプログラム、情報処理装置及び情報処理方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
カメラを用いて自己位置推定と、周辺環境の３次元計測とを同時に行う技術として、ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ（ＳＬＡＭ）やＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ（ＳｆＭ）が着目されている。カメラは屋内でも使えることや、比較的安価かつ手軽に使えることから、カメラを用いた技術の応用が期待されている。例えば、インフラの保守点検・巡視等における撮影位置・対象位置の計測、事故映像における自車の動き推定、及び、文化遺産の保護を目的とした文化財のデジタルアーカイブなどへの応用が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
特許第５９５３１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、カメラの位置姿勢、及び、画像特徴の３次元情報の少なくとも一方の算出に掛かる計算コストの削減を、精度を維持したまま行うことが難しかった。
【課題を解決するための手段】
【０００５】
実施形態のプログラムは、コンピュータを、対応関係取得部と選別部と算出部として機能させる。対応関係取得部は、カメラにより撮像された複数の画像から複数の画像特徴を算出し、前記複数の画像特徴の対応関係を取得する。選別部は、複数の前記対応関係を、対応関係の有効性と、前記有効性が有効性閾値よりも低い対応関係が削除される場合に前記複数の画像のうち少なくともいずれか１つの画像に及ぼす影響と、に基づいて選別する。算出部は、前記複数の対応関係から選別された対応関係から、前記カメラの位置姿勢、及び、前記画像特徴の３次元情報の少なくとも一方を算出する。
【図面の簡単な説明】
【０００６】
実施形態の情報処理装置の機能構成の例を示す図。
実施形態の画像特徴の移動量の例１を示す図。
実施形態の画像特徴の移動量の例２を示す図。
実施形態の対応関係にある画像特徴を含む画像の数を説明するための図。
実施形態の画像特徴の分布の例１を示す図。
実施形態の画像特徴の分布の例２を示す図。
ＳＬＡＭにおける画像特徴の対応付けについて説明するための図。
ＳｆＭにおける画像特徴の対応付けについて説明するための図。
実施形態の選別部の処理例を示すフローチャート。
実施形態の変形例１の選別部の処理例を示すフローチャート。
実施形態の変形例２の情報処理装置の機能構成の例を示す図。
実施形態の情報処理装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、プログラム、情報処理装置及び情報処理方法の実施形態を詳細に説明する。
【０００８】
はじめに、ＳＬＡＭとＳｆＭとの違いについて説明する。一般的にＳＬＡＭは、自動運転等のリアルタイム処理が必要なアプリケーションに用いられ、連続した画像シーケンスを入力として逐次的に位置推定等を行う。処理精度よりも処理速度を重視するため、カメラの位置姿勢、及び、カメラの周辺環境の最適化の実行時に範囲を絞る等の工夫が施されている。
【０００９】
一方、ＳｆＭはオフライン処理を前提としており、入力は連続した画像シーケンスに限定されず画像群すべてを使い、精度を重視した最適化が行われる。
【００１０】
保守点検・巡視等における撮影位置・対象位置の計測や、事故映像における自車の動き推定等での活用には、リアルタイム処理を必要としないので精度を重視したＳｆＭが適している。一方で、画像群すべてを使うＳｆＭでも処理時間を高速化することで、サーバーの使用料の削減やアプリケーションを使うユーザーの待ち時間軽減といった効果があり、ＳｆＭにおける高速化の技術が求められている。
（【００１１】以降は省略されています）

関連特許