特許ウォッチ

公開番号2024166905
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2023083329
出願日2023-05-19
発明の名称ビジュアルポジショニングシステム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/70 20170101AFI20241122BHJP(計算;計数)
要約【課題】ビジュアルポジショニングを利用して実世界における位置と仮想世界における位置とを関連付ける。
【解決手段】第1世界は、実世界と実世界を模擬した仮想世界の一方である。第2世界は、実世界と仮想世界の他方である。第1画像は、第1世界における第1カメラによって撮影される画像である。第2画像は、第2世界における第2カメラによって撮影される画像である。共通処理は、画像に含まれるオブジェクト間の位置関係を表すシーングラフを生成し、シーングラフの特徴量を抽出する。ビジュアルポジショニングシステム(VPS)は、第1画像に対する共通処理の結果抽出される第1特徴量と第2画像に対する共通処理の結果抽出される第2特徴量とのマッチングを行う。そして、VPSは、マッチングの結果に基づいて、第1世界における第1カメラの位置と第2世界における第2カメラの位置を互いに関連付ける。
【選択図】図2
特許請求の範囲【請求項１】
カメラによって撮影される画像に基づいて位置を特定するビジュアルポジショニングシステムであって、
第１世界は、実世界と前記実世界を模擬した仮想世界の一方であり、
第２世界は、前記実世界と前記仮想世界の他方であり、
第１画像は、前記第１世界における第１カメラによって撮影される画像であり、
第２画像は、前記第２世界における第２カメラによって撮影される画像であり、
前記ビジュアルポジショニングシステムは、１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記画像に含まれるオブジェクト間の位置関係を表すシーングラフを生成し、前記シーングラフの特徴量を抽出する共通処理を実行し、
前記第１画像に対する前記共通処理の結果抽出される第１特徴量と前記第２画像に対する前記共通処理の結果抽出される第２特徴量とのマッチングを行い、
前記マッチングの結果に基づいて、前記第１世界における前記第１カメラの位置と前記第２世界における前記第２カメラの位置を互いに関連付ける
ように構成された
ビジュアルポジショニングシステム。
続きを表示（約 770 文字）【請求項２】
請求項１に記載のビジュアルポジショニングシステムであって、
前記ビジュアルポジショニングシステムは、更に、複数のエントリを有するデータベースを格納する１又は複数の記憶装置を備え、
前記複数のエントリの各々は、前記第１カメラの位置及び向きを含むカメラ視点と前記第１特徴量との対応関係を示し、
前記１又は複数のプロセッサは、更に、
前記第２画像に対して前記共通処理を行うことにより前記第２特徴量を抽出し、
前記データベースの前記複数のエントリの中から、前記第２特徴量にマッチする前記第１特徴量を有するマッチングエントリを探索し、
前記第２世界における前記第２カメラのカメラ視点は前記マッチングエントリに含まれる前記カメラ視点であると判定する
ように構成された
ビジュアルポジショニングシステム。
【請求項３】
請求項１に記載のビジュアルポジショニングシステムであって、
前記オブジェクトは、静的オブジェクトである
ビジュアルポジショニングシステム。
【請求項４】
請求項１に記載のビジュアルポジショニングシステムであって、
前記共通処理は、セマンティックセグメンテーションを行うことによって前記画像に含まれる前記オブジェクトを検出することを含む
ビジュアルポジショニングシステム。
【請求項５】
請求項１乃至４のいずれか一項に記載のビジュアルポジショニングシステムであって、
前記共通処理は、前記画像のデプスマップを取得し、前記デプスマップに基づいて前記オブジェクト間の３次元的な位置関係を表す前記シーングラフを生成することを含む
ビジュアルポジショニングシステム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、カメラによって撮影される画像に基づいて位置を特定するビジュアルポジショニング（visual positioning）に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
特許文献１は、画像学習装置を開示している。画像学習装置は、仮想空間内で取得した３次元コンピュータグラフィックス画像を用いて、実空間における物体認識用の機械学習モデルの学習を行う。実空間内の固定位置にカメラが設置され、そのカメラの位置及び姿勢に基づいてカメラ視点の情報が得られる。そのカメラ視点の情報に基づいて、仮想的なカメラが仮想空間に配置される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－０８１０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビジュアルポジショニングは、カメラによって撮影される画像に基づいて位置を特定する技術である。ビジュアルポジショニングを利用して実世界における位置と仮想世界における位置とを関連付けることは、従来検討されていなかった。
【０００５】
本開示の１つの目的は、ビジュアルポジショニングを利用して実世界における位置と仮想世界における位置とを関連付けることができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の１つの観点は、カメラによって撮影される画像に基づいて位置を特定するビジュアルポジショニングシステムに関する。
第１世界は、実世界と実世界を模擬した仮想世界の一方である。
第２世界は、実世界と仮想世界の他方である。
第１画像は、第１世界における第１カメラによって撮影される画像である。
第２画像は、第２世界における第２カメラによって撮影される画像である。
ビジュアルポジショニングシステムは、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、画像に含まれるオブジェクト間の位置関係を表すシーングラフを生成し、シーングラフの特徴量を抽出する共通処理を実行する。
１又は複数のプロセッサは、第１画像に対する共通処理の結果抽出される第１特徴量と第２画像に対する共通処理の結果抽出される第２特徴量とのマッチングを行う。
１又は複数のプロセッサは、マッチングの結果に基づいて、第１世界における第１カメラの位置と第２世界における第２カメラの位置を互いに関連付ける。
【発明の効果】
【０００７】
本開示によれば、共通処理により、画像から特徴量が抽出される。共通処理は、画像そのものから特徴量を抽出するのではなく、画像を一旦抽象化してシーングラフを生成し、そのシーングラフの特徴量を抽出する。実世界と仮想世界との間の細かい構造の差は、画像の抽象化によって吸収される。従って、特徴量レベルでは実世界と仮想世界の一貫性が確保される。よって、同一のカメラ視点で撮影された実画像と仮想画像のそれぞれから抽出される特徴量は十分に一致する。同一のカメラ視点に対する特徴量が十分に一致するため、精度良くビジュアルポジショニングを行うことが可能となる。その結果、実世界におけるカメラ視点と仮想世界におけるカメラ視点とを精度良く関連付けることが可能となる。
【図面の簡単な説明】
【０００８】
実施の形態に係るビジュアルポジショニングシステムの概要を説明するための概念図である。
実施の形態に係る共通処理を説明するための概念図である。
実施の形態に係る共通処理の変形例を説明するための概念図である。
実施の形態に係るビジュアルポジショニングシステムの構成例を示すブロック図である。
実施の形態に係るビジュアルポジショニングの第１の例を説明するためのブロック図である。
実施の形態に係るビジュアルポジショニングの第２の例を説明するためのブロック図である。
【発明を実施するための形態】
【０００９】
１．概要
ビジュアルポジショニング（visual positioning）は、カメラによって撮影される画像に基づいて位置を特定する技術である。まず、第１カメラによって撮影される第１画像に基づいてデータベース（ギャラリ）が予め生成される。より詳細には、所定の特徴量抽出処理によって、第１画像の特徴量である第１特徴量が抽出される。そして、第１特徴量と第１画像が撮影されたときの第１カメラのカメラ視点との対応関係がデータベースに蓄積される。カメラ視点（camera viewpoint）は、絶対座標系におけるカメラの位置（location）と向き（orientation）の組み合わせによって定義される。
【００１０】
第２カメラの位置を特定するための処理は、次の通りである。まず、第２カメラによって撮影される第２画像がクエリとして取得される。更に、第１画像の第１特徴量の場合と同一の特徴量抽出処理によって、第２画像の特徴量である第２特徴量が抽出される。そして、第２特徴量とマッチする第１特徴量を有するマッチングエントリをデータベースの中から探索するマッチング処理が行われる。得られたマッチングエントリに含まれるカメラ視点が、第２カメラのカメラ視点（位置及び向き）であると判定される。
（【００１１】以降は省略されています）

関連特許