特許ウォッチ

公開番号2025129661
公報種別公開特許公報(A)
公開日2025-09-05
出願番号2024026437
出願日2024-02-26
発明の名称撮影位置姿勢推定装置、システム、方法及びプログラム
出願人日本電気株式会社
代理人個人
主分類G06T 7/70 20170101AFI20250829BHJP(計算;計数)
要約【課題】色情報がない3次元データを用いた場合における撮影画像の撮影位置姿勢の推定精度を維持すること。
【解決手段】本開示にかかる撮影位置姿勢推定装置は、所定の3次元データから形状特徴量を算出する特徴量算出手段と、所定の仮想カメラ情報に基づき3次元データを画像化する際の画像領域に投影された形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成する生成手段と、仮想画像情報と入力画像との類似度を算出する類似度算出手段と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
所定の３次元データから形状特徴量を算出する特徴量算出手段と、
所定の仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成する生成手段と、
前記仮想画像情報と入力画像との類似度を算出する類似度算出手段と、
を備える撮影位置姿勢推定装置。
続きを表示（約 1,700 文字）【請求項２】
前記生成手段は、前記仮想カメラ情報に含まれる撮影位置及び姿勢を基準として前記形状特徴量を変換し、変換後の形状特徴量を用いて前記仮想画像情報を生成する
請求項１に記載の撮影位置姿勢推定装置。
【請求項３】
前記特徴量算出手段は、前記３次元データの特定のデータ点の周囲における他のデータ点の分布を表現するように、各データ点の前記形状特徴量を算出する
請求項１又は２に記載の撮影位置姿勢推定装置。
【請求項４】
前記生成手段は、
前記３次元データの各データ点のうち他のデータ点と比べて形状的な特徴度合いが高いデータ点が撮影範囲に含まれるように、複数の仮想カメラ情報を生成し、
前記複数の仮想カメラ情報のそれぞれに基づき、各仮想カメラ情報に対応する複数の仮想画像情報を生成し、
前記類似度算出手段は、
前記複数の仮想画像情報のそれぞれと前記入力画像との類似度を算出する
請求項１又は２に記載の撮影位置姿勢推定装置。
【請求項５】
前記生成手段は、
前記３次元データを画像化する際に、第１の仮想カメラ情報と第２の仮想カメラ情報との共通の撮影範囲に該当する領域に対して、前記仮想画像情報を生成する
請求項１又は２に記載の撮影位置姿勢推定装置。
【請求項６】
前記３次元データに対応する物体に対して異なる距離で撮影された２つの入力画像のうち、より多様な形状情報を含む一方の画像を第１の入力画像とし、他方の画像を第２の入力画像として選択する選択手段と、
前記仮想画像情報と前記第１の入力画像との類似度と、当該仮想画像情報とに基づいて、前記第１の入力画像における第１の撮影位置姿勢を推定し、
前記第１の入力画像と前記第２の入力画像との相対的撮影位置姿勢を推定し、
前記第１の撮影位置姿勢と前記相対的撮影位置姿勢とに基づいて、前記第２の入力画像における第２の撮影位置姿勢を推定する推定手段と、
をさらに備える
請求項１又は２に記載の撮影位置姿勢推定装置。
【請求項７】
前記仮想画像情報の各画素に関連付けられた前記形状特徴量が次元圧縮により色情報に変換された仮想画像を表示する表示手段をさらに備える
請求項１又は２に記載の撮影位置姿勢推定装置。
【請求項８】
撮影端末と、当該撮影端末と通信可能に接続された撮影位置姿勢推定装置とを備え、
前記撮影位置姿勢推定装置は、
所定の物体の３次元データから形状特徴量を算出し、
仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成し、
前記撮影端末により前記物体が撮影された画像を入力画像として受信した場合、前記仮想画像情報と前記入力画像との類似度を算出し、
前記仮想カメラ情報と、前記類似度に基づいて前記入力画像における撮影位置姿勢を推定し、
前記推定された撮影位置姿勢を前記撮影端末へ返信する
撮影位置姿勢推定システム。
【請求項９】
コンピュータが、
所定の３次元データから形状特徴量を算出し、
所定の仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成し、
前記仮想画像情報と入力画像との類似度を算出する
撮影位置姿勢推定方法。
【請求項１０】
所定の３次元データから形状特徴量を算出する特徴量算出処理と、
所定の仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成する生成処理と、
前記仮想画像情報と入力画像との類似度を算出する類似度算出処理と、
をコンピュータに実行させる、撮影位置姿勢推定プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、撮影位置姿勢推定装置、システム、方法及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
特許文献１には、テクスチャ情報が与えられている３次元メッシュデータと撮影画像との間のマッチングを行うマッチング装置に関する技術が開示されている。特許文献１にかかるマッチング装置は、入力された３次元メッシュデータを、基準カメラ姿勢から撮影した場合の２次元画像に変換し、変換された２次元画像と入力された撮影画像（２次元画像）とのそれぞれの特徴量を算出する。そして、当該マッチング装置は、算出した特徴量同士を比較して類似度を算出し、類似度が閾値以上の場合、入力された撮影画像が基準カメラ姿勢における撮影位置及び姿勢（以下、「撮影位置姿勢」という。）から撮影されたものと推定する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－１５３６６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１にかかる技術では、３次元メッシュデータの各面にテクスチャ情報（色情報）が与えられていることを前提としている。そして、特許文献１にかかる技術は、３次元メッシュデータの色情報を用いた２次元画像への変換及び特徴量の算出を行うことで、撮影画像との類似度を算出するものである。そのため、特許文献１にかかる技術は、色情報がない３次元データを用いた場合、入力された撮影画像の撮影位置姿勢の推定精度が低下する可能性がある。
【０００５】
本開示の目的は、上述した課題を鑑み、色情報がない３次元データを用いた場合における撮影画像の撮影位置姿勢の推定精度を維持するための撮影位置姿勢推定装置、システム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本開示にかかる撮影位置姿勢推定装置は、
所定の３次元データから形状特徴量を算出する特徴量算出手段と、
所定の仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成する生成手段と、
前記仮想画像情報と入力画像との類似度を算出する類似度算出手段と、
を備える。
【０００７】
本開示にかかる撮影位置姿勢推定システムは、
撮影端末と、当該撮影端末と通信可能に接続された撮影位置姿勢推定装置とを備え、
前記撮影位置姿勢推定装置は、
所定の物体の３次元データから形状特徴量を算出し、
仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成し、
前記撮影端末により前記物体が撮影された画像を入力画像として受信した場合、前記仮想画像情報と前記入力画像との類似度を算出し、
前記仮想カメラ情報と、前記類似度に基づいて前記入力画像における撮影位置姿勢を推定し、
前記推定された撮影位置姿勢を前記撮影端末へ返信する。
【０００８】
本開示にかかる撮影位置姿勢推定方法は、
コンピュータが、
所定の３次元データから形状特徴量を算出し、
所定の仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成し、
前記仮想画像情報と入力画像との類似度を算出する。
【０００９】
本開示にかかる撮影位置姿勢推定プログラムは、
所定の３次元データから形状特徴量を算出する特徴量算出処理と、
所定の仮想カメラ情報に基づき前記３次元データを画像化する際の画像領域に投影された前記形状特徴量を、当該画像領域の各画素位置に関連付けて仮想画像情報を生成する生成処理と、
前記仮想画像情報と入力画像との類似度を算出する類似度算出処理と、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本開示により、色情報がない３次元データを用いた場合における撮影画像の撮影位置姿勢の推定精度を維持することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許