特許ウォッチ

公開番号2024178816
公報種別公開特許公報(A)
公開日2024-12-25
出願番号2023097245
出願日2023-06-13
発明の名称情報処理装置、制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/70 20170101AFI20241218BHJP(計算;計数)
要約
【課題】移動する撮像装置の位置及び姿勢を適切に決定する技術を提供する。
【解決手段】複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データに基づく画像と、前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像と、に基づいて、第二の撮像装置の位置及び姿勢を決定する。
【選択図】図1
特許請求の範囲【請求項１】
複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データを取得する第一の取得手段と、
前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像を取得する第二の取得手段と、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する決定手段と、を有する情報処理装置。
続きを表示（約 970 文字）【請求項２】
前記決定手段は、予め取得された前記第二の撮像装置の位置及び姿勢に応じた投影面に前記三次元形状データを投影することにより前記三次元形状データに基づく画像を生成し、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記三次元形状データに基づく画像の画像特徴と、前記第二の撮像装置が撮像する画像の画像特徴とに基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。
【請求項４】
前記決定手段は、前記三次元形状データに基づく画像に含まれる被写体のエッジ特徴と、前記第二の撮像装置が撮像する画像に含まれる前記被写体のエッジ特徴とに基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。
【請求項５】
前記決定手段は、前記エッジ特徴どうしの距離がより小さくなるように前記第二の撮像装置の位置及び姿勢を決定する請求項４に記載の情報処理装置。
【請求項６】
前記被写体は、静止している構造物である請求項４に記載の情報処理装置。
【請求項７】
前記決定手段は、前記三次元形状データに基づく画像に含まれる画素と、前記第二の撮像装置が撮像する画像のエッジ領域を除いた画像に含まれる画素の色との差に基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。
【請求項８】
前記決定手段により決定された前記第二の撮像装置の位置及び姿勢に基づいて、前記三次元形状データを更新する更新手段を有する請求項１に記載の情報処理装置。
【請求項９】
前記複数の第一の撮像装置と、前記第二の撮像装置とは同期して撮像を行う請求項１に記載の情報処理装置。
【請求項１０】
前記決定手段は、前記第二の撮像装置が撮像する画像と、前記三次元形状データに基づく画像とに基づいて、前記第二の撮像装置の位置及び姿勢に対応する画像を生成する請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置、制御方法及びプログラムに関するものである。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
昨今、それぞれ異なる位置に設置された複数の撮像装置が同期して撮像を行い、当該撮像に基づいて得られる複数の画像を用いて仮想視点画像を生成するボリュメトリック技術が注目されている。仮想視点画像の画質向上の目的から、被写体を至近距離から移動するカメラ（以下、移動カメラという）で撮像した画像を用いて画像を合成する需要がある。
【０００３】
一方、特許文献１で記載されているように、一般的なボリュメトリック技術では、複数の撮像装置の位置や姿勢を校正するカメラキャリブレーションを実施する。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－２１２５９２号公報
特開２０１０－０７９４５２号公報
【非特許文献】
【０００５】
J. Engel, V. Koltun, D. Cremers, “Direct Sparse Odometry” Submitted on 9 Jul 2016 (v1), last revised 7 Oct 2016 (this version, v2) ［令和５年6 月2 日検索］，インターネット＜URL: https://arxiv.org/abs/1607.02565＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
空間内を動く移動カメラで撮像した画像と仮想視点画像とがシームレスに切り替わるような演出をするためには、移動カメラの位置や姿勢を毎フレームキャリブレーションすることやセンサーで取得することが必要である。しかしキャリブレーションに必要なマーカーを配置できない撮像環境の制約、あるいはセンサー精度が不十分であるなどの点から上記のような演出は困難であった。
【０００７】
本開示の目的は、移動する撮像装置の位置及び姿勢を適切に決定する技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本開示にかかる情報処理装置は、例えば以下の構成を有する。すなわち、複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データを取得する第一の取得手段と、前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像を取得する第二の取得手段と、前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する決定手段を有する。
【発明の効果】
【０００９】
本開示によれば、移動する撮像装置の位置及び姿勢を適切に決定することが可能となる。
【図面の簡単な説明】
【００１０】
実施形態１におけるシステム構成図を示す。
実施形態１における撮像する空間の模式図を示す。
実施形態１における情報処理装置のハードウェア構成図を示す。
実施形態１における情報処理装置の処理フローを示す。
実施形態１における画像合成の過程を示す。
実施形態１における画像特徴の抽出および対応付けのフローを示す。
実施形態２におけるシステム構成図を示す。
実施形態２における情報処理装置の処理フローを示す。
実施形態２における画像特徴の抽出および対応付けのフローを示す。
実施形態３におけるシステム構成図を示す。
実施形態３における情報処理装置の処理フローを示す。
実施形態３における画像合成の過程を示す。
実施形態３における画像特徴の抽出および対応付けのフローを示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許