特許ウォッチ

公開番号2025174372
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2024080696
出願日2024-05-17
発明の名称投影システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/80 20170101AFI20251120BHJP(計算;計数)
要約【課題】リアル対象空間における人物をバーチャル対象空間に投影する際の投影精度を向上させること。
【解決手段】リアルカメラはリアル対象空間に設置され、バーチャルカメラはリアル対象空間を表現したバーチャル対象空間に設置される。投影システムは、リアルカメラから見たリアル対象空間がバーチャル対象空間と整合するようにリアルカメラのカメラパラメータを決定するカメラキャリブレーション・整合処理を実行する。投影システムは、リアルカメラによって撮影される画像に映っているリアル人物を検出し、リアル人物の3次元姿勢を推定する。投影システムは、リアル人物位置に相当するバーチャル対象空間内のバーチャル人物位置を推定し、3次元姿勢を有しリアル人物を表現したバーチャル人物をバーチャル対象空間内のバーチャル人物位置に投影する。
【選択図】図3
特許請求の範囲【請求項１】
１又は複数のプロセッサを備え、
リアルカメラはリアル対象空間に設置され、バーチャルカメラは前記リアル対象空間を表現したバーチャル対象空間に設置され、
前記１又は複数のプロセッサは、
前記リアルカメラから見た前記リアル対象空間が前記バーチャル対象空間と整合するように前記リアルカメラのカメラパラメータを決定するカメラキャリブレーション・整合処理を実行することによって、前記カメラパラメータを示すカメラ構成情報を取得し、
前記リアルカメラによって撮影される画像に映っているリアル人物を検出し、
前記画像に基づいて前記リアル人物の３次元姿勢を推定し、
前記カメラ構成情報に基づいて、前記リアル対象空間において前記リアル人物が存在するリアル人物位置に相当する前記バーチャル対象空間内のバーチャル人物位置を推定し、
前記３次元姿勢を有し前記リアル人物を表現したバーチャル人物を前記バーチャル対象空間内の前記バーチャル人物位置に投影する
ように構成された
投影システム。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載の投影システムであって、
前記カメラキャリブレーション・整合処理は、
前記リアルカメラによって撮影され、且つ、前記リアル対象空間内の所定のリアル位置に置かれたリアルマーカーが映っているクエリ画像を取得することと、
前記クエリ画像における前記リアルマーカーのｎ点（ｎは２以上の整数）の２次元座標を取得することと、
前記バーチャル対象空間内のバーチャルマーカーのｎ点の３次元座標を取得することと、ここで、前記バーチャルマーカーは、前記リアル対象空間内の前記所定のリアル位置に相当する前記バーチャル対象空間内の所定のバーチャル位置に置かれ、前記リアルマーカーの前記ｎ点は前記バーチャルマーカーの前記ｎ点に相当し、
前記リアルマーカーの前記ｎ点の前記２次元座標と前記バーチャルマーカーの前記ｎ点の前記３次元座標に基づいてＰｎＰ（Perspective-n-Point）問題を解くことによって、前記カメラパラメータを決定することと
を含む
投影システム。
【請求項３】
請求項１に記載の投影システムであって、
前記カメラキャリブレーション・整合処理は、
前記リアル対象空間において撮影された一群の画像にＳｆＭ（Structure from Motion）を適用することによって、前記リアル対象空間の３次元環境を表す点群を取得することと、
前記リアルカメラによって撮影されたクエリ画像を取得することと、
前記ＳｆＭにおいて得られた前記点群の特徴量群と前記クエリ画像から抽出されたクエリ特徴量との特徴量マッチングを行うことによって、前記点群と前記クエリ画像との間で共通の対応点を見つけ出すことと、
前記対応点に基づいて前記リアルカメラの仮カメラパラメータを決定することと
を含む
投影システム。
【請求項４】
請求項３に記載の投影システムであって、
前記リアルカメラの前記仮カメラパラメータを決定することは、
前記クエリ画像における前記対応点の２次元座標を取得することと、
前記点群における前記対応点の３次元座標を取得することと、
前記対応点の前記２次元座標と前記対応点の前記３次元座標に基づいてＰｎＰ（Perspective-n-Point）問題を解くことによって、前記リアルカメラの前記仮カメラパラメータを決定することと
を含む
投影システム。
【請求項５】
請求項３又は４に記載の投影システムであって、
前記カメラキャリブレーション・整合処理は、更に、
前記リアル対象空間において撮影された前記一群の画像に基づいて前記リアル対象空間の前記３次元環境を再構成することと、
前記バーチャル対象空間の３次元環境を表現する３次元モデルを取得することと、
前記リアル対象空間の前記３次元環境と前記バーチャル対象空間の前記３次元環境とを整合させることにより得られる、前記リアル対象空間と前記バーチャル対象空間との間の座標変換のための情報を取得することと、
前記座標変換を適用することによって前記リアルカメラの前記仮カメラパラメータを補正して、前記リアルカメラの前記カメラパラメータを決定することと
を含む
投影システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、リアル対象空間における人物をバーチャル対象空間に投影する技術に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
特許文献１は、関節位置取得装置を開示している。関節位置取得装置は、距離画像センサとカメラを備える。関節位置取得装置は、距離画像センサにより得られる距離画像に基づいてターゲットの３次元関節位置を推定し、カメラにより得られるＲＧＢ画像に基づいてターゲットの２次元関節位置を推定する。そして、関節位置取得装置は、推定された２次元関節位置とカメラ光軸を用いて、３次元関節位置を補正する。
【０００３】
その他の技術として、特許文献２及び特許文献３が知られている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－０６１９１０号公報
特開２０１７－１５７２０８号公報
特開２０２１－１０５８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
リアル対象空間に設置されたリアルカメラによって撮影される画像に映っている人物を検出し、その人物をリアル対象空間を表現したバーチャル対象空間に投影する技術について考える。人物の位置推定の精度が低いと、投影精度も低くなり、投影結果に違和感が生じる。
【課題を解決するための手段】
【０００６】
本開示の１つの観点は、投影システムに関する。
投影システムは、１又は複数のプロセッサを備える。
リアルカメラはリアル対象空間に設置され、バーチャルカメラはリアル対象空間を表現したバーチャル対象空間に設置される。
１又は複数のプロセッサは、リアルカメラから見たリアル対象空間がバーチャル対象空間と整合するようにリアルカメラのカメラパラメータを決定するカメラキャリブレーション・整合処理を実行することによって、カメラパラメータを示すカメラ構成情報を取得する。
１又は複数のプロセッサは、リアルカメラによって撮影される画像に映っているリアル人物を検出する。
１又は複数のプロセッサは、画像に基づいてリアル人物の３次元姿勢を推定する。
１又は複数のプロセッサは、カメラ構成情報に基づいて、リアル対象空間においてリアル人物が存在するリアル人物位置に相当するバーチャル対象空間内のバーチャル人物位置を推定する。
１又は複数のプロセッサは、３次元姿勢を有しリアル人物を表現したバーチャル人物をバーチャル対象空間内のバーチャル人物位置に投影する。
【発明の効果】
【０００７】
本開示によれば、カメラキャリブレーション・整合処理が行われるため、人物位置推定の精度が向上する。その結果、バーチャル対象空間へのバーチャル人物の投影の精度も向上し、投影結果に対する違和感が抑制される。
【図面の簡単な説明】
【０００８】
リアル・トゥ・バーチャル投影システムの概要を説明するための概念図である。
バーチャル空間構成情報を説明するための概念図である。
カメラ構成情報を説明するための概念図である。
視覚化機能と解析機能の概要を説明するための概念図である。
画像解析モジュールの例を説明するための概念図である。
ローカライズ処理の精度を向上させる手法を説明するための概念図である。
視線推定処理の例を説明するための概念図である。
把持推定処理の例を説明するための概念図である。
人流推定処理の例を説明するための概念図である。
カメラキャリブレーション・整合処理の第１の例を説明するための概念図である。
カメラキャリブレーション・整合処理の第２の例を説明するための概念図である。
カメラキャリブレーション・整合処理の第２の例を説明するための概念図である。
【発明を実施するための形態】
【０００９】
添付図面を参照して、本開示の実施の形態を説明する。
【００１０】
１．リアル・トゥ・バーチャル投影システムの概要
図１は、リアル・トゥ・バーチャル投影システム（real-to-virtual projection system）１の概要を説明するための概念図である。リアル対象空間ＳＰ－Ｒは、実在する３次元空間であり、各種解析の対象となる３次元空間である。バーチャル対象空間ＳＰ－Ｖは、リアル対象空間ＳＰ－Ｒを表現した仮想的な３次元空間である。言い換えれば、バーチャル対象空間ＳＰ－Ｖは、リアル対象空間ＳＰ－Ｒを模した仮想的な３次元空間である。リアル対象空間ＳＰ－Ｒとバーチャル対象空間ＳＰ－Ｖは、同じ世界座標系（Ｘ，Ｙ，Ｚ）で表される。
（【００１１】以降は省略されています）

関連特許