特許ウォッチ

公開番号2025174369
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2024080693
出願日2024-05-17
発明の名称投影システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 19/00 20110101AFI20251120BHJP(計算;計数)
要約【課題】リアル対象空間における人物をバーチャル対象空間に投影する際の投影精度を向上させること。
【解決手段】投影システムは、リアル対象空間を表現したバーチャル対象空間のデプスマップを取得する。投影システムは、リアル対象空間に設置されたリアルカメラによって撮影される画像に映っているリアル人物を検出し、また、その画像に基づいてリアル人物の2次元姿勢と3次元姿勢を推定する。投影システムは、2次元姿勢の画像内位置に対するデプス情報をデプスマップから取得する。投影システムは、デプスマップから得られたデプス情報に基づいて、リアル対象空間においてリアル人物が存在するリアル人物位置に相当するバーチャル対象空間内のバーチャル人物位置を推定する。投影システムは、3次元姿勢を有しリアル人物を表現したバーチャル人物をバーチャル対象空間内のバーチャル人物位置に投影する。
【選択図】図6
特許請求の範囲【請求項１】
１又は複数のプロセッサと、
リアル対象空間を表現したバーチャル対象空間のデプスマップを格納するように構成された１又は複数の記憶装置と
を備え、
前記１又は複数のプロセッサは、
前記リアル対象空間に設置されたリアルカメラによって撮影される画像に映っているリアル人物を検出し、
前記画像に基づいて前記リアル人物の２次元姿勢と３次元姿勢を推定し、
前記２次元姿勢の画像内位置に対するデプス情報を前記デプスマップから取得し、
前記デプスマップから得られた前記デプス情報に基づいて、前記リアル対象空間において前記リアル人物が存在するリアル人物位置に相当する前記バーチャル対象空間内のバーチャル人物位置を推定し、
前記３次元姿勢を有し前記リアル人物を表現したバーチャル人物を前記バーチャル対象空間内の前記バーチャル人物位置に投影する
ように構成された
投影システム。
続きを表示（約 710 文字）【請求項２】
請求項１に記載の投影システムであって、
前記デプス情報を取得することは、
前記リアル人物の前記２次元姿勢に基づいて、前記画像における前記リアル人物の足の画像内位置を推定することと、
前記足の前記画像内位置に対する前記デプス情報を前記デプスマップから取得することと
を含む
投影システム。
【請求項３】
請求項２に記載の投影システムであって、
前記バーチャル人物位置を推定することは、前記リアル人物の前記足の前記画像内位置を前記デプス情報に相当する３次元位置に投影し、前記３次元位置を前記バーチャル人物位置とすることを含む
投影システム。
【請求項４】
請求項３に記載の投影システムであって、
前記リアルカメラに相当するバーチャルカメラが前記バーチャル対象空間内に設置されており、
前記１又は複数の記憶装置は、更に、前記リアルカメラ及び前記バーチャルカメラのカメラパラメータを示すカメラ構成情報を格納するように構成され、
前記バーチャル人物位置を推定することは、更に、前記カメラ構成情報に基づいて、カメラ座標系における前記バーチャル人物位置を世界座標系における前記バーチャル人物位置に変換することを含む
投影システム。
【請求項５】
請求項１乃至４のいずれか一項に記載の投影システムであって、
前記１又は複数のプロセッサは、更に、前記３次元姿勢を有する前記バーチャル人物と前記バーチャル対象空間を表示装置に表示するように構成された
投影システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、リアル対象空間における人物をバーチャル対象空間に投影する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１は、関節位置取得装置を開示している。関節位置取得装置は、距離画像センサとカメラを備える。関節位置取得装置は、距離画像センサにより得られる距離画像に基づいてターゲットの３次元関節位置を推定し、カメラにより得られるＲＧＢ画像に基づいてターゲットの２次元関節位置を推定する。そして、関節位置取得装置は、推定された２次元関節位置とカメラ光軸を用いて、３次元関節位置を補正する。
【０００３】
仮想空間に関連する技術として、特許文献２及び特許文献３が知られている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－０６１９１０号公報
特開２００９－３０１２４１号公報
特開２０００－１９４８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
リアル対象空間に設置されたリアルカメラによって撮影される画像に映っている人物を検出し、その人物をリアル対象空間を表現したバーチャル対象空間に投影する技術について考える。人物の位置推定の精度が低いと、投影精度も低くなり、投影結果に違和感が生じる。
【課題を解決するための手段】
【０００６】
本開示の１つの観点は、投影システムに関する。
投影システムは、１又は複数のプロセッサと、１又は複数の記憶装置を備える。
１又は複数の記憶装置は、リアル対象空間を表現したバーチャル対象空間のデプスマップを格納するように構成される。
１又は複数のプロセッサは、リアル対象空間に設置されたリアルカメラによって撮影される画像に映っているリアル人物を検出する。
１又は複数のプロセッサは、画像に基づいてリアル人物の２次元姿勢と３次元姿勢を推定する。
１又は複数のプロセッサは、２次元姿勢の画像内位置に対するデプス情報をデプスマップから取得する。
１又は複数のプロセッサは、デプスマップから得られたデプス情報に基づいて、リアル対象空間においてリアル人物が存在するリアル人物位置に相当するバーチャル対象空間内のバーチャル人物位置を推定する。
１又は複数のプロセッサは、３次元姿勢を有しリアル人物を表現したバーチャル人物をバーチャル対象空間内のバーチャル人物位置に投影する。
【発明の効果】
【０００７】
本開示によれば、リアル人物の２次元姿勢とデプスマップを用いることによって人物位置推定処理が行われるため、人物位置推定精度が向上する。その結果、バーチャル対象空間へのバーチャル人物の投影の精度も向上し、投影結果に対する違和感が抑制される。
【図面の簡単な説明】
【０００８】
リアル・トゥ・バーチャル投影システムの概要を説明するための概念図である。
バーチャル空間構成情報を説明するための概念図である。
カメラ構成情報を説明するための概念図である。
視覚化機能と解析機能の概要を説明するための概念図である。
画像解析モジュールの例を説明するための概念図である。
ローカライズ処理の精度を向上させる手法を説明するための概念図である。
視線推定処理の例を説明するための概念図である。
把持推定処理の例を説明するための概念図である。
人流推定処理の例を説明するための概念図である。
カメラキャリブレーション・整合処理の例を説明するための概念図である。
【発明を実施するための形態】
【０００９】
添付図面を参照して、本開示の実施の形態を説明する。
【００１０】
１．リアル・トゥ・バーチャル投影システムの概要
図１は、リアル・トゥ・バーチャル投影システム（real-to-virtual projection system）１の概要を説明するための概念図である。リアル対象空間ＳＰ－Ｒは、実在する３次元空間であり、各種解析の対象となる３次元空間である。バーチャル対象空間ＳＰ－Ｖは、リアル対象空間ＳＰ－Ｒを表現した仮想的な３次元空間である。言い換えれば、バーチャル対象空間ＳＰ－Ｖは、リアル対象空間ＳＰ－Ｒを模した仮想的な３次元空間である。リアル対象空間ＳＰ－Ｒとバーチャル対象空間ＳＰ－Ｖは、同じ世界座標系（Ｘ，Ｙ，Ｚ）で表される。
（【００１１】以降は省略されています）

関連特許