特許ウォッチ

公開番号2025174370
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2024080694
出願日2024-05-17
発明の名称投影システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/20 20170101AFI20251120BHJP(計算;計数)
要約【課題】対象空間に設置されたカメラによって撮影される画像に基づく人物行動推定の精度を向上させること。
【解決手段】投影システムは、リアル対象空間を表現したバーチャル対象空間において定義されるオブジェクトの構成を示すバーチャル空間構成情報を取得する。投影システムは、リアル対象空間に設置されたリアルカメラによって撮影される画像に映っているリアル人物を検出し、リアル人物の3次元姿勢を推定する。投影システムは、3次元姿勢を有しリアル人物を表現したバーチャル人物をバーチャル対象空間に投影する。投影システムは、3次元姿勢を有するバーチャル人物とバーチャル対象空間におけるオブジェクトの構成との関係に基づいて、バーチャル対象空間におけるバーチャル人物の行動を推定することによって、リアル対象空間におけるリアル人物の行動を推定する。
【選択図】図4
特許請求の範囲【請求項１】
１又は複数のプロセッサと、
リアル対象空間を表現したバーチャル対象空間において定義されるオブジェクトの構成を示すバーチャル空間構成情報を格納するように構成された１又は複数の記憶装置と
を備え、
前記１又は複数のプロセッサは、
前記リアル対象空間に設置されたリアルカメラによって撮影される画像に映っているリアル人物を検出し、
前記画像に基づいて前記リアル人物の３次元姿勢を推定し、
前記３次元姿勢を有し前記リアル人物を表現したバーチャル人物を前記バーチャル対象空間に投影し、
前記３次元姿勢を有する前記バーチャル人物と前記バーチャル対象空間における前記オブジェクトの前記構成との関係に基づいて、前記バーチャル対象空間における前記バーチャル人物の行動を推定することによって、前記リアル対象空間における前記リアル人物の行動を推定する行動推定処理を実行する
ように構成された
投影システム。
続きを表示（約 1,100 文字）【請求項２】
請求項１に記載の投影システムであって、
前記バーチャル対象空間において定義される前記オブジェクトは、前記リアル対象空間内のリアルオブジェクトに相当するバーチャルオブジェクトを含み、
前記行動推定処理において、前記１又は複数のプロセッサは、前記３次元姿勢を有する前記バーチャル人物と前記バーチャル対象空間における前記バーチャルオブジェクトの前記構成との関係に基づいて、前記バーチャル対象空間における前記バーチャルオブジェクトに対する前記バーチャル人物の行動を推定することによって、前記リアル対象空間における前記リアルオブジェクトに対する前記リアル人物の行動を推定するように構成された
投影システム。
【請求項３】
請求項２に記載の投影システムであって、
前記行動推定処理は、前記バーチャル人物がどのバーチャルオブジェクトを見ているかを推定することによって前記リアル人物がどのリアルオブジェクトを見ているかを推定する視線推定処理を含む
投影システム。
【請求項４】
請求項３に記載の投影システムであって、
前記視線推定処理は、
前記バーチャル人物の前記３次元姿勢に基づいて、前記バーチャル人物の視線レイを推定することと、
前記視線レイが前記バーチャル対象空間において定義されたいずれかのバーチャルオブジェクトと交差するか判定することによって、前記バーチャル人物がどのバーチャルオブジェクトを見ているかを推定することと
を含む
投影システム。
【請求項５】
請求項２に記載の投影システムであって、
前記行動推定処理は、前記バーチャル人物の手がいずれかのバーチャルオブジェクトの中にあるか推定することによって前記リアル人物の手がいずれかのリアルオブジェクトの中にあるか推定する把持推定処理を含む
投影システム。
【請求項６】
請求項１に記載の投影システムであって、
前記バーチャル対象空間において定義される前記オブジェクトは、前記バーチャル対象空間内のエリアを定義するためのエリア定義オブジェクトを含み、
前記行動推定処理において、前記１又は複数のプロセッサは、前記３次元姿勢を有する前記バーチャル人物と前記エリア定義オブジェクトの前記構成との関係に基づいて、前記バーチャル対象空間における前記バーチャル人物のフローを推定することによって、前記リアル対象空間における前記リアル人物のフローを推定する人流推定処理を実行するように構成された
投影システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、リアル対象空間における人物をバーチャル対象空間に投影する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１は、視線推定システムを開示している。視線推定システムは、測定対象者の顔が映っている一連の画像を取得する。そして、視線推定システムは、学習済みモデルを用いることによって、顔を含む画像から測定対象者の視線位置を推定する。
【０００３】
仮想空間に関連する技術として、特許文献２、特許文献３、及び特許文献４が知られている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１８７５４７号公報
特開２０２４－００３４０１号公報
特開２０２２－０６１３０５号公報
特開２０１０－１７６６６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象空間に設置されたカメラによって撮影される画像は、その対象空間の解析を行うために利用され得る。例えば、対象空間に設置されたカメラによって撮影される画像に基づいて、その対象空間内に存在する人物の行動が推定され得る。カメラによって撮影される画像に基づく人物行動推定の精度を向上させることが望まれる。
【課題を解決するための手段】
【０００６】
本開示の１つの観点は、投影システムに関する。
投影システムは、１又は複数のプロセッサと、１又は複数の記憶装置を備える。
１又は複数の記憶装置は、リアル対象空間を表現したバーチャル対象空間において定義されるオブジェクトの構成を示すバーチャル空間構成情報を格納するように構成される。
１又は複数のプロセッサは、リアル対象空間に設置されたリアルカメラによって撮影される画像に映っているリアル人物を検出する。
１又は複数のプロセッサは、画像に基づいてリアル人物の３次元姿勢を推定する。
１又は複数のプロセッサは、３次元姿勢を有しリアル人物を表現したバーチャル人物をバーチャル対象空間に投影する。
１又は複数のプロセッサは、３次元姿勢を有するバーチャル人物とバーチャル対象空間におけるオブジェクトの構成との関係に基づいて、バーチャル対象空間におけるバーチャル人物の行動を推定することによって、リアル対象空間におけるリアル人物の行動を推定する行動推定処理を実行する。
【発明の効果】
【０００７】
本開示によれば、リアル対象空間におけるリアル人物の３次元姿勢が推定され、その３次元姿勢を有しリアル人物を表現したバーチャル人物がバーチャル対象空間に投影される。そして、バーチャル対象空間におけるバーチャル人物の行動を推定することによって、リアル対象空間におけるリアル人物の行動が推定される。従って、リアル人物の行動を２次元画像から直接推定する場合と比較して、リアル人物の行動をより正確に推定することが可能となる。
【図面の簡単な説明】
【０００８】
リアル・トゥ・バーチャル投影システムの概要を説明するための概念図である。
バーチャル空間構成情報を説明するための概念図である。
カメラ構成情報を説明するための概念図である。
視覚化機能と解析機能の概要を説明するための概念図である。
画像解析モジュールの例を説明するための概念図である。
ローカライズ処理の精度を向上させる手法を説明するための概念図である。
視線推定処理の例を説明するための概念図である。
把持推定処理の例を説明するための概念図である。
人流推定処理の例を説明するための概念図である。
カメラキャリブレーション・整合処理の例を説明するための概念図である。
【発明を実施するための形態】
【０００９】
添付図面を参照して、本開示の実施の形態を説明する。
【００１０】
１．リアル・トゥ・バーチャル投影システムの概要
図１は、リアル・トゥ・バーチャル投影システム（real-to-virtual projection system）１の概要を説明するための概念図である。リアル対象空間ＳＰ－Ｒは、実在する３次元空間であり、各種解析の対象となる３次元空間である。バーチャル対象空間ＳＰ－Ｖは、リアル対象空間ＳＰ－Ｒを表現した仮想的な３次元空間である。言い換えれば、バーチャル対象空間ＳＰ－Ｖは、リアル対象空間ＳＰ－Ｒを模した仮想的な３次元空間である。リアル対象空間ＳＰ－Ｒとバーチャル対象空間ＳＰ－Ｖは、同じ世界座標系（Ｘ，Ｙ，Ｚ）で表される。
（【００１１】以降は省略されています）

関連特許