特許ウォッチ

公開番号2025174598
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2024081075
出願日2024-05-17
発明の名称フルボディトラッキングシステム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/20 20170101AFI20251120BHJP(計算;計数)
要約【課題】トラッキング空間を容易に拡張することができるフルボディトラッキングシステムを提供する。
【解決手段】
本開示のフルボディトラッキングシステム100は処理回路を備える。処理回路は、トラッキング空間10に位置する複数のカメラ11a、13a、14、15と通信し、複数のカメラ11a、13a、14、15によって撮像された画像データを取得する。次に、処理回路は、画像データを用いてトラッキング空間10にいるユーザ1、2、3ごとにトラッキングと骨格推定を実行するとともに、ユーザ1、2、3の中の対象ユーザを認証する。そして、処理回路は、トラッキングと骨格推定の結果から対象ユーザの位置情報と骨格情報を取得し、位置情報と骨格情報を用いて、対象ユーザの身体の動きをXR空間における仮想のアバターに反映させる。
【選択図】図2
特許請求の範囲【請求項１】
処理回路を備え、
前記処理回路は、
トラッキング空間に位置する複数のカメラと通信し、
前記複数のカメラによって撮像された画像データを取得し、
前記画像データを用いて、前記トラッキング空間にいる１又は複数のユーザごとにトラッキングと骨格推定を実行し、
前記１又は複数のユーザの中の対象ユーザを認証し、
前記トラッキングと前記骨格推定の結果から前記対象ユーザの位置情報と骨格情報を取得し、
前記位置情報と前記骨格情報を用いて、前記対象ユーザの身体の動きをＸＲ空間における仮想のアバターに反映させる
ように構成されている
ことを特徴とするフルボディトラッキングシステム。
続きを表示（約 640 文字）【請求項２】
請求項１に記載のフルボディトラッキングシステムであって、
前記複数のカメラは、前記トラッキング空間に設置される監視カメラを含む
ことを特徴とするフルボディトラッキングシステム。
【請求項３】
請求項１に記載のフルボディトラッキングシステムであって、
前記複数のカメラは、前記トラッキング空間を移動する移動体に搭載されたカメラを含む
ことを特徴とするフルボディトラッキングシステム。
【請求項４】
請求項１に記載のフルボディトラッキングシステムであって、
前記複数のカメラは、前記１又は複数のユーザが所持する携帯端末に搭載されたカメラを含む
ことを特徴とするフルボディトラッキングシステム。
【請求項５】
請求項１に記載のフルボディトラッキングシステムであって、
前記処理回路は、
前記対象ユーザが所持する携帯端末との通信を介して取得する前記対象ユーザの位置と前記画像データに基づき取得された前記１又は複数のユーザの各々の位置との照合結果に基づいて、或いは、前記対象ユーザが所持する携帯端末との通信を介して取得する前記対象ユーザの移動軌跡と前記トラッキングによって取得された前記１又は複数のユーザの各々の移動軌跡との一致度に基づいて前記対象ユーザを認証する
ように構成されている
ことを特徴とするフルボディトラッキングシステム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ＶＲ、ＡＲ、ＭＲを含むＸＲアプリケーションにおいてユーザの身体の動きを仮想のアバターに反映させるために、ユーザの身体の動きを三次元で取得するフルボディトラッキングシステムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
特開２０２３－０５７４９８号公報には、被験者であるユーザの身体の運動姿勢の情報を取得するモーションキャプチャシステムが開示されている。このモーションキャプチャシステムでは、一般的なカメラ（例えば、デジタルカメラ、スマートフォン、タブレット）で被験者の運動姿勢を撮影する。そして、撮影された画像と、撮影カメラと同じ視野角を持つ仮想カメラと、被験者を模した三次元キャラクターとを三次元空間に配置し、仮想カメラから見た被験者像とキャラクターの姿勢とが一致するときの各ボーン角度と位置座標を複数のフレームにわたって取得することで、被験者の運動姿勢の動きを三次元的にキャプチャーする。
【０００３】
従来のフルボディトラッキングシステムでは、ユーザによるデバイスの装着、トラッキング空間へのデバイスの設置等を必要とし、フルボディトラッキングのための何らかのデバイスをトラッキング空間に導入することを必要としていた。特開２０２３－０５７４９８号公報に開示される技術のように、スマートフォン等の一般的なカメラを使用する場合であっても、ユーザの全身が撮影可能なようにそのカメラを設置することが必要となる。
【０００４】
このように、従来のフルボディトラッキングシステムは、フルボディトラッキングを行うことができるトラッキング空間が限られていた。またトラッキング空間を拡張するためにはフルボディトラッキングのためのデバイスを追加で導入することが必要となっていた。
【０００５】
なお、本開示に関連する技術分野の技術水準を示す文献としては、特開２０２３－０５７４９８号公報の他にも特開２０２４－０３０６１０号公報、特開平１０－３０２０７０号公報、及び特開２０２３－０８６４７１号公報を例示することができる。
【先行技術文献】
【特許文献】
【０００６】
特開２０２３－０５７４９８号公報
特開２０２４－０３０６１０号公報
特開平１０－３０２０７０号公報
特開２０２３－０８６４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は上記の課題に鑑みてなされたものである。本開示の一つの目的は、トラッキング空間を容易に拡張することができるフルボディトラッキングシステムを提供することにある。
【課題を解決するための手段】
【０００８】
本開示の一つの実施形態によれば、フルボディトラッキングシステムの処理回路は、トラッキング空間に位置する各種のカメラと通信し、カメラによって撮像された画像データを取得する。画像データの取得には、既に他の目的でトラッキング空間に導入されているカメラ、例えば、トラッキング空間に設置される監視カメラ、トラッキング空間の中を移動する移動体に搭載されたカメラ、ユーザが所持する携帯端末に搭載されたカメラ等が利用される。処理回路は、取得された画像データを用いてトラッキング空間の中にいるユーザごとにトラッキングと骨格推定を実施する。また、処理回路は、フルボディトラッキングを行おうとする対象ユーザを認証し、トラッキングと骨格推定の結果から認証された対象ユーザの位置情報と骨格情報を取得する。そして、処理回路は、取得された対象ユーザの位置情報と骨格情報を用いて、対象ユーザの身体の動きをＸＲ空間における仮想のアバターに反映させる。
【発明の効果】
【０００９】
上記のように構成されるフルボディトラッキングシステムによれば、通信可能なカメラが空間に存在する限り、その空間をトラッキング空間とすることができる。つまり、フルボディトラッキングのための追加のデバイスを必要とすることなくトラッキング空間を拡張することができる。またトラッキング空間に位置するカメラから取得された画像データを用いるため、ユーザは自らフルボディトラッキングのためのデバイスを用意する必要がない。ユーザは、フルボディトラッキングの機能を持たないデバイス、例えば、スマートフォンやヘッドマウントディスプレイ等でフルボディトラッキングを用いるアプリケーションを使用することができる。またユーザは、トラッキング空間に入るだけでフルボディトラッキングを行うことができる。
【図面の簡単な説明】
【００１０】
本開示の実施形態に係るフルボディトラッキングシステムの概要について説明する図である。
本開示の実施形態に係るフルボディトラッキングの仕組みについて説明する図である。
本開示の実施形態に係るフルボディトラッキングの仕組みについて説明する図である。
本開示の実施形態に係るフルボディトラッキングシステムの構成を示すブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許