特許ウォッチ

公開番号2025009453
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2023112465
出願日2023-07-07
発明の名称関節姿勢推定方法、関節姿勢推定システム、及び関節姿勢推定プログラム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G06T 7/60 20170101AFI20250110BHJP(計算;計数)
要約【課題】物体の二次元関節姿勢を精度よく推定することができる技術を提供する。
【解決手段】二次元関節姿勢モデルに対象物体の画像10を入力することにより推定二次元関節姿勢12が得られる。二次元関節姿勢モデルは、関節物体の画像の入力を受けて、関節物体の二次元関節姿勢を関節ごとの推定位置の確信度とともに出力するように構成されている。次に、推定二次元関節姿勢12から推定位置の確信度が閾値未満の関節が除去されてクエリ姿勢13が生成される。次に、サンプル関節物体の基本関節姿勢ごとに複数のサンプル二次元関節姿勢が登録されたデータベース150から、クエリ姿勢13に最も近い補正用二次元関節姿勢14が取得される。そして、推定位置の確信度が閾値未満の関節を補正用二次元関節姿勢14の対応する関節に置き換えることによって対象物体の二次元関節姿勢15が得られる。
【選択図】図4
特許請求の範囲【請求項１】
複数の関節で表現可能な関節物体の画像の入力を受けて前記関節物体の二次元関節姿勢を関節ごとの推定位置の確信度とともに出力するように構成されたモデルを用いて、前記関節物体に属する対象物体の画像から前記対象物体の二次元関節姿勢を推定することと、
前記対象物体の二次元関節姿勢から確信度が閾値未満の関節を除去してクエリ姿勢を生成することと、
サンプル関節物体の基本関節姿勢ごとに複数のサンプル二次元関節姿勢が登録されたデータベースから、前記クエリ姿勢に最も近いサンプル二次元関節姿勢を取得することと、
前記確信度が閾値未満の関節を前記最も近いサンプル二次元関節姿勢の対応する関節に置き換えることによって前記対象物体の二次元関節姿勢を補正することと、を含む
ことを特徴とする関節姿勢推定方法。
続きを表示（約 1,100 文字）【請求項２】
請求項１に記載の関節姿勢推定方法において、
前記データベースから前記クエリ姿勢に最も関連する基本関節姿勢を取得すること、をさらに含む
ことを特徴とする関節姿勢推定方法。
【請求項３】
請求項２に記載の関節姿勢推定方法において、
前記基本関節姿勢は三次元関節姿勢である
ことを特徴とする関節姿勢推定方法。
【請求項４】
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと結合され複数の実行可能なインストラクションを記憶したプログラムメモリと、を備え、
前記複数の実行可能なインストラクションは、前記少なくとも一つのプロセッサに、
複数の関節で表現可能な関節物体の画像の入力を受けて前記関節物体の二次元関節姿勢を関節ごとの推定位置の確信度とともに出力するように構成されたモデルを用いて、前記関節物体に属する対象物体の画像から前記対象物体の二次元関節姿勢を推定することと、
前記対象物体の二次元関節姿勢から確信度が閾値未満の関節を除去してクエリ姿勢を生成することと、
サンプル関節物体の基本関節姿勢ごとに複数のサンプル二次元関節姿勢が登録されたデータベースから、前記クエリ姿勢に最も近いサンプル二次元関節姿勢を取得することと、
前記確信度が閾値未満の関節を前記最も近いサンプル二次元関節姿勢の対応する関節に置き換えることによって前記対象物体の二次元関節姿勢を補正することと、を実行させるように構成されている
ことを特徴とする関節姿勢推定システム。
【請求項５】
少なくとも一つのプロセッサで実行可能な複数のインストラクションを含む関節姿勢推定プログラムであって、
前記複数のインストラクションは前記少なくとも一つのプロセッサに、
複数の関節で表現可能な関節物体の画像の入力を受けて前記関節物体の二次元関節姿勢を関節ごとの推定位置の確信度とともに出力するように構成されたモデルを用いて、前記関節物体に属する対象物体の画像から前記対象物体の二次元関節姿勢を推定することと、
前記対象物体の二次元関節姿勢から確信度が閾値未満の関節を除去してクエリ姿勢を生成することと、
サンプル関節物体の基本関節姿勢ごとに複数のサンプル二次元関節姿勢が登録されたデータベースから、前記クエリ姿勢に最も近いサンプル二次元関節姿勢を取得することと、
前記確信度が閾値未満の関節を前記最も近いサンプル二次元関節姿勢の対応する関節に置き換えることによって前記対象物体の二次元関節姿勢を補正することと、を実行させるように構成されている
ことを特徴とする関節姿勢推定プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、人を含む物体の関節姿勢の推定に用いて好適な技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
特許文献１には物体の姿勢を推定する技術が開示されている。この従来技術によれば、まず、多関節の物体を含む距離画像から物体の関節位置候補が算出される。次に、物体に相当する多関節物体モデルにおける関節間の配置関係に対する許容範囲の情報に基づいて、関節位置候補の配置の整合性が評価される。そして、その評価に基づいて、関節位置候補から物体の関節位置を決定することによって物体の姿勢が推定される。
【０００３】
しかし、上記の従来技術ではオクルージョンやトランケーションについては考慮されていない。このため、オクルージョンやトランケーションを含む困難な状況下では、関節位置の推定精度が低下する虞がある。
【０００４】
なお、本開示に関連する技術分野の技術水準を示す文献としては、特許文献１の他にも特許文献２及び特許文献３を例示することができる。
【先行技術文献】
【特許文献】
【０００５】
特許第６４３３１４９号公報
特許第４７０９７２３号公報
特許第５５５５２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、上述のような問題に鑑みてなされたもので、オクルージョンやトランケーションを含む困難な状況下であっても物体の二次元関節姿勢を精度よく推定することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示は上記目的を達成するための関節姿勢推定技術を提供する。本開示の関節姿勢推定技術は、関節姿勢推定方法、関節姿勢推定システム、及び関節姿勢推定プログラムを含む。
【０００８】
本開示の関節姿勢推定方法は以下の第一乃至第四のステップを含む。第一のステップは複数の関節で表現可能な関節物体に属する対象物体の画像から対象物体の二次元関節姿勢を推定するステップである。二次元関節姿勢の推定には二次元関節姿勢モデルが用いられる。二次元関節姿勢モデルは、関節物体の画像の入力を受けて、関節物体の二次元関節姿勢を関節ごとの推定位置の確信度とともに出力するように構成されたモデルである。第二のステップは対象物体の二次元関節姿勢から推定位置の確信度が閾値未満の関節を除去してクエリ姿勢を生成するステップである。第三のステップはクエリ姿勢に最も近いサンプル二次元関節姿勢をデータベースから取得するステップである。データベースには、サンプル関節物体の基本関節姿勢ごとに複数のサンプル二次元関節姿勢が登録されている。第四のステップは推定位置の確信度が閾値未満の関節を最も近いサンプル二次元関節姿勢の対応する関節に置き換えることによって対象物体の二次元関節姿勢を補正するステップである。
【０００９】
本開示の関節姿勢推定システムは少なくとも一つのプロセッサと、少なくとも一つのプロセッサと結合され複数のインストラクションを記憶したプログラムメモリとを備える。上記複数のインストラクションは少なくとも一つのプロセッサに以下の第一乃至第四の処理を実行させるように構成されている。第一の処理は二次元関節姿勢モデルを用いて複数の関節で表現可能な関節物体に属する対象物体の画像から対象物体の二次元関節姿勢を推定する処理である。第二の処理は対象物体の二次元関節姿勢から推定位置の確信度が閾値未満の関節を除去してクエリ姿勢を生成する処理である。第三の処理はクエリ姿勢に最も近いサンプル二次元関節姿勢をデータベースから取得する処理である。第四の処理は推定位置の確信度が閾値未満の関節を最も近いサンプル二次元関節姿勢の対応する関節に置き換えることによって対象物体の二次元関節姿勢を補正する処理である。
【００１０】
本開示の関節姿勢推定プログラムは少なくとも一つのプロセッサで実行可能な複数のインストラクションを含む。上記複数のインストラクションは少なくとも一つのプロセッサに以下の第一乃至第四の処理を実行させるように構成されている。第一の処理は二次元関節姿勢モデルを用いて複数の関節で表現可能な関節物体に属する対象物体の画像から対象物体の二次元関節姿勢を推定する処理である。第二の処理は対象物体の二次元関節姿勢から推定位置の確信度が閾値未満の関節を除去してクエリ姿勢を生成する処理である。第三の処理はクエリ姿勢に最も近いサンプル二次元関節姿勢をデータベースから取得する処理である。第四の処理は推定位置の確信度が閾値未満の関節を最も近いサンプル二次元関節姿勢の対応する関節に置き換えることによって対象物体の二次元関節姿勢を補正する処理である。本開示の関節姿勢推定プログラムはコンピュータ読み取り可能な非一時的な記憶媒体に記憶されてもよいし、ネットワークを介して提供されてもよい。
【発明の効果】
（【００１１】以降は省略されています）

関連特許