特許ウォッチ

公開番号2025165477
公報種別公開特許公報(A)
公開日2025-11-05
出願番号2024069522
出願日2024-04-23
発明の名称関節位置誤認判定装置及び方法
出願人アニマ株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20251028BHJP(計算;計数)
要約【課題】
左右反転による関節位置の誤認を検出する。
【解決手段】
関節位置として第1・2D座標値を推定する第1・2D関節位置推定手段と、関節位置として第2・2D座標値を推定する第2・2D関節位置推定手段と、を備え、第1・2D座標値と第2・2D座標値は、共通のXY平面上の値として同期して得られており、同フレーム・同関節IDについて、第1・2D座標値と第2・2D座標値との距離Dを算出する手段と、距離Dが所定値dよりも大きい時に、当該関節位置が左右反転していると判定する判定手段と、を備え、所定値dは、同フレームにおける所定の左右一対の関節の2D座標間距離に基づいて決定される。
【選択図】図2

特許請求の範囲【請求項１】
関節位置として第1・2D座標値を推定する第1・2D関節位置推定手段と、
関節位置として第2・2D座標値を推定する第2・2D関節位置推定手段と、
を備え、
第1・2D座標値と第2・2D座標値は、共通のXY平面上の値として同期して得られており、
同フレーム・同関節IDについて、第1・2D座標値と第2・2D座標値との距離Ｄを算出する手段と、
距離Ｄが所定値ｄよりも大きい時に、当該関節位置が左右反転していると判定する判定手段と、
を備え、
所定値ｄは、同フレームにおける所定の左右一対の関節の2D座標間距離に基づいて決定される、
関節位置誤認判定装置。
続きを表示（約 1,300 文字）【請求項２】
所定の左右一対の関節は、前記判定手段の判定対象となる関節に対応している、
請求項１に記載の関節位置誤認判定装置。
【請求項３】
所定の左右一対の関節は、複数の左右一対の関節から選択された１つあるいは複数の代表関節である、
請求項１に記載の関節位置誤認判定装置。
【請求項４】
所定値ｄは、前記左右一対の関節の2D座標間の距離の１／３から１／２の間の値から決定される、
請求項１～３いずれか１項に記載の関節位置誤認判定装置。
【請求項５】
関節の3D座標値を推定する3D関節位置推定手段を備え、
前記判定手段によって左右反転していると判定された関節IDに付与された3D座標値がキャンセルされ、当該フレームを除く複数フレームにおいて当該関節IDに付与された複数の3D座標値を用いて補間により取得した3D座標値に置き換えられる、
請求項１に記載の関節位置誤認判定装置。
【請求項６】
前記3D関節位置推定手段は、距離画像センサにより取得された距離画像を用いるものであり、
前記第1・2D関節位置推定手段、前記第2・2D関節位置推定手段の一方が、前記3D関節位置推定手段により推定された3D関節位置に基づいて2D座標値を推定するものである、
請求項５に記載の関節位置誤認判定装置。
【請求項７】
関節の3D座標値を推定する3D関節位置推定手段を備え、
前記3D関節位置推定手段は、関節の複数の2D座標値を再構成して当該関節の3D座標値を取得するものであり、
前記判定手段によって左右反転していると判定された関節IDに対応する2D座標値を修正する手段を備え、
前記判定手段によって左右反転していると判定された関節IDに対応する3D座標値がキャンセルされ、修正された2D座標値を用いて再構成された3D座標値に置き換えられる、
請求項１に記載の関節位置誤認判定装置。
【請求項８】
第1・2D関節位置推定手段により、関節位置として第1・2D座標値を推定すること、
第2・2D関節位置推定手段により、関節位置として第2・2D座標値を推定すること、
同フレーム・同関節IDについて、第1・2D座標値と第2・2D座標値との距離Ｄを算出すること、
距離Ｄが所定値ｄよりも大きい時に、当該関節位置が左右反転していると判定すること、
を備え、
第1・2D座標値と第2・2D座標値は、共通のXY平面上の値として同期して得られており、
所定値ｄは、同フレームにおける所定の左右一対の関節の2D座標間距離に基づいて決定される、関節位置誤認判定方法。
【請求項９】
所定の左右一対の関節は、前記判定手段の判定対象となる関節に対応している、
請求項８に記載の関節位置誤認判定方法。
【請求項１０】
所定の左右一対の関節は、複数の左右一対の関節から選択された１つあるいは複数の代表関節である、
請求項８に記載の関節位置誤認判定方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、モーションキャプチャに係り、詳しくは、関節位置誤認判定装置及び方法に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
スポーツやリハビリテーションの分野では、被験者の運動を記録・分析するために、モーションキャプチャを用いた３次元動作解析が行われる。例えば、リハビリテーション医学では、これまで経験に基づいて治療方針や障害の程度を評価してきたが、近年、根拠に基づく医療（EBM）の重要性が述べられている。三次元関節位置の取得により人の動作を定量的に計測し、治療方針や障害の定量評価等を行い、根拠に基づく医療（EBM）の実現が可能となる。
【０００３】
これまでは、赤外線反射方式の三次元動作分析装置を使用することで定量評価を行ってきていたが、マーカの貼り付けや計測後の処理に時間がかかり、臨床の場面で使用するためには計測時間の面から難しいという問題があった。
【０００４】
近年、マーカや慣性センサを用いることがない、いわゆるマーカレス・モーションキャプチャが登場している。マーカレスの関節位置取得手法としては、距離画像（深度画像）を取得し、取得した１枚の深度画像から関節位置を推定する手法（非特許文献１）や単一のRGB画像から人間の姿を見つけ関節位置の確からしさを表すヒートマップを生成することで関節位置を推定する手法が知られている。前者については、Kinect（非特許文献２）に代表されるように、距離画像方式を採用した比較的安価なモーションキャプチャが市場に登場しており、後者については、OpenPose（https://github.com/CMU-Perceptual-Computing-Lab/open）やVisonPose（https://www.next-system.com/visionpose）が知られている。本出願人は、これらの手法を組み合わせて用いた関節位置取得装置及び方法を提案している（特許文献１）。
【０００５】
しかしながら、これらの技術においては関節位置の誤認がしばしば生じる。関節位置の誤認の特徴としては、人体が左右対称であることにより、左右の関節点が反転して出力されることが挙げられる（図１参照）。「人体が左右対称であること」は、人体は矢状面（上下軸と前後軸の作る面）に対して対象であることを指す。静的な画像において、前額面（上下軸と左右軸の作る面）がカメラの素子の面と同じ方向を向いている場合で顔が映っていない場合には、カメラ方向を向いているか、カメラと反対方向を向いているかは、機械において判別が難しい場合がある。
【０００６】
従来は、そのまま計測を行ったり、もしくは、出力された対象の3D関節位置において、人間の目によって左右反転の関節位置を検出し、その部分の関節のID付けを解除し、当該関節位置の補間を行ったりしていた。
【０００７】
このような左右反転を解決するために最も簡便な方法はディープラーニングをはじめとするAI技術によって、追加の学習を行うことである。しかし、開発メーカーでない場合、学習データを得ることが難しい。加えて、独自に学習データを取得し、データの前処理や学習を実行するためには非常に多くのコストがかかるため、ユーザサイドにおいて、現実的には実行することが容易ではないという問題がある。
【先行技術文献】
【特許文献】
【０００８】
特許第７２８７６８６号
【非特許文献】
【０００９】
J. Shotton et al.,“Real-Time Human Pose Recognition in Parts from a Single depth Image,”Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), IEEE CS Press, 2011, pp. 1297-1304.
Z. Zhang. Microsoft kinect sensor and its effect. IEEE Multimedia, 19(2):4-10, Feb 2012.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記のような左右反転による関節位置の誤認を検出して、当該関節位置を適切に補正することは、関節位置の正確性を担保するうえで重要であり、また、これらのことをより低コストで実現することが望まれる。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許