特許ウォッチ

公開番号2024154184
公報種別公開特許公報(A)
公開日2024-10-30
出願番号2023067879
出願日2023-04-18
発明の名称学習装置
出願人株式会社アイシン
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20241023BHJP(計算;計数)
要約【課題】二次元画像から骨格姿勢を推定する場合に利用可能な、より適切な学習済みモデルを作成するための関節座標のアノテーションをより適切に行うことができる、学習装置を提供する。
【解決手段】学習装置は、骨格の関節部が存在する部分の体表面回りのうち1/2以上に巻き付けられた広域マーカを備える人体モデルを撮像した二次元画像を取得する画像取得部と、二次元画像から関節部ごとに広域マーカを抽出するマーカ抽出部と、広域マーカの位置に基づき体表面における関節部の関節座標を取得する座標取得部と、関節部と関節座標との関係を示す教師データを複数学習させた結果としての学習済みモデルを生成するモデル作成部と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
骨格の関節部が存在する部分の体表面回りの任意の領域に巻き付けられた広域マーカを備える人体モデルを撮像した二次元画像を取得する画像取得部と、
前記二次元画像から前記関節部ごとに前記広域マーカを抽出するマーカ抽出部と、
前記広域マーカの位置に基づき体表面における前記関節部の関節座標を取得する座標取得部と、
前記関節部と前記関節座標との関係を示す教師データを複数学習させた結果としての学習済みモデルを生成するモデル作成部と、
を備える、学習装置。
続きを表示（約 210 文字）【請求項２】
前記広域マーカは、前記人体モデルの前記体表面の全周に巻き付けられている、請求項１に記載の学習装置。
【請求項３】
前記二次元画像において、前記関節部に対応する前記広域マーカの一部が隠蔽され当該広域マーカが前記二次元画像上で複数の個別マーカに分割された場合、分割された複数の前記個別マーカの中心位置から最も近い前記個別マーカ上の座標を前記関節座標とする、請求項１に記載の学習装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、学習装置に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
従来、人体の骨格姿勢を検出する技術が種々提案されている。例えば、人体の体表に付したマーカと、当該マーカを付した状態で撮影した断層画像を利用して、マーカの位置と実際の骨位置の相対位置を精密に算出した相対位置情報を利用した技術が提案されている。この技術では、任意姿勢の観察対象について、複数カメラで撮影された画像から、体表面につけられたマーカの世界座標位置を特定して、特定したマーカ位置と、事前に算出したマーカと骨位置の相対位置情報とに基づき、観察対象の骨格姿勢を復元している。また、マーカを用いた骨格姿勢の推定技術として、例えば、関節と関節との間の直線上の任意の２点にマーカを配置して、骨格姿勢の検出精度を向上するものが提案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００５－１０３１９７号公報
特開平９－１５３１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像から骨格姿勢を推定するために機械学習が利用する場合がある。この場合、複数の画像を準備して、各画像に写っている人体に対して関節位置（座標）のアノテーション(正解値付け作業)を行い、学習済みモデルを作成する。アノテーションを行う場合、正解値としての関節位置（骨格点位置）は体表に付与されることが望ましい。しかしながら、上述した従来技術の場合、三次元的に関節位置を捉えることが目的のため、カメラ位置から関節位置がどう見えるかは考慮されていない。つまり、従来技術において、取得される三次元上での骨格点位置は体内に埋まった位置であり、カメラから見える関節位置（骨格点）の二次元座標値とは異なる場合がある。また、例えば、関節位置を含む人体の表面の一部がカメラから見えている場合、アノテーション時に可視として扱うことが可能であるが、従来技術の場合、関節位置は三次元座標の１点とされており、カメラからの可視不可視の判定において、その１点のみを考慮して実施される。その結果、不可視と判定されてしまう場合がある。したがって、二次元画像から骨格姿勢を推定するために利用する良好な学習済みモデルが作成できない場合があるという問題があった。
【０００５】
そこで、本開示の課題の一つは、二次元画像から骨格姿勢を推定する場合に利用可能な、より適切な学習済みモデルを作成するための関節座標のアノテーションをより適切に行うことができる、学習装置を提供することである。
【課題を解決するための手段】
【０００６】
本開示の一例としての学習装置は、骨格の関節部が存在する部分の体表面回りの任意の領域に巻き付けられた広域マーカを備える人体モデルを撮像した二次元画像を取得する画像取得部と、前記二次元画像から前記関節部ごとに前記広域マーカを抽出するマーカ抽出部と、前記広域マーカの位置に基づき体表面における前記関節部の関節座標を取得する座標取得部と、前記関節部と前記関節座標との関係を示す教師データを複数学習させた結果としての学習済みモデルを生成するモデル作成部と、を備える。この構成によれば、例えば、二次元画像上で見えている体表面位置において広域マーカを目安として、関節位置に対応する座標に正解値をアノテートすることができる。つまり、二次元画像から骨格姿勢を推定する場合に利用可能な、より適切な学習済みモデルを作成するための関節位置のアノテーションをより適切に行うことができる。
【０００７】
また、上述の学習装置の前記広域マーカは、例えば、前記人体モデルの前記体表面の全周に巻き付けられていてもよい。この構成によれば、例えば、二次元画像に写っている人体の姿勢が変化した場合でも関節位置に対するアノテーションを効率的に行うことができる。
【０００８】
また、上述の学習装置の前記二次元画像において、例えば、前記関節部に対応する前記広域マーカの一部が隠蔽され当該広域マーカが前記二次元画像上で複数の個別マーカに分割された場合、分割された複数の前記個別マーカの中心位置から最も近い前記個別マーカ上の座標を前記関節座標とする。この構成によれば、例えば、二次元画像上の広域マーカの一部が何らかの物体（例えば、人体の腕等）により遮られて、複数の部分（個別マーカ）に分割されてしまう場合でも、一つの広域マーカとして扱い、関節位置に対するアノテーションを効率的に行うことができる。
【図面の簡単な説明】
【０００９】
図１は、実施形態にかかる学習装置の構成を示す例示的かつ模式的なブロック図である。
図２は、実施形態にかかる学習装置で参照する人体における三次元の関節位置を示す例示的かつ模式的な説明図である。
図３は、実施形態にかかる学習装置で学習に利用する広域マーカが付されたモデル（二次元画像）を示す例示的かつ模式的な説明図である。
図４は、実施形態にかかる学習装置で学習に利用する広域マーカに基づいて二次元画像上で取得される関節座標を示す例示的かつ模式的な説明図である。
図５は、実施形態にかかる学習装置の動作の流れを示す例示的なフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。
（【００１１】以降は省略されています）

関連特許