特許ウォッチ

公開番号2024080233
公報種別公開特許公報(A)
公開日2024-06-13
出願番号2022193258
出願日2022-12-02
発明の名称学習用データ作成装置、学習用データ作成方法、およびプログラム
出願人日本電信電話株式会社,学校法人工学院大学
代理人個人,個人,個人
主分類A61B 5/107 20060101AFI20240606BHJP(医学または獣医学;衛生学)
要約【課題】ヒトの関節位置が把握しづらい衣服を着装している場合であっても、精度の良い姿勢推定をするための学習用データを作成する。
【解決手段】入力部は、所定部位に光源2を着装し、かつ、光源2の光の少なくとも一部が透過するウェア3を着装した被験者Xの動作を撮影したものであって、光源2の点灯制御中に一の撮影で取得された動画フレームaを入力として受け付ける。画像作成部20は、動画フレームaから、光源2の点灯時動画M1と消灯時動画M2とを作成する。座標取得部30は、点灯時動画M1から、画像フレーム毎に時系列の座標データZを取得する。データセット作成部40は、点灯時動画M1と、消灯時動画M2と、座標データZとを用いて学習用データを作成する。
【選択図】図3
特許請求の範囲【請求項１】
姿勢推定モデルを作成するための学習用データ作成装置であって、
複数の所定部位に光源を着装し、かつ、前記光源の光の少なくとも一部が透過するウェアを前記光源の夫々を覆って着装した被験者の動作を撮影した動画フレームであって、前記光源の点灯の制御中に一の撮影で取得された前記動画フレームを入力として受け付ける入力部と、
前記動画フレームから、前記光源が点灯している映像の点灯時動画と、前記光源が点灯していない映像の消灯時動画とを作成する画像作成部と、
前記点灯時動画に録画されている前記光源の映像から、画像フレーム毎に時系列の座標データを取得する座標取得部と、
前記点灯時動画と、前記消灯時動画と、前記座標データとを用いてデータセットである学習用データを作成するデータセット作成部と、
を有する学習用データ作成装置。
続きを表示（約 1,500 文字）【請求項２】
前記光源は可視光ＬＥＤであり、
前記ウェアは、少なくとも可視光を透過するものであり、
前記光源の点灯の制御とは、所定間隔で前記光源の夫々を点滅させる制御であり、
前記画像作成部は、
前記動画フレームから静止画を抽出し、前記光源の点灯時の静止画である点灯時画像と、前記光源の消灯時の静止画である消灯時画像とに分類する画像分類部と、
前記点灯時画像の各画像を時系列に集めて前記点灯時動画とし、前記消灯時画像の各画像を時系列に集めて前記消灯時動画とする動画作成部と、からなる、
請求項１に記載の学習用データ作成装置。
【請求項３】
前記光源は赤外光ＬＥＤであり、
前記ウェアは、可視光は透過しないが赤外光は透過する材質からなり、
前記光源の点灯の制御とは、少なくとも前記被験者の動きを撮影している間は、前記光源を常時点灯させる制御であり、
前記動画フレームは、赤外光カメラにより撮影された第１動画フレームと、赤外光カットフィルタを介してＲＧＢカメラにより撮影された第２動画フレームからなり、
前記画像作成部は、
前記第１動画フレームと、前記第２動画フレームとを判別する画像判別部と、
前記第１動画フレームから前記点灯時動画を作成し、前記第２動画フレームから前記消灯時動画を作成する動画作成部と、からなる、
請求項１に記載の学習用データ作成装置。
【請求項４】
前記光源は赤外光ＬＥＤであり、
前記ウェアは、可視光は透過しないが赤外光は透過する材質からなり、
前記光源の点灯の制御とは、所定間隔で前記光源の夫々を点滅させる制御であり、
前記動画フレームは、近赤外まで撮影可能であって、撮影対象の輝度の変化を検知して動画フレームを作成するイベントカメラを用いて録画されたものであり、
前記画像作成部は、
前記動画フレームから、複数の静止画を抽出し、前記赤外光ＬＥＤが点灯している間の画像のみを対象として時系列で蓄積して前記点灯時動画を作成する点灯動画作成部と、
前記複数の静止画のうち、前記赤外光ＬＥＤが点灯している間の画像を対象から外し、その他の静止画を対象として時系列で蓄積して前記消灯時動画を作成する消灯動画作成部と、からなる、
請求項１に記載の学習用データ作成装置。
【請求項５】
姿勢推定モデルを作成するための学習用データ作成装置による学習用データ作成方法であって、
複数の所定部位に光源を着装し、かつ、前記光源の光の少なくとも一部が透過するウェアを前記光源の夫々を覆って着装した被験者の動作を撮影した動画フレームであって、前記光源の点灯の制御中に一の撮影で取得された前記動画フレームを、入力部が入力として受け付けし、
画像作成部が、前記動画フレームから前記光源が点灯している映像の点灯時動画と、前記光源が点灯していない映像の消灯時動画とを作成し、
座標取得部が、前記点灯時動画に録画されている前記光源の映像から、画像フレーム毎に時系列の座標データを取得し、
データセット作成部が、前記点灯時動画と、前記消灯時動画と、前記座標データとを用いてデータセットである学習用データを作成する、
学習用データ作成方法。
【請求項６】
請求項１から４のいずれかに記載の学習用データ作成装置をコンピュータに機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、人（ヒト）の姿勢データの作成に関する技術である。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
コンピュータービジョンを用いたヒトの姿勢推定は、ヒトの動きの映像を、姿勢推定用の学習済モデルに入力することにより、ヒトの姿勢の推定結果を出力する。出力される推定結果としては、例えばヒトの各関節位置を線でつないだ人型モデル（ヒトの姿勢モデル）が出力される。ヒトの姿勢推定は、市販の機器で撮影された動画や静止画を用いて行うことができることから近年広く普及しており、アルゴリズム及び学習済モデルが公開されているケースもある（例えば、非特許文献１参照）。
【０００３】
姿勢推定用の学習済モデルを作成するにあたり、学習用データが必要となる。学習用データ（ヒトの姿勢データ）の作成においては、被験者の動きを撮影し、画像上に映っているヒトの関節の位置を正確に特定する必要がある。そのため、スキーウェアのように外見からでは体のラインが把握しづらい、いわゆるルーズなウェア（以下、「ルーズウェア」ともいう。）を被験者に着装させた場合と、薄い生地であって肌に密着しているために、外見からでも体のラインが把握し易い、いわゆるタイトなウェア（以下、「タイトウェア」ともいう。）を着装させた場合や、裸体の場合とでは、関節位置の特定の容易さが大きく異なる。ルーズウェアを着装させた場合、通常、関節の位置を直接確認することができない。一手法として、正確な位置を入力する正解データ作成者に、推測で関節位置を入力させることが考えられるが、その精度は不明あるいは不安定なものとなりうる。
【０００４】
つまり、既存の学習済モデルを利用した姿勢推定では、学習段階で、ルーズウェアを着装した状態での学習データが含まれない、あるいはそのような学習データが含まれていたとしても関節位置の精度が高くないこと考えられる。したがって、ルーズウェアを着装した場合における既存の学習済モデルを利用した姿勢推定は、関節位置推定精度が低いと考えられる。
【０００５】
ルーズウェアを着装した場合の関節位置をより正確に把握するため、同一の被験者に、タイトウェアを着装させた場合と、ルーズウェアを着装させた場合の２つの場合において、当該被験者に同じ動作をさせて同じ角度（画角）で撮影する方法がある。タイトウェア着装時の動画から得られた関節位置に、ルーズウェア着装時の動画を対応付けることにより、ルーズウェア着装時の関節位置をより正確に把握する（例えば、非特許文献２、及び非特許文献３参照）。
【０００６】
また、ヒトの部位の特定技術としては、アクティブマーカ方式のモーションキャプチャ装置がある（例えば、非特許文献４、及び非特許文献５参照。）。
【先行技術文献】
【非特許文献】
【０００７】
ＰｏｓｅＮｅｔhttps://www.tensorflow.org/lite/examples/pose_estimation/overview?hl=ja
Automatic Human Pose Annotation for Loose-fitting Clotheshttp://www.mva-org.jp/Proceedings/2019/papers/02-17.pdf
和装人物の単視点姿勢推定のための遮蔽部位３次元位置推定https://shohei.nobuhara.org/pdf/%E6%A2%B6%E5%8E%9F%E9%81%BC2018.pdf
ＮＤＩhttps://www.ndigital.com/products/legacy-products/
使いごこち快適ＯＰＴＯＴＲＡＫhttps://www.jstage.jst.go.jp/article/sobim/32/4/32_4_247/_pdf
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献２、あるいは非特許文献３の技術を利用した場合には、たとえ同一の被験者であったとしても、完全に同じ動作を繰り返すことは難しい。このため、タイトウェア着装時の動作と、ルーズウェア着装時の動作とが完全に一致しているとは限らず、ルーズウェア着装時の関節位置の正確な位置（真値）を得られているとは限らないという課題があった。また、非特許文献４あるいは非特許文献５の技術は、部位の特定技術の一手法に過ぎず、必ずしもルーズウェア着装時のような外観からでは体のラインを把握しづらい場合における関節位置の真値を得られる技術ではなかった。
【０００９】
そこで、本開示は、上記課題を解決するためになされたものであり、ルーズウェアなどのヒトの関節位置が把握しづらい衣服（ウェア）を着装している場合であっても、精度の良い姿勢推定をするための学習用データを作成する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本開示の一態様の学習用データ作成装置は、姿勢推定モデルを作成するための学習用データ作成装置であって、入力部と、画像作成部と、座標取得部と、データセット作成部とを有する。入力部は、複数の所定部位に光源を着装し、かつ、光源の光の少なくとも一部が透過するウェアを光源の夫々を覆って着装した被験者の動作を撮影した動画フレームであって、光源の点灯の制御中に一の撮影で取得された動画フレームを入力として受け付ける。画像作成部は、動画フレームから、光源が点灯している映像の点灯時動画と、光源が点灯していない映像の消灯時動画とを作成する。座標取得部は、点灯時動画に録画されている光源の映像から、画像フレーム毎に時系列の座標データを取得する。データセット作成部は、点灯時動画と、消灯時動画と、座標データとを用いてデータセットである学習用データを作成する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許