特許ウォッチ

公開番号2024063332
公報種別公開特許公報(A)
公開日2024-05-13
出願番号2022171177
出願日2022-10-26
発明の名称動作解析装置
出願人住友ゴム工業株式会社,学校法人立命館
代理人個人,個人,個人,個人,個人
主分類G06V 10/82 20220101AFI20240502BHJP(計算;計数)
要約【課題】物体の動作を定量的に表す動作値を、高い精度で出力することが可能な動作解析装置を提供する。
【解決手段】物体の動作を解析するための動作解析装置などである。この動作解析装置は、物体の動作が距離画像センサによって撮影された少なくとも1枚の深度画像21を取得する取得部と、深度画像21を入力することにより、物体の動作を定量的に表す動作値を出力可能な導出部とを含む。導出部は、物体の位置データについての第1損失関数、及び、物体の部位の長さデータについての第2損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワーク31を含む。
【選択図】図7
特許請求の範囲【請求項１】
物体の動作を解析するための動作解析装置であって、
前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する取得部と、
前記深度画像を入力することにより、前記物体の動作を定量的に表す動作値を出力可能な導出部とを含み、
前記導出部は、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワークを含む、
動作解析装置。
続きを表示（約 1,800 文字）【請求項２】
前記ニューラルネットワークは、前記物体の動作を撮影又は再現した複数の画像と、前記複数の画像それぞれの前記位置データ及び前記長さデータとを含む教師データに基づいて学習されている、請求項１に記載の動作解析装置。
【請求項３】
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記位置データは、前記関節の位置データを含み、
前記第１損失関数は、前記複数の画像から選択される少なくとも１枚の画像について、前記ニューラルネットワークから出力された前記関節の位置データの導出値と、前記教師データの前記関節の位置データの真値との差分に基づいて定義される、請求項２に記載の動作解析装置。
【請求項４】
前記移動体は、人体である、請求項３に記載の動作解析装置。
【請求項５】
前記第１損失関数は、下記の式（１）で定義される、請求項３又は４に記載の動作解析装置。
TIFF
2024063332000010.tif
18
163
ここで、
Ｌ
coordinate
：第１損失関数
ｅ
kx
：関節のＸ座標の導出値
ｅ
ky
：関節のＹ座標の導出値
ｅ
kz
：関節のＺ座標の導出値
ｔ
kx
：関節のＸ座標の真値
ｔ
ky
：関節のＹ座標の真値
ｔ
kz
：関節のＺ座標の真値
ｋ：関節を特定するための添字
ｎ
c
：関節の合計数
【請求項６】
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像及び第２画像について、前記ニューラルネットワークから出力された前記第１画像の前記少なくとも一方のリンクの長さの導出値、及び、前記第２画像の前記少なくとも一方のリンクの長さの導出値との差分に基づいて定義される、請求項２又は３に記載の動作解析装置。
【請求項７】
前記第２損失関数は、下記の式（２）で定義される、請求項６に記載の動作解析装置。
TIFF
2024063332000011.tif
18
163
ここで、
Ｌ
constraint
：第２損失関数
ｌ
j1
：第１画像のリンクの長さの導出値
ｌ
j2
：第２画像のリンクの長さの導出値
ｊ：リンクを特定するための添字
μ：許容率
ｎ
b
：リンクの合計数
【請求項８】
前記物体は、一対のリンクと、これを繋ぐ関節を有する移動体であり、
前記長さデータは、前記一対のリンクの少なくとも一方のリンクの長さデータを含み、
前記第２損失関数は、前記複数の画像から選択された第１画像について、前記ニューラルネットワークから出力された前記少なくとも一方のリンクの長さの導出値、及び、前記第１画像の前記少なくとも一方のリンクの長さの真値との差分に基づいて定義される、請求項２又は３に記載の動作解析装置。
【請求項９】
前記第２損失関数は、下記の式（３）で定義される、請求項８に記載の動作解析装置。
TIFF
2024063332000012.tif
17
163
ここで、
Ｌ
constraint
：第２損失関数
ｌ
j1
：第１画像のリンクの長さの導出値
ｌ
j3
：第１画像のリンクの長さの真値
ｊ：リンクを特定するための添字
μ：許容率
ｎ
b
：リンクの合計数
【請求項１０】
前記ニューラルネットワークを機械学習させる学習部をさらに備える、請求項１又は２に記載の動作解析装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、動作解析装置などに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
下記特許文献１には、動作解析装置が記載されている。この装置は、物体の動作を距離画像センサにより撮影した深度画像を取得する取得部と、物体の動作を定量的に表す動作値を出力とするニューラルネットワークに、取得部により取得された深度画像を入力することにより、動作値を導出する導出部とを備えている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１８－０２６１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の装置は、物体の動作を撮影した深度画像から、その物体の動作値を出力するにあたり、出力精度のさらなる向上が求められている。
【０００５】
本発明は、以上のような実状に鑑み案出されたもので、物体の動作を定量的に表す動作値を、高い精度で出力することが可能な動作解析装置を提供することを主たる目的としている。
【課題を解決するための手段】
【０００６】
本発明は、物体の動作を解析するための動作解析装置であって、前記物体の動作が距離画像センサによって撮影された少なくとも１枚の深度画像を取得する取得部と、前記深度画像を入力することにより、前記物体の動作を定量的に表す動作値を出力可能な導出部とを含み、前記導出部は、前記物体の位置データについての第１損失関数、及び、前記物体の部位の長さデータについての第２損失関数を含む損失関数の値が小さくなるように機械学習されたニューラルネットワークを含む、動作解析装置である。
【発明の効果】
【０００７】
本発明の動作解析装置は、上記の構成を採用することにより、物体の動作を定量的に表す動作値を、高い精度で出力することが可能となる。
【図面の簡単な説明】
【０００８】
本実施形態の動作解析装置を含む動作解析システムを概念的に示す構成図である。
本実施形態の動作解析装置を示すブロック図である。
本実施形態の動作解析方法の処理手順を示すフローチャートである。
複数の深度画像を含む深度画像群を示す図である。
（ａ）は正規化される前の深度画像、（ｂ）は正規化された深度画像である。
人体の関節及び部位等の位置データの説明図である。
学習モデルの概念図である。
深度画像の動作値を示す図である。
左手の位置データと時間との関係を示すグラフである。（ａ）は、奥行方向（Ｘ軸方向）の位置データ、（ｂ）は、飛球線方向（Ｙ軸方向）の位置データ、及び、（ｃ）は、高さ方向（Ｚ軸方向）の位置データを示している。
本実施形態の学習モデルの生成方法の処理手順の一例を示すフローチャートである。
本実施形態の学習工程の処理手順を示すフローチャートである。
複数の画像からなる画像群を示す図である。
位置データ群（ボーンデータ群）を示す図である。
物体モデルを示す図である。
ニューラルネットワークに入力される画像と、ニューラルネットワークから導出された関節の位置データの導出値とを示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態が図面に基づき説明される。図面は、発明の内容の理解を助けるために、誇張表現や、実際の構造の寸法比とは異なる表現が含まれることが理解されなければならない。また、各実施形態を通して、同一又は共通する要素については同一の符号が付されており、重複する説明が省略される。さらに、実施形態及び図面に表された具体的な構成は、本発明の内容理解のためのものであって、本発明は、図示されている具体的な構成に限定されるものではない。
【００１０】
［動作解析システム］
本実施形態の動作解析装置（動作解析システム）は、物体の動作の解析に用いられる。図１は、本実施形態の動作解析装置２を含む動作解析システム１を概念的に示す構成図である。
（【００１１】以降は省略されています）

関連特許