特許ウォッチ

公開番号2024063268
公報種別公開特許公報(A)
公開日2024-05-13
出願番号2022171051
出願日2022-10-26
発明の名称動作分析システム、動作分析方法及び動作分析プログラム
出願人三菱電機株式会社
代理人弁理士法人山王内外特許事務所
主分類G06T 7/20 20170101AFI20240502BHJP(計算;計数)
要約【課題】リアルタイムに対象者による動作の遅延原因を特定可能とする。
【解決手段】対象者2が撮影されることで取得された画像に基づいて、対象者2の体勢を表した情報である骨格情報を抽出する骨格情報抽出部1202と、骨格情報抽出部1202により抽出された骨格情報を含む動作情報、及び、動作情報を示すデータを入力として動作を示すデータを出力する学習済モデルに基づいて、動作を特定する動作特定部1204と、動作特定部1204により動作が特定された動作情報に基づいて、動作パターンを特定する動作パターン特定部1208と、動作パターン特定部1208により特定された動作パターンに基づいて、遅延原因を特定する遅延原因特定部1210とを備えた。
【選択図】図2
特許請求の範囲【請求項１】
対象者が撮影されることで取得された画像に基づいて、対象者の体勢を表した情報である骨格情報を抽出する骨格情報抽出部と、
前記骨格情報抽出部により抽出された骨格情報を含む動作情報、及び、動作情報を示すデータを入力として動作を示すデータを出力する学習済モデルに基づいて、動作を特定する動作特定部と、
前記動作特定部により動作が特定された動作情報に基づいて、動作パターンを特定する動作パターン特定部と、
前記動作パターン特定部により特定された動作パターンに基づいて、遅延原因を特定する遅延原因特定部と
を備えた動作分析システム。
続きを表示（約 1,400 文字）【請求項２】
前記動作特定部により動作が特定された動作情報に基づいて、当該動作情報を動作の特徴毎に分類するパターン分類部と、
前記パターン分類部により動作の特徴毎に分類された動作情報に基づいて、動作パターンを作成する動作パターン作成部とを備え、
前記動作パターン特定部は、前記動作パターン作成部により作成された動作パターンの中から、前記動作特定部により動作が特定された動作情報に対応する動作パターンを特定する
ことを特徴とする請求項１記載の動作分析システム。
【請求項３】
学習済モデル及び前記動作パターン作成部により作成された動作パターンに基づいて、遅延原因パターンを作成する遅延原因パターン作成部を備え、
前記遅延原因特定部は、前記遅延原因パターン作成部により作成された遅延原因パターンの中から、前記動作パターン特定部により特定された動作パターンに対応する遅延原因パターンを特定することで、遅延原因を特定する
ことを特徴とする請求項２記載の動作分析システム。
【請求項４】
前記動作特定部により動作が特定された動作情報、及び、学習済モデルを作成する際に用いられた学習データに基づいて、学習済モデルの更新を行う学習済モデル更新部を備えた
ことを特徴とする請求項１記載の動作分析システム。
【請求項５】
対象者が撮影されることで取得された画像、及び、前記遅延原因特定部により特定された遅延原因に基づいて、動作改善画面を作成して表示する遅延原因通知インタフェースを備えた
ことを特徴とする請求項１記載の動作分析システム。
【請求項６】
前記遅延原因通知インタフェースは、前記動作特定部により動作が特定された動作情報が示す動作の動作時間及び学習済モデルを作成する際に用いられた学習データが示す動作の動作時間にも基づいて、動作改善画面を作成して表示する
ことを特徴とする請求項５記載の動作分析システム。
【請求項７】
骨格情報抽出部が、対象者が撮影されることで取得された画像に基づいて、対象者の体勢を表した情報である骨格情報を抽出するステップと、
動作特定部が、前記骨格情報抽出部により抽出された骨格情報を含む動作情報、及び、動作情報を示すデータを入力として動作を示すデータを出力する学習済モデルに基づいて、動作を特定するステップと、
動作パターン特定部が、前記動作特定部により動作が特定された動作情報に基づいて、動作パターンを特定するステップと、
遅延原因特定部が、前記動作パターン特定部により特定された動作パターンに基づいて、遅延原因を特定するステップと
を有する動作分析方法。
【請求項８】
コンピュータを、
対象者が撮影されることで取得された画像に基づいて、対象者の体勢を表した情報である骨格情報を抽出する骨格情報抽出部と、
前記骨格情報抽出部により抽出された骨格情報を含む動作情報、及び、動作情報を示すデータを入力として動作を示すデータを出力する学習済モデルに基づいて、動作を特定する動作特定部と、
前記動作特定部により動作が特定された動作情報に基づいて、動作パターンを特定する動作パターン特定部と、
前記動作パターン特定部により特定された動作パターンに基づいて、遅延原因を特定する遅延原因特定部と
として機能させるための動作分析プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、対象者が撮影された画像から当該対象者による動作を特定する動作分析システム、動作分析方法及び動作分析プログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
従来、作業者の骨格情報を用いて学習済モデルを作成し、当該学習済モデルを元に画像から作業者による作業を特定する作業分析技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１９８１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の作業分析技術は、作業者による作業の特定にとどまっている。そのため、作業者が作業改善を行う際には、特定した作業から遅延原因を見つけ、作業改善点を発見する必要があった。そのため、従来の作業分析技術は、作業改善に用いるにはリアルタイム性がないという問題点があった。
【０００５】
本開示は、上記のような課題を解決するためになされたもので、従来に対し、リアルタイムに対象者による動作の遅延原因を特定可能となる動作分析システムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本開示に係る動作分析システムは、対象者が撮影されることで取得された画像に基づいて、対象者の体勢を表した情報である骨格情報を抽出する骨格情報抽出部と、骨格情報抽出部により抽出された骨格情報を含む動作情報、及び、動作情報を示すデータを入力として動作を示すデータを出力する学習済モデルに基づいて、動作を特定する動作特定部と、動作特定部により動作が特定された動作情報に基づいて、動作パターンを特定する動作パターン特定部と、動作パターン特定部により特定された動作パターンに基づいて、遅延原因を特定する遅延原因特定部とを備えたことを特徴とする。
【発明の効果】
【０００７】
本開示によれば、上記のように構成したので、リアルタイムに対象者による動作の遅延原因を特定可能となる。
【図面の簡単な説明】
【０００８】
実施の形態１に係る動作分析システムの全体構成例を示すブロック図である。
実施の形態１に係る動作分析システムにおけるカメラ部の構成例を示すブロック図である。
実施の形態１に係る動作分析システムで用いられる学習データの一例を示す図である。
実施の形態１に係る動作分析システムで用いられる動作情報の一例を示す図である。
実施の形態１に係る動作分析システムで用いられる動作パターンの一例を示す図である。
実施の形態１に係る動作分析システムにおけるサーバ部の構成例を示すブロック図である。
実施の形態１に係る動作分析システムで用いられるパターン識別ラベルが付与された動作情報の一例を示す図である。
実施の形態１に係る動作分析システムで用いられる遅延原因の一例を示す図である。
実施の形態１に係る動作分析システムの全体動作例を示すフローチャートである。
実施の形態１に係る動作分析システムにおけるカメラ部の動作例を示すフローチャートである。
実施の形態１に係る動作分析システムにおけるサーバ部の動作例を示すフローチャートである。
実施の形態２に係る動作分析システムの全体構成例を示すブロック図である。
実施の形態２に係る動作分析システムにおけるカメラ部の構成例を示すブロック図である。
実施の形態２に係る動作分析システムの全体動作例を示すフローチャートである。
実施の形態２における遅延原因通知インタフェースが作成する動作改善画面の一例を示す図である。
図１６Ａ、図１６Ｂは、実施の形態１，２に係る動作分析システムのハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照しながら詳細に説明する。なお、本実施の形態により、本開示が限定されるものではない。
実施の形態１．
図１は、実施の形態１に係る動作分析システム１の全体構成例を示すブロック図である。図１において、実線は制御及びデータの流れを示し、破線はデータのみの流れを示している。
動作分析システム１は、対象者２を撮影することで画像を取得し、当該画像に基づいて当該対象者２による動作を特定する。更に、この動作分析システム１は、特定した対象者２による動作に基づいて、当該対象者２による動作の遅延原因を特定する。なお、対象者２としては例えば作業者が挙げられ、対象者２による動作としては例えば作業者による作業が挙げられる。
この動作分析システム１は、図１に示すように、学習済モデル登録部１１、カメラ部１２、及び、サーバ部１３を備えている。
【００１０】
学習済モデル登録部１１は、学習済モデル、及び、当該学習済モデルを作成する際に用いられた学習データを、カメラ部１２に登録する。学習済モデルは、骨格情報を含む動作情報を示すデータを入力とし、動作（動作ラベル）を示すデータを出力するモデルである。骨格情報は、対象者２の体勢を表した情報である。
なお、学習済モデルを作成する際に用いられた学習データに基づく学習の方法については、既存の機械学習済モデル等を用いればよく、その説明を省略する。
（【００１１】以降は省略されています）

関連特許