特許ウォッチ

公開番号2024112670
公報種別公開特許公報(A)
公開日2024-08-21
出願番号2023017876
出願日2023-02-08
発明の名称作業分析装置、作業分析システム、作業分析方法及びプログラム
出願人オムロン株式会社
代理人弁理士法人秀和特許事務所
主分類G06Q 50/04 20120101AFI20240814BHJP(計算;計数)
要約【課題】周期性のある作業を撮影した動画データによる作業分析を低コストで精度よく行うことができる技術を提供する。
【解決手段】複数の作業を含む工程を行う作業者の前記作業を分析する作業分析装置であって、前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定部とを有する、作業分析装置。
【選択図】図1
特許請求の範囲【請求項１】
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析装置であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定部、
を有する、作業分析装置。
続きを表示（約 1,200 文字）【請求項２】
前記推定部は、特定された前記起点に基づいて定まる前記周期内の前記動画データを前記作業に応じて分割することにより前記周期内の前記作業の内訳を推定する、
ことを特徴とする、請求項１に記載の作業分析装置。
【請求項３】
前記推定部は、前記動画データを構成する部分データを前記作業に応じて分類することにより前記周期内の前記作業の内訳を推定する、
ことを特徴とする、請求項１に記載の作業分析装置。
【請求項４】
前記推定部は、前記周期内における分類が同一の前記部分データを足し合わせることにより、前記周期内の前記作業ごとの所要時間を算出する、
ことを特徴とする、請求項３に記載の作業分析装置。
【請求項５】
前記動画データにおける一の前記周期の前記起点から次の前記周期の前記起点までに要した時間が、所定値を超えているか否かを判定する判定部をさらに有する、
ことを特徴とする、請求項１から４のいずれか一項に記載の作業分析装置。
【請求項６】
前記推定部は、前記作業の進行手順を示す作業手順情報をさらに用いて前記起点を特定する、
ことを特徴とする、請求項１に記載の作業分析装置。
【請求項７】
前記動画データのうち少なくとも１周期分の作業の内容を示すサムネイル画像と、前記信号情報に基づいて特定される時点を前記サムネイル画像と同じ時系列に沿って示すオブジェクトと、を示すユーザー確認画面を表示可能な表示部をさらに有する、
ことを特徴とする、請求項１に記載の作業分析装置。
【請求項８】
ユーザー操作を受け付ける操作部を介して前記ユーザー確認画面に示された前記起点の位置を修正する操作を受け付け、修正された起点の情報に基づいて前記推定部の推定処理に係るパラメータの更新を行う、パラメータ更新部をさらに有する、
ことを特徴とする、請求項７に記載の作業分析装置。
【請求項９】
前記推定部は、前記パラメータが更新された場合には該更新されたパラメータに基づいて前記周期内の前記作業の内訳を再推定し、
前記表示部は、前記再推定された前記作業の内訳、及び前記再推定に応じて更新された前記ユーザー確認画面を表示する、
ことを特徴とする、請求項８に記載の作業分析装置。
【請求項１０】
前記推定部は、推論モデルを含んでおり、
前記推定部によって推定された前記起点の位置、又は前記操作部を介して修正された前記起点の位置、に対応する前記サムネイル画像から得られる特徴量に基づいて、前記推論モデルの学習用の正解ラベルを生成するラベル生成部をさらに有する、
ことを特徴とする、請求項８又は９に記載の作業分析装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、作業分析装置、作業分析システム、作業分析方法及びプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
従来、作業者が行う作業についての時系列データ（例えば動画データ）を取得し、得られたデータに基づいて、作業者が行っている作業の内容を分析すること（例えば、工程に含まれる作業ごとに要した時間を算出するなど）が知られている。また、特許文献１には、作業者に装着した加速度センサの情報に基づいて作業者の行っている作業が歩行や組み立てなどのいずれに該当するのかを推定し、その推定結果の信頼度を算出する技術が開示されている。特許文献１には、作業者を動画撮影した動画像データを時系列に沿って推定された作業の内容ごとに分割するとともに、推定結果の信頼度が閾値以下である場合には、当該作業に係る部分のみの動画像データをユーザーが目視確認できることが提案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１８７５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画データに基づいて作業者の作業内容を分析する場合、例えば作業場における製品の組み立て作業のような周期性の強い作業である場合には、動画内における作業の開始時点と終了時点を適切に認識することが重要である。動画データにおける作業周期（以下、所定の一連の作業の１単位を「工程」ともいう）の始点（及び終点）が正しく認識されなければ、動画データに対する１周期の工程に含まれる各作業の割り当てが正しく行われないためである。しかしながら、人間が作業を行う場合には、周期性のある作業であっても様々なイレギュラーや個人差が発生することは避けられず、機械学習によって生成された学習済みモデル（いわゆるＡＩ）を用いて分析を行うためには、人手によるアノテーションが避けられず、そのためのコストが大きくなるという問題があった。
【０００５】
本発明の一態様は、上述した事情に鑑みてなされたものであり、周期性のある作業を撮影した動画データによる作業分析を低コストで精度よく行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の課題を解決するために、本発明の一態様に係る作業分析装置は、次の構成を採用する。即ち、
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析装置であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を、前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定部、
を有する、作業分析装置、である。
【０００７】
ここで、「動画データ以外の前記作業の進捗に係る信号情報」とは、例えば、組み立てに係る部品が所定のストッカから取り出されたこと或いは組み立てが完了した製品が収容ケースに収容されたことなどを検知するセンサの出力信号などとすることができる。また、作業者が１周期の作業を終えた際に都度スイッチに接触するようにしておき、当該スイ
ッチからの出力信号を用いてもよい。また、手作業だけでなく加工装置を使用する作業である場合には該加工装置のスタートボタン押下信号或いは該加工装置を制御するＰＬＣからの駆動信号、などを用いてもよい。また、「前記作業の内訳」とは、単に前記周期内で実際に実施された作業の内容を示すだけでなく、各作業の実施に要した時間の内訳も含む。
【０００８】
上記のような構成によれば、実質的に所定の作業と紐づいた信号を用いて作業の１周期の起点（始点及び／又は終点）を特定し、１周期の範囲を正確に認識したうえで、動画データを分析することが可能となる。このため、人手による大掛かりなアノテーションを行わずとも、精度の高い分析を行うことができる。
【０００９】
なお、前記推定部は、特定された前記起点に基づいて定まる前記周期内の前記動画データを前記作業に応じて分割することにより前記周期内の前記作業の内訳を推定するようにしてもよい。具体的には、例えば特定された周期ごとの動画データに対して１周期の工程に含まれる各作業をその順序に応じて割り当てる（１周期分の動画データを作業単位で分割する）ようにしてもよい。
【００１０】
また、前記推定部は、前記動画データを構成する部分データを前記作業に応じて分類することにより前記周期内の前記作業の内訳を推定するようにしてもよい。ここで、「前記動画データを構成する部分データ」とは、部分的な動画データ或いは動画データを構成する１フレーム単位の静止画データである。具体的には、例えば機械学習済の分類モデルにより、画像の特徴量に基づいて１周期の工程に含まれる作業のいずれに該当するか分類を行ってもよい。
（【００１１】以降は省略されています）

関連特許