特許ウォッチ

公開番号2024165568
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023081854
出願日2023-05-17
発明の名称学習モデル生成方法、作業分析装置および作業分析プログラム
出願人株式会社クボタ
代理人弁理士法人芳野国際特許事務所
主分類G06T 7/00 20170101AFI20241121BHJP(計算;計数)
要約【課題】アノテーションを簡素化し、人が作業を行うときの動作を効率的に推定することができる学習モデルを生成する学習モデル生成方法、作業分析装置、および作業分析プログラムを提供すること。
【解決手段】学習モデル生成方法は、人の前を撮像し作業に関する作業データを取得するステップと、取得した作業データと、人の正中面のキーポイントを起点としたときの人の手のキーポイントの相対距離を複数の区分としての離散値で表したラベルと、の対応付けを行うことにより教師データを生成するステップと、教師データを用いて機械学習を行い、取得した作業データを入力とし、人の動作推定に関するデータを出力とする学習モデルを生成するステップと、を備える。
【選択図】図7

特許請求の範囲【請求項１】
人が行う作業を分析する作業分析装置に用いられる学習モデルを生成する学習モデル生成方法であって、
前記人の前を撮像し前記作業に関する作業データを取得するステップと、
取得した前記作業データと、前記人の正中面のキーポイントを起点としたときの前記人の手のキーポイントの相対距離を複数の区分としての離散値で表したラベルと、の対応付けを行うことにより教師データを生成するステップと、
前記教師データを用いて機械学習を行い、取得した前記作業データを入力とし、前記人の動作推定に関するデータを出力とする学習モデルを生成するステップと、
を備えたことを特徴とする学習モデル生成方法。
続きを表示（約 940 文字）【請求項２】
前記正中面のキーポイントは、前記人の臍のキーポイントであることを特徴とする請求項１に記載の学習モデル生成方法。
【請求項３】
前記離散値は、前記作業データにおける第１方向の前記相対距離に関する第１離散値と、前記作業データにおける前記第１方向に交差する第２方向の前記相対距離に関する第２離散値と、を含むことを特徴とする請求項１に記載の学習モデル生成方法。
【請求項４】
前記手のキーポイントは、前記人の左手首のキーポイントと、前記人の右手首のキーポイントと、を含むことを特徴とする請求項１に記載の学習モデル生成方法。
【請求項５】
前記手のキーポイントは、前記人の左手の指のキーポイントと、前記人の右手の指のキーポイントと、を含むことを特徴とする請求項１に記載の学習モデル生成方法。
【請求項６】
前記手のキーポイントは、前記人の左手の平のキーポイントと、前記人の右手の平のキーポイントと、を含むことを特徴とする請求項１に記載の学習モデル生成方法。
【請求項７】
前記手のキーポイントは、前記人の左手の甲のキーポイントと、前記人の右手の甲のキーポイントと、を含むことを特徴とする請求項１に記載の学習モデル生成方法。
【請求項８】
前記教師データを生成するステップは、取得した前記作業データと、前記人の正中面のキーポイントを起点としたときの前記人の胸のキーポイントの相対距離を前記離散値で表したラベルと、の対応付けをさらに行うことを特徴とする請求項１に記載の学習モデル生成方法。
【請求項９】
前記胸のキーポイントは、前記人の左胸のキーポイントと、前記人の右胸のキーポイントと、を含むことを特徴とする請求項８に記載の学習モデル生成方法。
【請求項１０】
前記教師データを生成するステップは、取得した前記作業データと、前記人の正中面のキーポイントを起点としたときの前記人の腕のキーポイントの相対距離を前記離散値で表したラベルと、の対応付けをさらに行うことを特徴とする請求項１に記載の学習モデル生成方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習モデル生成方法、作業分析装置および作業分析プログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
特許文献１には、画像データを入力とした画像認識により、画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部と、骨格データごとに姿勢ラベルが対応づけられている姿勢モデルの記憶部と、骨格抽出部が取得した骨格データをもとに、姿勢モデルに予め決められた姿勢ラベルから、画像データに写る人物の姿勢を判別する姿勢推定部と、を有する姿勢分析装置が開示されている。
【０００３】
特許文献１に記載された姿勢分析装置では、姿勢学習部が、骨格データごとに入力された正解ラベルである姿勢ラベルを学習データとして姿勢モデルを機械学習する。また、背景定義部が、画像データの一部として定義された背景領域に写る背景画像データごとに、入力された正解ラベルである背景ラベルを学習データとして背景モデルを機械学習する。しかし、そうすると、正解ラベルが膨大になり、入力データとラベルとの対応付け、すなわちアノテーションが複雑あるいは困難になるおそれがある。
【０００４】
特許文献２には、作業者の視野と略同等以上の領域を撮像可能なウエアラブルカメラと、ウエアラブルカメラで撮像された撮像領域内で対象体を検出する対象体検出手段と、撮像領域内の作業者の手の骨格を検出する手骨格検出手段と、対象体検出手段で検出された対象体及び手骨格検出手段で検出された作業者の手の骨格の時系列変化から作業者の手の挙動を検出する動作検出手段と、少なくとも対象体検出手段で検出された対象体及び動作検出手段で検出された作業者の手の挙動が予め学習した対象体及び作業者の手の挙動と略一致するか否かを判定し、それらが略一致する場合に所定の作業が適正に行われたと判定する作業適正判定手段と、を備えた作業適正判定装置が開示されている。
【０００５】
特許文献２に記載された作業適正判定装置は、作業者の手の挙動だけではなく対象物（物体）の学習を行う。しかし、そうすると、対象物（物体）の正解ラベルが膨大となり、入力データとラベルとの対応付け、すなわちアノテーションが複雑あるいは困難になるおそれがある。
【先行技術文献】
【特許文献】
【０００６】
特許第６８２５０４１号公報
特開２０２２－１０６１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前記事情に鑑みてなされたものであり、アノテーションを簡素化し、人が作業を行うときの動作を効率的に推定することができる学習モデルを生成する学習モデル生成方法、作業分析装置、および作業分析プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１態様は、人が行う作業を分析する作業分析装置に用いられる学習モデルを生成する学習モデル生成方法であって、前記人の前を撮像し前記作業に関する作業データを取得するステップと、取得した前記作業データと、前記人の正中面のキーポイントを起点としたときの前記人の手のキーポイントの相対距離を複数の区分としての離散値で表したラベルと、の対応付けを行うことにより教師データを生成するステップと、前記教師データを用いて機械学習を行い、取得した前記作業データを入力とし、前記人の動作推定に関するデータを出力とする学習モデルを生成するステップと、を備えたことを特徴とする学習モデル生成方法である。
【０００９】
本発明の第２態様は、人が行う作業を分析する作業分析装置であって、前記人の前を撮像し前記作業に関する作業データを取得する撮像部と、取得した前記作業データと、前記人の正中面のキーポイントを起点としたときの前記人の手のキーポイントの相対距離を複数の区分としての離散値で表したラベルと、の対応付けを行うことにより教師データを生成する教師データ生成部と、前記教師データを用いて機械学習を行い、取得した前記作業データを入力とし、前記人の動作推定に関するデータを出力とする学習モデルを生成する機械学習部と、を備えたことを特徴とする作業分析装置である。
【００１０】
本発明の第３態様は、人が行う作業を分析する作業分析装置のコンピュータによって実行される作業分析プログラムであって、前記コンピュータに、前記人の前を撮像し前記作業に関する作業データを取得するステップと、取得した前記作業データと、前記人の正中面のキーポイントを起点としたときの前記人の手のキーポイントの相対距離を複数の区分としての離散値で表したラベルと、の対応付けを行うことにより教師データを生成するステップと、前記教師データを用いて機械学習を行い、取得した前記作業データを入力とし、前記人の動作推定に関するデータを出力とする学習モデルを生成するステップと、を実行させることを特徴とする作業分析プログラムである。
【発明の効果】
（【００１１】以降は省略されています）

関連特許