特許ウォッチ

公開番号2024176815
公報種別公開特許公報(A)
公開日2024-12-19
出願番号2023095630
出願日2023-06-09
発明の名称情報処理システム、情報処理方法およびプログラム
出願人株式会社リコー
代理人個人
主分類G06N 20/00 20190101AFI20241212BHJP(計算;計数)
要約【課題】学習モデルを機械学習する手間と時間を削減できるシステム、方法及びプログラムを提供する。
【解決手段】システムは、一以上の作業工程を含む一連の作業を撮影した撮影データを取得するデータ取得手段と、作業工程に含まれる各作業を識別する作業識別情報を登録する登録手段と、各作業の時間区間を表す撮影データの開始位置及び終了位置と作業識別情報とを紐付けた紐付情報を生成する紐付手段と、各作業工程で実施する各作業の作業識別情報を受け付ける受付手段と、各作業工程に対する学習データを生成するデータ生成手段とを有し、データ生成手段は、作業識別情報と紐付情報とに基づき、作業識別情報で識別される各作業の開始位置及び終了位置を取得し、撮影データから、開始位置及び終了位置に対応する部分の撮影データを取得し、取得した撮影データに基づいて作業工程毎の学習モデルの機械学習に使用する学習データを生成する。
【選択図】図5
特許請求の範囲【請求項１】
学習モデルの機械学習を行う情報処理システムであって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得するデータ取得手段と、
前記作業工程に含まれる各作業を識別するための作業識別情報を登録する登録手段と、
前記撮影データを用いて、前記各作業の時間区間を表す撮影データの開始位置及び終了位置と前記作業識別情報とを紐付けた紐付情報を生成する紐付手段と、
前記各作業工程で実施する前記各作業の作業識別情報を受け付ける受付手段と、
前記各作業工程に対する学習データを生成するデータ生成手段と、
を有し、
前記データ生成手段は、
前記受付手段で受け付けた前記作業識別情報と前記紐付手段により生成された前記紐付情報とに基づき、前記受付手段で受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置を取得し、
前記データ取得手段から取得した前記撮影データから、前記受付手段で受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得し、
取得した該撮影データに基づいて前記作業工程毎の学習モデルの機械学習に使用する学習データを生成する、情報処理システム。
続きを表示（約 1,900 文字）【請求項２】
前記各作業の時間区間を表す撮影データの開始位置及び終了位置は、前記撮影データとしての動画を構成する複数のフレームのうちの該各作業の開始フレームおよび終了フレームである、請求項１に記載の情報処理システム。
【請求項３】
前記データ生成手段は、前記各フレーム内の作業者の骨格情報を検出し、前記紐付手段により生成された前記紐付情報を用い、前記各作業に対する１以上の骨格情報に、対応する作業識別情報を付与し、前記作業工程毎の学習データを生成する、請求項２に記載の情報処理システム。
【請求項４】
前記受付手段は、定義済みの作業一覧を表示し、前記各作業工程で実施すべき作業の作業識別情報の選択を受け付ける、請求項１に記載の情報処理システム。
【請求項５】
前記作業工程に対応するモデル識別情報が紐付けられた前記学習モデルを取得するモデル取得手段と、前記データ生成手段により生成された前記作業工程の学習データを使用して、前記モデル取得手段により取得された前記学習モデルの機械学習を行う学習手段を含む、請求項１に記載の情報処理システム。
【請求項６】
複数の前記モデル識別情報のうちのどのモデル識別情報の学習モデルを、どの時期に使用するかを定義したスケジュール情報を取得する情報取得手段を含み、
前記モデル取得手段は、前記情報取得手段により取得された前記スケジュール情報に基づき、対応する前記モデル識別情報が紐付けられた前記学習モデルを取得する、請求項５に記載の情報処理システム。
【請求項７】
情報処理システムにより学習モデルの機械学習を行う方法であって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得する第１の取得ステップと、
前記作業工程に含まれる各作業を識別するための作業識別情報を登録するステップと、
前記撮影データを用いて、前記各作業の時間区間を表す撮影データの開始位置及び終了位置と前記作業識別情報とを紐付けた紐付情報を生成する第１の生成ステップと、
前記各作業工程で実施する前記各作業の作業識別情報を受け付けるステップと、
前記受け付けるステップで受け付けた前記作業識別情報と前記第１の生成ステップで生成された前記紐付情報とに基づき、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置を取得する第２の取得ステップと、
前記第１の取得ステップで取得された前記撮影データから、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得する第３の取得ステップと、
前記第３の取得ステップで取得された前記撮影データに基づいて前記作業工程毎の学習モデルの機械学習に使用する学習データを生成する第２の生成ステップと、
を含む、情報処理方法。
【請求項８】
学習モデルの機械学習をコンピュータに実行させるためのプログラムであって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得する第１の取得ステップと、
前記作業工程に含まれる各作業を識別するための作業識別情報を登録するステップと、
前記撮影データを用いて、前記各作業の時間区間を表す撮影データの開始位置及び終了位置と前記作業識別情報とを紐付けた紐付情報を生成する第１の生成ステップと、
前記各作業工程で実施する前記各作業の作業識別情報を受け付けるステップと、
前記受け付けるステップで受け付けた前記作業識別情報と前記第１の生成ステップで生成された前記紐付情報とに基づき、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置を取得する第２の取得ステップと、
前記第１の取得ステップで取得された前記撮影データから、前記受け付けるステップで受け付けた前記作業識別情報で識別される前記各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得する第３の取得ステップと、
前記第３の取得ステップで取得された前記撮影データに基づいて前記作業工程毎の学習モデルの機械学習に使用する学習データを生成する第２の生成ステップと、
を実行させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習モデルの機械学習を行う情報処理システム、情報処理方法および該学習モデルの機械学習をコンピュータに実行させるためのプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
学習モデルの機械学習には、学習データが使用され、学習データは、対象のデータに、その対象を識別するための情報（ラベル）を付与するアノテーションと呼ばれる作業を行うことにより作成される。
【０００３】
アノテーションにより学習データを作成する技術として、時系列に連続的に配列されたセンサデータに対して、時間区間で分割し、各時間区間にラベルを付与する技術が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
工場等において製品を組み立てる際の作業手順の確認に、学習モデルが用いられている。このような学習モデルの機械学習には、ユーザが、複数の作業工程で構成された一連の作業を撮影し、撮影した撮影データからアノテーションを行う必要がある。
【０００５】
しかしながら、従来の技術では、各作業工程で行う作業が変更された場合に、変更前に一度作成されている撮影データ及びアノテーションされたデータを再度利用することができなかった。そのため、作業の変更後の学習モデルの機械学習には、変更後の一連の作業を撮影し直す必要があった。さらに、ユーザは、各作業工程で行う作業が変更されるたびに、撮影し直した撮影データからアノテーションを行うことを繰り返し行わなければならなかった。これでは、学習モデルの機械学習を行うのに手間と時間がかかるという問題があった。
【０００６】
そこで、学習モデルの機械学習を行う手間と時間を削減することが可能なシステム、方法およびプログラムの提供が望まれている。
【課題を解決するための手段】
【０００７】
本発明は、上記課題に鑑み、学習モデルの機械学習を行う情報処理システムであって、
一以上の作業工程を含む一連の作業を撮影した撮影データを取得するデータ取得手段と、
作業工程に含まれる各作業を識別するための作業識別情報を登録する登録手段と、
撮影データを用いて、各作業の時間区間を表す撮影データの開始位置及び終了位置と作業識別情報とを紐付けた紐付情報を生成する紐付手段と、
各作業工程で実施する各作業の作業識別情報を受け付ける受付手段と、
各作業工程に対する学習データを生成するデータ生成手段と、
を有し、
データ生成手段は、
受付手段で受け付けた作業識別情報と紐付手段により生成された紐付情報とに基づき、受付手段で受け付けた作業識別情報で識別される各作業の時間区間を表す撮影データの開始位置及び終了位置を取得し、
データ取得手段から取得した撮影データから、受付手段で受け付けた作業識別情報で識別される各作業の時間区間を表す撮影データの開始位置及び終了位置に対応する部分の撮影データを取得し、
取得した撮影データに基づいて作業工程毎の学習モデルの機械学習に使用する学習データを生成する、情報処理システムが提供される。
【発明の効果】
【０００８】
本発明によれば、学習モデルの機械学習を行う手間と時間を削減することが可能となる。
【図面の簡単な説明】
【０００９】
アノテーションされたデータの一例を示した図。
各工程と作業の割当の一例を示した図。
各工程内の作業を検知するための学習モデルの機械学習に使用する学習データを作成する方法について説明する図。
本実施形態に係る情報処理システムの一例として情報処理装置のハードウェア構成を示した図。
情報処理装置の機能構成の一例を示したブロック図。
ラベル記憶部に記憶されるラベルの一例を示した図。
作業定義記憶部に記憶される作業定義情報の一例を示した図。
学習データ記憶部に記憶される学習データの一例を示した図。
組立作業を撮影した動画、ラベル、作業定義情報、紐付情報を登録する処理の流れを示したシーケンス図。
学習データを生成し、学習モデルの機械学習を行う処理の流れを示したシーケンス図。
既に学習データが生成されている状態で、工程変更により学習モデルの機械学習を行う処理の流れを示したシーケンス図。
作業定義情報を作成する方法の一例を示した図。
各工程をグループ分けした例を示した図。
計画表（スケジュール）に基づき、利用するグループを割当てた例を示した図。
新規ラベルの登録および登録済みラベルの削除や編集を行う画面の一例を示した図。
工程の追加、削除、および作業の追加、削除を行う画面の一例を示した図。
各作業の時間区間を表す動画の開始位置および終了位置とラベルとを紐付ける紐付情報を登録する画面の一例を示した図。
【発明を実施するための形態】
【００１０】
本発明の情報処理システム、情報処理方法およびプログラムは、一連の作業を撮影したデータから作業者がどのような作業を行ったかを推論する学習モデルの機械学習を行うシステム、方法およびプログラムである。
（【００１１】以降は省略されています）

関連特許