特許ウォッチ

公開番号2025122843
公報種別公開特許公報(A)
公開日2025-08-22
出願番号2024018539
出願日2024-02-09
発明の名称情報処理装置、情報処理方法およびプログラム
出願人オムロン株式会社
代理人弁理士法人深見特許事務所
主分類G06Q 50/04 20120101AFI20250815BHJP(計算;計数)
要約【課題】学習済モデルの認識精度が低い要因の調査にかかる時間を短縮することが可能な情報処理方法を提供する。
【解決手段】情報処理方法は、プロセッサが、ユーザインターフェイスへの入力に従って、作業者を撮影することにより得られる動画内の複数の区間の各々に、作業種別を表す複数の分類ラベルから選択された分類ラベルを付与することと、プロセッサが、複数の区間に付与された分類ラベルについて統計分析を行い、ユーザインターフェイスに分析結果を出力することとを備える。
【選択図】図2
特許請求の範囲【請求項１】
ユーザインターフェイスへの入力に従って、作業者を撮影することにより得られる動画内の複数の区間の各々に、作業種別を表す複数の第１分類ラベルから選択された第１分類ラベルを付与するアノテーション部と、
前記複数の区間に付与された前記第１分類ラベルについて統計分析を行い、前記ユーザインターフェイスに分析結果を出力する分析部とを備える、情報処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記分析結果は、前記複数の第１分類ラベルの各々が付与された区間の時間を積み上げた第１積み上げグラフと、前記複数の第１分類ラベルの各々に対応する作業種別の作業に要する標準時間を積み上げた第２積み上げグラフとを含む、請求項１に記載の情報処理装置。
【請求項３】
前記分析結果は、前記複数の第１分類ラベルの各々について、前記第１分類ラベルが付与された区間の時間長さのばらつきを表すグラフを含む、請求項１に記載の情報処理装置。
【請求項４】
前記分析部は、前記複数の第１分類ラベルを示す第１軸と時刻を示す第２軸とを有するガントチャートを前記ユーザインターフェイスに出力し、
前記ガントチャートは、前記複数の区間の各々を対応する位置で可視化する、請求項１に記載の情報処理装置。
【請求項５】
前記複数の第１分類ラベルと作業種別を表す複数の第２分類ラベルとの対応関係に基づいて、前記複数の区間の各々に付与された前記第１分類ラベルを、前記複数の第２分類ラベルのうちの対応する第２分類ラベルに変換する変換部をさらに備え、前記複数の第２分類ラベルの粒度は、前記複数の第１分類ラベルの粒度と異なり、前記情報処理装置は、さらに、
前記複数の区間の各々のフレームと前記対応する第２分類ラベルとを示す教師データを用いた機械学習を行うことにより、認識対象動画のフレームの入力を受けて、前記複数の第２分類ラベルのうち前記認識対象動画のフレームが分類される第２分類ラベルを出力する学習済モデルを生成する生成部を備える、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記変換部は、
前記複数の区間に付与された前記第１分類ラベルが時系列に沿って可視化される第１タイムライン、または、前記複数の区間に対応する前記第２分類ラベルが時系列に沿って可視化される第２タイムラインを前記ユーザインターフェイスに出力し、
前記ユーザインターフェイスへの切り替え指示の入力に応じて、前記ユーザインターフェイスにおいて、前記第１タイムラインおよび前記第２タイムラインの一方から他方へと表示を切り替える、請求項５に記載の情報処理装置。
【請求項７】
前記アノテーション部は、標準的な作業手順を示す作業手順情報にアクセス可能であり、
前記作業手順情報は、第１種別の作業の後に、第２種別の作業が標準時間だけ実施されることを示し、
前記アノテーション部は、前記作業手順情報に基づいて、対象区間に前記複数の第１分類ラベルのうち前記第１種別を表す第１分類ラベルを付与したことに応じて、前記対象区間の後の前記標準時間を有する区間に前記複数の第１分類ラベルのうち前記第２種別を表す第１分類ラベルを付与する、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項８】
前記分析部は、前記複数の区間のうち所定の異常条件を満たす注目区間を抽出し、前記ユーザインターフェイスにおいて前記注目区間を通知する、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項９】
プロセッサが、ユーザインターフェイスへの入力に従って、作業者を撮影することにより得られる動画内の複数の区間の各々に、作業種別を表す複数の分類ラベルから選択された分類ラベルを付与することと、
前記プロセッサが、前記複数の区間に付与された前記分類ラベルについて統計分析を行い、前記ユーザインターフェイスに分析結果を出力することとを備える、情報処理方法。
【請求項１０】
情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
ユーザインターフェイスへの入力に従って、作業者を撮影することにより得られる動画内の複数の区間の各々に、作業種別を表す複数の分類ラベルから選択された分類ラベルを付与することと、
前記複数の区間に付与された前記分類ラベルについて統計分析を行い、前記ユーザインターフェイスに分析結果を出力することとを備える、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来、学習済モデルを用いて、作業者を撮影することにより得られる動画から作業種別を認識する技術が開発されている。学習済モデルは、動画のフレームと作業種別を表す分類ラベルとを含む教師データを用いて生成される。教師データを作成するためのアノテーション装置として、国際公開第２０２２／２３４６９２号（特許文献１）は、動画データの対象区間に工場の作業に関する情報タグを付与する情報処理装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２２／２３４６９２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１５は、従来の作業認識処理の流れの概要を示すフローチャートである。作業認識処理は、一般に、学習用動画を選択するステップＳ１０１と、作業種別を表す複数の分類ラベルを作成するステップＳ１０２と、学習用動画の各区間に分類ラベルを付与するステップＳ１０３とを含む。ステップＳ１０１～Ｓ１０３により教師データが生成される。作業認識処理は、教師データを用いた機械学習によって学習済モデルを生成するステップＳ１０４を含む。さらに、作業認識処理は、生成された学習済モデルに認識対象動画を入力することにより、認識対象動画の各区間の作業種別を認識するステップＳ１０５と、認識結果を可視化するステップＳ１０６とを含む。
【０００５】
ユーザは、認識結果から学習済モデルの認識精度を評価する。認識精度は、複数の分類ラベルの粒度、付与された分類ラベルの正誤、機械学習時の各種のパラメータ等に依存する。そのため、ユーザは、学習済モデルの認識精度が低い場合、その要因の調査のために、ステップＳ１０２，Ｓ１０３，Ｓ１０４の各々の処理内容の適否を確認する必要が生じる。その結果、認識精度が低い要因の調査に時間がかかる。
【０００６】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、学習済モデルの認識精度が低い要因の調査にかかる時間を短縮することが可能な情報処理装置、情報処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本開示の一例によれば、情報処理装置は、アノテーション部と、分析部とを備える。アノテーション部は、ユーザインターフェイスへの入力に従って、作業者を撮影することにより得られる動画内の複数の区間の各々に、作業種別を表す複数の第１分類ラベルから選択された第１分類ラベルを付与する。分析部は、複数の区間に付与された第１分類ラベルについて統計分析を行い、ユーザインターフェイスに分析結果を出力する。
【０００８】
この開示によれば、ユーザは、分析結果に応じて、複数の第１分類ラベルまたは第１分類ラベルの付与の適否を確認し、不適な処理を適宜見直すことができる。そのため、各区間に付与された第１分類ラベルを用いて生成された学習済モデルの認識精度が低い場合に、ユーザは、その要因の調査のために、アノテーション部による処理内容を詳細に確認しなくてもよい。あるいは、ユーザは、分析結果を再確認すればよい。これにより、ユーザは、学習済モデルの認識精度が低い要因の調査にかかる時間を短縮できる。
【０００９】
上述の開示において、分析結果は、複数の第１分類ラベルの各々が付与された区間の時間を積み上げた第１積み上げグラフと、複数の第１分類ラベルの各々に対応する作業種別の作業に要する標準時間を積み上げた第２積み上げグラフとを含む。
【００１０】
この開示によれば、ユーザは、第１積み上げグラフと第２積み上げグラフとの間で積み上げられた時間が大きく異なる分類ラベルを特定できる。その結果、ユーザは、特定した分類ラベルの付与に誤りがあることに気付くことができる。
（【００１１】以降は省略されています）

関連特許