特許ウォッチ

公開番号2025009532
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2023112599
出願日2023-07-07
発明の名称モニタリング装置、モニタリング方法、及びプログラム
出願人オムロン株式会社
代理人弁理士法人秀和特許事務所
主分類G06N 20/00 20190101AFI20250110BHJP(計算;計数)
要約【課題】訓練済みモデルの性能の劣化を適切なタイミングで検知するための技術を提供する。
【解決手段】本発明の一側面に係るモニタリング装置は、機械学習により生成された訓練済みモデルを運用する環境に関する環境データを取得するように構成された取得部と、取得された環境データから、環境のシフトによる訓練済みモデルの性能の劣化を推測するように構成された劣化推測部と、訓練済みモデルの性能の劣化を推測した結果に関する情報を出力するように構成された情報出力部と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
機械学習により生成された訓練済みモデルを運用する環境に関する環境データを取得するように構成された取得部と、
取得された前記環境データから、前記環境のシフトによる前記訓練済みモデルの性能の劣化を推測するように構成された劣化推測部と、
前記訓練済みモデルの性能の劣化を推測した結果に関する情報を出力するように構成された情報出力部と、
を備える、
モニタリング装置。
続きを表示（約 1,100 文字）【請求項２】
前記環境データは、運用時に前記環境から得られる入力データであって、前記訓練済みモデルによる推論を実行するために前記訓練済みモデルに与える入力データを含み、
前記訓練済みモデルの性能の劣化を推測することは、前記入力データに対する前記訓練済みモデルの推論の信頼度の低下を推測することを含む、
請求項１に記載のモニタリング装置。
【請求項３】
前記推論は、クラスの識別を含み、
前記推論の信頼度は、前記入力データに対する前記訓練済みモデルによる前記クラスの識別の結果におけるエントロピーに応じて算定される、
請求項２に記載のモニタリング装置。
【請求項４】
前記訓練済みモデルは、前記推論の結果と共に、前記推論の信頼度のスコアを出力するように構成され、
前記推論の信頼度は、前記入力データに対して前記訓練済みモデルから出力される前記スコアに応じて算定される、
請求項２に記載のモニタリング装置。
【請求項５】
前記推論の信頼度は、前記入力データが、前記訓練済みモデルの機械学習に使用された訓練データの分布の範囲内か否かの程度に応じて算定される、
請求項２に記載のモニタリング装置。
【請求項６】
前記環境データは、前記訓練済みモデルによる推論を実行するために、運用時に前記訓練済みモデルに与える入力データを前記環境から得る条件を示す条件データを含み、
前記訓練済みモデルの性能の劣化を推測することは、前記訓練済みモデルの機械学習に使用された訓練データを得た条件に対する前記条件データにより示される前記条件の乖離の程度に応じて、前記訓練済みモデルによる推論の精度の低下を推測することを含む、
請求項１に記載のモニタリング装置。
【請求項７】
前記入力データは、センサにより取得される観測データを含み、
前記条件データは、運用時における前記センサの観測の条件を示す観測条件データを含む、
請求項６に記載のモニタリング装置。
【請求項８】
前記センサは、撮像装置を含み、
前記観測の条件は、前記撮像装置の撮像条件を含む、
請求項７に記載のモニタリング装置。
【請求項９】
前記センサは、マイクロフォンを含み、
前記観測の条件は、前記マイクロフォンの録音条件を含む、
請求項７に記載のモニタリング装置。
【請求項１０】
前記センサは、ロボット装置に搭載され、
前記観測の条件は、前記ロボット装置の駆動に関する条件を含む、
請求項７に記載のモニタリング装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、モニタリング装置、モニタリング方法、及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、例えば、欠陥検出、物体検出、信号処理、動作制御、自然言語処理等の様々な推論タスクを遂行する場面で、機械学習により生成された訓練済みモデルが利用されつつある。これに応じて、機械学習オペレーションと呼ばれる継続的な学習によるフレームワークにより、機械学習モデルを利用したサービスの保守のモデル化が進んでいる。一例として、特許文献１には、能動学習のための技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－０４７７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本件発明者らは、従来のフレームワークには、次のような問題点があることを見出した。すなわち、従来のフレームワークでは、基本的には、訓練済みモデルの性能の低下に対する保守の手法として、プッシュ型又はプル型の手法が採用されている。プッシュ型は、運用の場面において訓練済みモデルの性能の劣化が起きたタイミングで、アノテーション及び追加学習を促すことで、訓練済みモデルの保守を行う手法である。プル型は、運用の場面における性能の劣化を問わず、アノテーション及び追加学習を定期的に促すことで、訓練済みモデルの保守を行う手法である。
【０００５】
プッシュ型を採用した場合、運用の結果を収集し、収集された運用の結果から訓練済みモデルの性能を事後的に評価するため、性能の劣化した訓練済みモデルが一時的に使用されてしまう恐れがある。性能の低い訓練済みモデルが運用され続けることで、誤検出による不良品の流出等の損失が生じてしまう恐れがある。プル型を採用した場合、運用に支障が起きるような性能の劣化が実際には生じていないにもかかわらず、アノテーション及び追加学習を行うことがあり得るため、保守コストが高くなってしまう。すなわち、従来のフレームワークでは、訓練済みモデルの性能の劣化を適切なタイミングで検知することが困難であるという問題点があった。
【０００６】
本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、訓練済みモデルの性能の劣化を適切なタイミングで検知するための技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、上述した課題を解決するために、以下の構成を採用する。なお、以下の発明の構成は適宜組み合わせ可能である。
【０００８】
すなわち、本発明の一側面に係るモニタリング装置は、機械学習により生成された訓練済みモデルを運用する環境に関する環境データを取得するように構成された取得部と、取得された前記環境データから、前記環境のシフトによる前記訓練済みモデルの性能の劣化を推測するように構成された劣化推測部と、前記訓練済みモデルの性能の劣化を推測した結果に関する情報を出力するように構成された情報出力部と、を備える。
【０００９】
訓練済みモデルの性能の劣化する要因の一つとして、訓練済みモデルを運用する環境が時間経過によりシフトすること（ドメインシフト）が挙げられる。当該構成では、この環境のシフトに着目して、訓練済みモデルの性能の劣化を推測する。これにより、訓練済みモデルの性能の劣化を適切なタイミングで検知することができる。なお、推測することは、予測することを含んでよい。訓練済みモデルの性能の劣化を早いタイミングで検知することで、性能の低下した訓練済みモデルが運用される事態を低減することができる。
【００１０】
上記一側面に係るモニタリング装置において、前記環境データは、運用時に前記環境から得られる入力データであって、前記訓練済みモデルによる推論を実行するために前記訓練済みモデルに与える入力データを含んでよい。前記訓練済みモデルの性能の劣化を推測することは、前記入力データに対する前記訓練済みモデルの推論の信頼度の低下を推測することを含んでよい。訓練済みモデルに与えられる入力データには、訓練済みモデルを運用する環境が反映される。そのため、当該構成によれば、環境のシフトに起因する訓練済みモデルの性能の劣化を適切に判定することができる。
（【００１１】以降は省略されています）

関連特許