特許ウォッチ

公開番号2025023548
公報種別公開特許公報(A)
公開日2025-02-17
出願番号2023127771
出願日2023-08-04
発明の名称学習済みモデルのデプロイシステム、ユーザ端末、およびサービス提供装置
出願人中部電力株式会社
代理人個人,個人
主分類G06N 20/00 20190101AFI20250207BHJP(計算;計数)
要約【課題】再学習の前後のモデルの精度を公平に評価できるようにした学習済みモデルのデプロイシステムを提供する。
【解決手段】図9(a)は、最初の学習時における教師データ50の構成を示す。図9(b)は、学習後のモデルの再学習に際して用いる教師データ50を示す。図9(b)において、ハッチングまたはドットが付与されたデータは、図9(a)におけるデータと同一であることを示す。図9(b)において、ハッチングとドットとのいずれも付与されていないデータは、学習後に新たに取得した教師データであることを示す。図9(a)に示すテストデータ56と、学習後に新たに取得した教師データ50のうちのテストデータ56とを用いて、再学習の前後のモデルの精度が比較される。
【選択図】図9
特許請求の範囲【請求項１】
記憶装置、および実行装置を備え、
前記記憶装置には、写像データおよび教師データが記憶されており、
前記写像データは、学習済みモデルによって定まる写像を規定するデータであり、
前記実行装置は、教師データ取得処理、テストデータ選別処理、再学習処理、選択処理、およびデプロイ処理を実行するように構成され、
前記教師データ取得処理は、教師データを取得する処理であり、
前記教師データは、前記写像の入力変数の値と出力とを規定するデータであり、
前記テストデータ選別処理は、前記教師データのうちの一部を選別してテストデータとする処理であり、
前記再学習処理は、前記テストデータを参照することなく、前記教師データのうちの前記テストデータ以外のデータを入力として前記写像の再学習を行う処理を含み、
前記選択処理は、前記テストデータを用いて前記再学習された写像の精度と前記再学習前の写像の精度とを比較することによって、前記再学習の前後の写像のいずれを採用するかを選択する処理であり、
前記デプロイ処理は、前記選択処理によって再学習の後の写像が選択された場合、前記再学習の後の写像をデプロイする処理を含む学習済みモデルのデプロイシステム。
続きを表示（約 2,800 文字）【請求項２】
前記再学習処理は、前記教師データのうちの前記テストデータ以外のデータを、検証データと訓練データとに分割し、訓練データを用いて前記写像の学習を行って且つ、前記検証データを用いて前記訓練データを用いた前記写像の学習を評価する処理を含む請求項１記載の学習済みモデルのデプロイシステム。
【請求項３】
前記実行装置は、教師データ記憶処理を実行するように構成され、
前記教師データ記憶処理は、前記教師データ取得処理によって取得された前記教師データを記憶する処理であり、
前記再学習処理は、すでに前記再学習がなされている状態で新たに再学習をする場合、少なくとも過去の再学習の後に新たに前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータ以外のデータを入力として、新たな再学習をする処理を含み、
前記選択処理は、過去の再学習の前に前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータと、過去の再学習の後に新たに前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータとを入力として、再学習の前後の写像のいずれを採用するかを選択する処理である請求項１記載の学習済みモデルのデプロイシステム。
【請求項４】
前記再学習処理は、すでに前記再学習がなされている状態で新たに再学習をする場合、過去の再学習の後に新たに前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータ以外のデータと、過去の再学習の前に前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータ以外のデータと、を入力として、新たな再学習をする処理を含む請求項３記載の学習済みモデルのデプロイシステム。
【請求項５】
前記実行装置は、前処理を実行するように構成され、
前記前処理は、前記教師データのうちの前記写像の入力となるデータを、前記写像の入力に整合させる処理である請求項１記載の学習済みモデルのデプロイシステム。
【請求項６】
前記記憶装置は、モデル規定データを記憶しており、
前記モデル規定データは、互いに出力が異なる複数のモデルを規定するデータであり、
前記実行装置は、指示受付処理、モデル選択処理、および学習処理を実行するように構成され、
前記指示受付処理は、前記写像の入力と前記写像の出力との指示を受け付ける処理であり、
前記出力の指示には、前記写像の出力の次元数の指示と、前記写像の出力変数が連続変数であるかラベル変数であるかの指示と、の２つのうちの少なくとも１つが含まれ、
前記モデル選択処理は、前記モデル規定データが規定する複数のモデルの中から前記指示受付処理が受け付けた指示に適合する前記モデルを選択する処理であり、
前記学習処理は、前記写像データを生成すべく、前記モデル選択処理によって選択された前記モデルのパラメータを前記教師データのうちの前記テストデータに選別されなかったデータを用いて更新する処理を含む請求項１記載の学習済みモデルのデプロイシステム。
【請求項７】
前記記憶装置は、モデル規定データを記憶しており、
前記モデル規定データは、互いに出力が異なる複数のモデルを規定するデータであり、
前記実行装置は、変更受付処理、モデル変更処理、および変更学習処理を実行するように構成され、
前記変更受付処理は、前記写像を規定するモデルの変更指示を受け付ける処理であり、
前記変更指示には、前記モデルの出力を変更する指示が含まれ、
前記モデル変更処理は、前記写像を規定する前記モデルを、前記モデル規定データが規定する複数のモデルのうちの前記変更受付処理が受け付けた指示に適合する前記モデルに変更する処理であり、
前記変更学習処理は、前記変更指示に沿ったモデルのパラメータを前記教師データのうちの前記テストデータに選別されなかったデータを用いて更新する処理を含む請求項１記載の学習済みモデルのデプロイシステム。
【請求項８】
前記実行装置は、判定処理を実行するように構成され、
前記判定処理は、前記変更指示の前に前記教師データ取得処理によって取得された前記教師データを前記変更学習処理が用いることができるか否かを判定する処理であり、
前記変更学習処理は、前記判定処理によって前記用いることができると判定される場合、前記変更指示の前に前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータに選別されなかったデータと前記変更指示の後に前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータに選別されなかったデータとの双方を用いて前記モデルのパラメータを更新する処理を含む請求項７記載の学習済みモデルのデプロイシステム。
【請求項９】
前記実行装置は、第１実行装置および第２実行装置を備え、
前記第１実行装置は、前記教師データ取得処理、および教師データ送信処理を実行するように構成され、
前記第２実行装置は、教師データ受信処理、前記再学習処理、および前記選択処理を実行するように構成され、
前記教師データ送信処理は、前記教師データ取得処理が取得した前記教師データを送信する処理であり、
前記教師データ受信処理は、前記教師データ送信処理によって送信された前記教師データを受信する処理である請求項１記載の学習済みモデルのデプロイシステム。
【請求項１０】
前記第１実行装置は、入力受付処理、入力送信処理、結果受信処理、および結果通知処理を実行するように構成され、
前記第２実行装置は、入力受信処理、算出処理、および結果送信処理を実行するように構成され、
前記入力受付処理は、前記写像の入力変数の値を受け付ける処理であり、
前記入力送信処理は、前記入力受付処理によって受け付けた前記入力変数の値を送信する処理であり、
前記入力受信処理は、前記入力送信処理によって送信された前記入力変数の値を受信する処理であり、
前記算出処理は、前記入力受信処理によって受信された前記入力変数の値を前記写像に入力することによって前記写像の出力を算出する処理であり、
前記結果送信処理は、前記写像の出力を送信する処理であり、
前記結果受信処理は、前記結果送信処理によって送信された前記出力を受信する処理であり、
前記結果通知処理は、前記結果受信処理によって受信された前記出力を通知する処理である請求項９記載の学習済みモデルのデプロイシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習済みモデルのデプロイシステム、ユーザ端末、およびサービス提供装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
たとえば下記特許文献１には、機械学習によって生成された学習済みモデルをデプロイするシステムが記載されている。同システムにおいては、外部のデータソースから得られた学習データにアノテーション結果を付与して教師データセットを用意する。そして、教師データセットを用いて機械学習を行うことによって学習済みモデルを生成する。そして、学習済みモデルをデプロイする。
【０００３】
ここで、学習対象とされるモデルは複数用意されている。そして、教師データセットのうちの検証のための教師データセットを用いて、それら複数のモデルの精度を評価する。そして、精度の最も高いモデルをデプロイの対象としている。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０１９／００３４８５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、学習済みモデルのデプロイ後に、新たな教師データが蓄積される場合、新たな教師データを学習済みモデルに反映させることによって、学習済みモデルの精度の向上が期待される。ただし、新たな教師データを用いて学習済みモデルを再学習したとしても、再学習前よりも精度のよい学習済みモデルができるとは限らない。そのため、単に、再学習後の学習済みモデルをデプロイの対象とすると、ダウングレードした学習済みモデルがデプロイされるおそれがある。したがって、再学習前の学習済みモデルと再学習後の学習済みモデルとを公正に比較していずれのモデルをデプロイの対象とするかを選定することが望まれる。
【課題を解決するための手段】
【０００６】
以下、上記課題を解決するための手段およびその作用効果について記載する。
［１］記憶装置、および実行装置を備え、前記記憶装置には、写像データおよび教師データが記憶されており、前記写像データは、学習済みモデルによって定まる写像を規定するデータであり、前記実行装置は、教師データ取得処理、テストデータ選別処理、再学習処理、選択処理、およびデプロイ処理を実行するように構成され、前記教師データ取得処理は、教師データを取得する処理であり、前記教師データは、前記写像の入力変数の値と出力とを規定するデータであり、前記テストデータ選別処理は、前記教師データのうちの一部を選別してテストデータとする処理であり、前記再学習処理は、前記テストデータを参照することなく、前記教師データのうちの前記テストデータ以外のデータを入力として前記写像の再学習を行う処理を含み、前記選択処理は、前記テストデータを用いて前記再学習された写像の精度と前記再学習前の写像の精度とを比較することによって、前記再学習の前後の写像のいずれを採用するかを選択する処理であり、前記デプロイ処理は、前記選択処理によって再学習の後の写像が選択された場合、前記再学習の後の写像をデプロイする処理を含む学習済みモデルのデプロイシステム。
【０００７】
上記構成では、比較対象となる一対の写像のいずれの再学習にも利用されないテストデータを用いて、新たな再学習の前後の写像の精度を評価する。そのため、一対の写像の精度を公平に評価できる。そのため、精度のよい学習済みモデルをデプロイできる。特に、上記各処理を実行装置が実行することから、再学習による新たな学習済みモデルのデプロイを自動化できる。
【０００８】
［２］前記再学習処理は、前記教師データのうちの前記テストデータ以外のデータを、検証データと訓練データとに分割し、訓練データを用いて前記写像の学習を行って且つ、前記検証データを用いて前記訓練データを用いた前記写像の学習を評価する処理を含む上記１記載の学習済みモデルのデプロイシステム。
【０００９】
上記構成では、比較対象となる一対の写像のいずれの再学習においても、訓練データおよび検証データとなっていないデータをテストデータとすることができる。
［３］前記実行装置は、教師データ記憶処理を実行するように構成され、前記教師データ記憶処理は、前記教師データ取得処理によって取得された前記教師データを記憶する処理であり、前記再学習処理は、すでに前記再学習がなされている状態で新たに再学習をする場合、少なくとも過去の再学習の後に新たに前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータ以外のデータを入力として、新たな再学習をする処理を含み、前記選択処理は、過去の再学習の前に前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータと、過去の再学習の後に新たに前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータとを入力として、再学習の前後の写像のいずれを採用するかを選択する処理である上記１または２記載の学習済みモデルのデプロイシステム。
【００１０】
上記構成では、モデルの学習に用いるデータ量が大きいほど、モデル同士の精度の比較に用いるテストデータのデータ量を大きくすることができる。
［４］前記再学習処理は、すでに前記再学習がなされている状態で新たに再学習をする場合、過去の再学習の後に新たに前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータ以外のデータと、過去の再学習の前に前記教師データ取得処理によって取得された前記教師データのうちの前記テストデータ以外のデータと、を入力として、新たな再学習をする処理を含む上記３記載の学習済みモデルのデプロイシステム。
（【００１１】以降は省略されています）

関連特許