特許ウォッチ

公開番号2025040208
公報種別公開特許公報(A)
公開日2025-03-24
出願番号2023146977
出願日2023-09-11
発明の名称情報処理装置、情報処理システム、情報処理方法及びプログラム
出願人株式会社リコー
代理人個人,個人
主分類G06N 20/00 20190101AFI20250314BHJP(計算;計数)
要約【課題】モデルの性能を適切に評価するための情報を出力する。
【解決手段】情報処理装置が、異なるデータセットを用いて学習された複数の学習済みモデルを取得するモデル取得部と、利用者により定義された評価指標に基づいて学習済みモデルそれぞれを評価するモデル評価部と、学習済みモデルそれぞれに関する評価指標を表示するための画面データを出力する画面出力部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
異なるデータセットを用いて学習された複数の学習済みモデルを取得するモデル取得部と、
利用者により定義された評価指標に基づいて前記学習済みモデルそれぞれを評価するモデル評価部と、
前記学習済みモデルそれぞれに関する前記評価指標を表示するための画面データを出力する画面出力部と、
を備える情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の情報処理装置であって、
前記評価指標は、前記学習済みモデルの用途に関連する指標である、
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記用途は、前記利用者のタスク又は業務に関連する用途である、
情報処理装置。
【請求項４】
請求項１から３のいずれかに記載の情報処理装置であって、
前記画面データは、前記学習済みモデルそれぞれの予測精度を示す汎用評価指標と前記評価指標とを比較可能に表示する、
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記画面出力部は、同一のデータに対する前記学習済みモデルそれぞれの予測結果を表示するための第２の画面データを出力する、
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記第２の画面データは、前記学習済みモデルの間で前記予測結果が互いに異なる前記データに関する前記予測結果のみを表示する、
情報処理装置。
【請求項７】
請求項５又は６に記載の情報処理装置であって、
前記第２の画面データは、前記利用者により選択された前記学習済みモデルの前記予測結果を表示する、
情報処理装置。
【請求項８】
第１の情報処理装置及び複数の第２の情報処理装置がネットワークを介して通信可能な情報処理システムであって、
前記第１の情報処理装置は、
前記第２の情報処理装置それぞれから受信した複数の学習済みモデルを取得するモデル取得部と、
利用者により定義された評価指標に基づいて前記学習済みモデルそれぞれを評価するモデル評価部と、
前記学習済みモデルそれぞれに関する前記評価指標を表示するための画面データを出力する画面出力部と、
を備え、
前記第２の情報処理装置は、
所定のデータセットを用いて前記学習済みモデルを生成するモデル学習部と、
前記学習済みモデルを前記第１の情報処理装置に送信するモデル送信部と、
前記画面データに基づいて、前記学習済みモデルそれぞれに関する前記評価指標を表示する表示制御部と、
を備える情報処理システム。
【請求項９】
コンピュータが、
異なるデータセットを用いて学習された複数の学習済みモデルを取得する手順と、
利用者により定義された評価指標に基づいて前記学習済みモデルそれぞれを評価する手順と、
前記学習済みモデルそれぞれに関する前記評価指標を表示するための画面データを出力する手順と、
を実行する情報処理方法。
【請求項１０】
コンピュータに、
異なるデータセットを用いて学習された複数の学習済みモデルを取得する手順と、
利用者により定義された評価指標に基づいて前記学習済みモデルそれぞれを評価する手順と、
前記学習済みモデルそれぞれに関する前記評価指標を表示するための画面データを出力する手順と、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
連合学習（Federated learning）と呼ばれる機械学習の手法が知られている。連合学習では、各事業者が保有するデータを集約せずに、分散した状態のまま機械学習を行う。連合学習によれば、プライバシーやセキュリティを担保しながら、あたかもデータ連携をしたかのように、複数事業者のデータを活用したモデルの構築が可能となる。
【０００３】
例えば、特許文献１には、分散学習に基づく学習モデルのデータ提供方法が開示されている。特許文献１に開示されたデータ提供方法では、モデルの精度に基づく評価値を表示するユーザインタフェースが用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、モデルの性能を適切に評価することが困難である。例えば、従来技術では、モデルの汎用的な性能評価指標のみを表示し、データの評価結果やその他の関連情報を表示しないため、モデルの性能に関する判断が適切であるか否かを判別することができない。
【０００５】
本発明の一実施形態は、上記のような技術的課題に鑑みて、モデルの性能を適切に評価するための情報を出力することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態である情報処理装置は、異なるデータセットで学習された複数の学習済みモデルを取得するモデル取得部と、利用者により定義された評価指標に基づいて学習済みモデルそれぞれを評価するモデル評価部と、学習済みモデルそれぞれに関する評価指標を表示するための画面データを出力する画面出力部と、を備える。
【発明の効果】
【０００７】
本発明の一実施形態によれば、モデルの性能を適切に評価するための情報を出力することができる。
【図面の簡単な説明】
【０００８】
実施形態における連合学習システムの全体構成の一例を示すブロック図である。
コンピュータのハードウェア構成の一例を示すブロック図である。
実施形態における連合学習システムの機能構成の一例を示すブロック図である。
実施形態におけるモデル適用方法の一例を示すシーケンス図である。
実施形態における選択画面の一例を示す画面イメージである。
実施形態における比較画面の一例を示す画面イメージである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明の実施の形態について、詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１０】
［実施形態］
本発明の一実施形態は、連合学習により機械学習モデルを構築する連合学習システムである。本実施形態では、連合学習システムは、連合学習で生成された複数の機械学習モデルそれぞれの性能評価指標を表示する機能を有する。連合学習システムの利用者は、表示された各機械学習モデルの性能評価指標に基づいて、デプロイする機械学習モデルを選択することができる。
（【００１１】以降は省略されています）

関連特許