特許ウォッチ

公開番号2025083210
公報種別公開特許公報(A)
公開日2025-05-30
出願番号2023196973
出願日2023-11-20
発明の名称プログラム、方法、情報処理装置、システム
出願人株式会社Adansons
代理人IPTech弁理士法人
主分類G06N 20/00 20190101AFI20250523BHJP(計算;計数)
要約【課題】学習モデルの推論品質を、部分ごとに評価できていないという課題がある。
【解決手段】プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プロセッサが、学習モデルを記憶するモデル記憶ステップと、それぞれがメタデータと関連付けられた複数のデータからなるデータセットを取得するデータ取得ステップと、データ取得ステップにおいて取得したデータセットについて、1または複数のデータを含む複数のグループごとに、当該グループに含まれる1または複数のデータに対する学習モデルの推論品質を評価するモデル評価ステップと、を実行するプログラム。
【選択図】図10
特許請求の範囲【請求項１】
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、
前記プロセッサが、
学習モデルを記憶するモデル記憶ステップと、
それぞれがメタデータと関連付けられた複数のデータからなるデータセットを取得するデータ取得ステップと、
前記データ取得ステップにおいて取得した前記データセットについて、１または複数の前記データを含む複数のグループごとに、当該グループに含まれる前記１または複数のデータに対する前記学習モデルの推論品質を評価するモデル評価ステップと、
を実行するプログラム。
続きを表示（約 2,300 文字）【請求項２】
前記モデル評価ステップは、前記学習モデルの推論精度を算定するステップである、
請求項１記載のプログラム。
【請求項３】
前記プロセッサが、
前記データ取得ステップにおいて取得した前記データセットに含まれる前記複数のデータのそれぞれを、前記モデル記憶ステップにおいて記憶した前記学習モデルの入力データとして適用することにより、前記複数のデータのそれぞれに対する推論結果を取得するデータ推論ステップと、
前記データ推論ステップにおいて取得した前記推論結果に応じたクラスタリングを実行し、当該クラスタリングにより構成されたクラスタをグループとして特定するクラスタリングステップと、
を実行し、
前記モデル評価ステップは、前記クラスタリングステップにおいて特定された前記グループに含まれる前記１または複数のデータに対する前記学習モデルの推論品質を評価するステップである、
請求項１記載のプログラム。
【請求項４】
前記データ推論ステップは、前記複数のデータの少なくとも一部について推論結果の誤りに関する誤り情報を取得するステップであり、
前記クラスタリングステップは、前記データ取得ステップにおいて取得した前記データセットに対して前記データ推論ステップにおいて取得した前記誤り情報の類似度に基づくクラスタリングを実行し、当該クラスタリングにより構成されたクラスタをグループとして特定するステップである、
請求項３記載のプログラム。
【請求項５】
前記データ推論ステップは、前記複数のデータの少なくとも一部について推論結果の誤りの種類に関する誤り種類情報を取得するステップであり、
前記クラスタリングステップは、前記データ取得ステップにおいて取得した前記データセットに対して前記データ推論ステップにおいて取得した前記誤り種類情報の類似度に基づくクラスタリングを実行し、当該クラスタリングにより構成されたクラスタをグループとして特定するステップである、
請求項４記載のプログラム。
【請求項６】
前記プロセッサが、
前記クラスタリングステップにおいて特定した前記グループに含まれる１または複数のデータに関連付けられたメタデータに基づき、前記複数のグループの少なくとも一部について当該グループを特徴づけるグループメタデータを特定するグループメタデータ特定ステップと、
前記グループメタデータ特定ステップにおいて特定した前記グループメタデータを、前記複数のグループの少なくとも一部と関連付けて記憶するグループメタデータ記憶ステップと、
を実行する、
請求項３記載のプログラム。
【請求項７】
前記プロセッサが、
前記データ取得ステップにおいて取得した前記データセットに対して前記メタデータの類似度に基づくクラスタリングを実行し、当該クラスタリングにより構成されたクラスタをグループとして特定するクラスタリングステップと、
を実行し、
前記モデル評価ステップは、前記クラスタリングステップにおいて特定された前記グループに含まれる前記１または複数のデータに対する前記学習モデルの推論品質を評価するステップである、
請求項１記載のプログラム。
【請求項８】
前記プロセッサが、
前記クラスタリングステップにおいて特定された前記グループに含まれる前記１または複数のデータをそれぞれを、前記モデル記憶ステップにおいて記憶した前記学習モデルの入力データとして適用することにより、前記１または複数のデータのそれぞれに対する推論結果を取得するグループ品質評価ステップと、
前記グループ品質評価ステップにおいて取得した前記推論結果に基づき、前記複数のグループの少なくとも一部について当該グループを特徴づけるグループ推論品質を特定するグループ品質特定ステップと、
前記グループ品質特定ステップにおいて特定した前記グループ推論品質を、前記複数のグループの少なくとも一部と関連付けて記憶するグループ品質記憶ステップと、
を実行する、
請求項７記載のプログラム。
【請求項９】
前記グループ品質評価ステップは、前記１または複数のデータのそれぞれに対する推論結果の誤りに関する誤り情報を取得するステップであり、
前記グループ品質特定ステップは、前記複数のグループの少なくとも一部について当該グループを特徴づけるグループ誤り情報を特定するステップであり、
前記グループ品質記憶ステップは、前記グループ品質特定ステップにおいて特定した前記グループ誤り情報を、前記複数のグループの少なくとも一部と関連付けて記憶するステップである、
請求項８記載のプログラム。
【請求項１０】
前記グループ品質評価ステップは、前記１または複数のデータのそれぞれに対する推論結果の誤りの種類に関するグループ誤り種類情報を取得するステップであり、
前記グループ品質特定ステップは、前記複数のグループの少なくとも一部について当該グループを特徴づける前記グループ誤り種類情報を特定するステップであり、
前記グループ品質記憶ステップは、前記グループ品質特定ステップにおいて特定した前記グループ誤り種類情報を、前記複数のグループの少なくとも一部と関連付けて記憶するステップである、
請求項９記載のプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、プログラム、方法、情報処理装置、システムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
人工知能モデル等の信頼性を検証する技術が知られている。
特許文献１には、対象物の数が多くても認識精度の低下を低減する技術が開示されている。
特許文献２には、参照画像中に、同一類似の局所特徴量の特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識する画像解析装置等を提供する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開2022-188727号公報
特開2012-190089号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
学習モデルの推論品質を、部分ごとに評価できていないという課題がある。
そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、学習モデルの推論品質を、部分ごとに評価する技術を提供することである。
【課題を解決するための手段】
【０００５】
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プロセッサが、学習モデルを記憶するモデル記憶ステップと、それぞれがメタデータと関連付けられた複数のデータからなるデータセットを取得するデータ取得ステップと、データ取得ステップにおいて取得したデータセットについて、１または複数のデータを含む複数のグループごとに、当該グループに含まれる１または複数のデータに対する学習モデルの推論品質を評価するモデル評価ステップと、を実行するプログラム。
【発明の効果】
【０００６】
本開示によれば、学習モデルの推論品質を、部分ごとに評価することができる。
【図面の簡単な説明】
【０００７】
システム１の機能構成を示すブロック図である。
サーバ１０の機能構成を示すブロック図である。
ユーザ端末２０の機能構成を示すブロック図である。
ユーザテーブル１０１２のデータ構造を示す図である。
データテーブル１０１３のデータ構造を示す図である。
評価テーブル１０１４のデータ構造を示す図である。
モデルテーブル１０２１のデータ構造を示す図である。
グループテーブル１０２２のデータ構造を示す図である。
サブモデルテーブル１０２３のデータ構造を示す図である。
品質評価処理の動作を示すフローチャートである。
結合モデル推論処理の動作を示すフローチャートである。
結合モデルの機能構成を示すブロック図である。
品質評価処理の動作を示す第一画面例である。
品質評価処理の動作を示す第二画面例である。
コンピュータ９０の基本的なハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
【０００９】
＜システム１の構成＞
本開示におけるシステム１は、学習モデルの品質を評価する情報処理システムである。
学習モデルは、機械学習、人工知能、深層学習モデルなどの任意の人工知能モデルを含む。
学習モデルの品質は、汎用性、精度、ロバスト性、速度および効率性、信頼性等の人工知能モデルに関する任意の品質を示す指標を含む。
システム１は、ネットワークＮを介して接続された、サーバ１０、ユーザ端末２０の情報処理装置を備える。
図１は、システム１の機能構成を示すブロック図である。
図２は、サーバ１０の機能構成を示すブロック図である。
図３は、ユーザ端末２０の機能構成を示すブロック図である。
図１２は、結合モデルの機能構成を示すブロック図である。
【００１０】
各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。サーバ１０、ユーザ端末２０のそれぞれについて、後述するコンピュータの基本ハードウェア構成およびコンピュータの基本機能構成と重複する説明は省略する。
本開示においては、一例としてユーザ端末２０とサーバ１０とは異なる装置構成としたがそれに限られない。具体的に、ユーザ端末２０の構成にサーバ１０の全ての構成を含むものとしても良い。この場合、ユーザ端末２０は、単独のスタンドアロン構成により本開示にかかる情報処理を実行することが可能である。その他、情報処理システムを実現するためのハードウェア構成は、本開示にかかる情報処理を実行可能な範囲において、どのようなシステム構成で実現しても構わない。
（【００１１】以降は省略されています）

関連特許