特許ウォッチ

公開番号2025095145
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023210957
出願日2023-12-14
発明の名称情報処理システム及びその制御方法、プログラム
出願人キヤノンマーケティングジャパン株式会社,キヤノンITソリューションズ株式会社
代理人個人,個人
主分類G06F 11/34 20060101AFI20250619BHJP(計算;計数)
要約【課題】 AIの信頼性を把握可能な仕組みを提供する
【解決手段】学習済みモデルの評価に用いたデータセットについて、第1の変数の値に基づき複数のグループに分割し、前記複数のグループのうち、前記学習済みモデルによる推論結果が閾値以下であるグループを識別表示する。
【選択図】図11
特許請求の範囲【請求項１】
学習済みモデルの評価に用いたデータセットについて、第１の変数の値に基づき複数のグループに分割するように制御する制御手段と、
前記複数のグループのうち、前記学習済みモデルによる推論結果が閾値以下であるグループを識別表示するように制御する表示制御手段と、
を備えることを特徴とする情報処理システム。
続きを表示（約 650 文字）【請求項２】
前記表示制御手段は、前記学習済みモデルの学習した数と、推論の結果が正解だった数の割合を表示するように制御することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記学習済みモデルにおいて、前記閾値以下のグループを含むか否かを判定する判定手段を備え、
前記判定手段によって、前記閾値以下のグループを含むと判定された学習済みモデルは検査結果を満たさないと評価されることを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記閾値は、前記学習済みモデルの推論結果と、推論結果の低下許容量に基づいて決定されることを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記表示制御手段は、検査結果に応じて生成されたテキストを表示するように制御することを特徴とする請求項１に記載の情報処理システム。
【請求項６】
学習済みモデルの評価に用いたデータセットについて、第１の変数の値に基づき複数のグループに分割するように制御する制御ステップと、
前記複数のグループのうち、前記学習済みモデルによる推論結果が閾値以下であるグループを識別表示するように制御する表示制御ステップと、
を備えることを特徴とする情報処理システムの制御方法。
【請求項７】
少なくとも１つのコンピュータを請求項１乃至５のいずれか１項に記載の情報処理システムとして機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム及びその制御方法、プログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、様々な分野において学習用データを用いた深層学習又は機械学習により生成されたＡＩが利用されている。ＡＩが実用可能かどうかを判断する際、評価データセットを用意し、それに対する精度を測ることが一般的であるが、評価データセットに対する性能の良さだけではＡＩの品質を信頼できない場合がある。
【０００３】
特許文献１には、予測と実績との間の誤差が生じた要因を把握するために予測状況を可視化する技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
特許第７０９５７４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
評価データセットに対する精度が高かったとしても、実際に現場で運用をした場合に高い精度が出ないことがある。このような場合にはＡＩに対する信頼性が低下してしまうことから、信頼できるＡＩを開発する仕組みが必要である。
【０００６】
そこで、本発明は、ＡＩの信頼性を把握可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、
学習済みモデルの評価に用いたデータセットについて、第１の変数の値に基づき複数のグループに分割するように制御する制御手段と、
前記複数のグループのうち、前記学習済みモデルによる推論結果が閾値以下であるグループを識別表示するように制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＡＩの信頼性を把握可能な仕組みを提供することが可能となる。
【図面の簡単な説明】
【０００９】
本発明の実施形態における、情報処理システムの構成の一例を示す図である。
本発明の実施形態における、クライアント端末１０１のハードウェア構成の一例を示すブロック図である。
本発明の実施形態における、ＡＩによる推論の性質の可視化機能構成の一例を示す図である。
本発明の実施形態における、ＡＩ検査する処理の一例を示すフローチャートである。
本発明の実施形態における、検査項目のＯＫ／ＮＧ結果でＡＩジョブを検索する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、ノイズ耐性試験をする処理の一例を示すフローチャートである。
本発明の実施形態における、モデル間の推論性能の変化を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する画面の一例を示す図である。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する画面の一例を示す図である。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する画面の一例を示す図である。
本発明の実施形態における、ノイズ耐性試験の画面の一例を示す図である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の１枚目（説明変数の分布図）である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の２枚目（推論の変化の混同行列）である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の３枚目（レコードの詳細）である。
本発明の実施形態における、ジョブの結果表示する画面の一例を示す図である。
本発明の実施形態における、ジョブの結果を並列に表示する画面の一例を示す図である。
本発明の実施形態における、検査結果のサマリ表の画面の一例を示す図である。
本発明の実施形態における、検査項目のＯＫ／ＮＧ結果でジョブ番号をフィルターする画面の一例を示す図である。
本発明の実施形態における、データテーブルの一例を示す図である。
本発明の実施形態における、区間分割のデータテーブルの一例を示す図である。
本発明の実施形態における、ノイズ付与のデータテーブルの一例を示す図である。
本発明の実施形態における、データテーブルＡ及びＢの正解／不正解の分割の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
（【００１１】以降は省略されています）

関連特許