特許ウォッチ

公開番号2025095151
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023210965
出願日2023-12-14
発明の名称情報処理システム及びその制御方法、プログラム
出願人キヤノンマーケティングジャパン株式会社,キヤノンITソリューションズ株式会社
代理人個人,個人
主分類G06N 5/045 20230101AFI20250619BHJP(計算;計数)
要約【課題】 AIの信頼性を把握可能な仕組みを提供する
【解決手段】学習済みモデルの評価に用いた第1の評価用データセット及び第2の評価用データセットにおいて、前記学習済みモデルによる推論結果が異なるデータを抽出し、前記第1の評価用データセットにおける第1の変数の値の分布と、前記推論結果が異なるデータにおける第1の変数の値の分布と、を比較表示するように制御する。
【選択図】図15
特許請求の範囲【請求項１】
学習済みモデルの評価に用いた第１の評価用データセット及び第２の評価用データセットにおいて、前記学習済みモデルによる推論結果が異なるデータを抽出する抽出手段と、
前記第１の評価用データセットにおける第１の変数の値の分布と、前記推論結果が異なるデータにおける第１の変数の値の分布と、を比較表示するように制御する表示制御手段と、
を備えることを特徴とする情報処理システム。
続きを表示（約 1,300 文字）【請求項２】
前記抽出手段は、前記第１の評価用データセットに対する前記学習済みモデルによる推論結果が不正解であり、前記第２の評価用データセットに対する前記学習済みモデルによる推論結果が正解であるデータを抽出することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記抽出手段は、前記第１の評価用データセットに対する前記学習済みモデルによる推論結果が正解であり、前記第２の評価用データセットに対する前記学習済みモデルによる推論結果が不正解であるデータを抽出することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
学習済みモデルの評価に用いた第１の評価用データセット及び第２の評価用データセットにおいて、前記学習済みモデルによる推論結果が異なるデータを抽出する抽出手段と、
前記第１の評価用データセットに対する前記学習済みモデルによる推論結果と、前記第２の評価用データセットに対する前記学習済みモデルによる推論結果と、を比較表示するように制御する表示制御手段と、
を備えることを特徴とする情報処理システム。
【請求項５】
前記表示制御手段は、前記第１の評価用データセットに対する前記学習済みモデルによる推論結果が不正解だった個数と、前記第２の評価用データセットに対する前記学習済みモデルによる推論結果が正解だった個数と、を比較表示するように制御することを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記表示制御手段は、前記第１の評価用データセットに対する前記学習済みモデルによる推論結果が正解だった個数と、前記第２の評価用データセットに対する前記学習済みモデルによる推論結果が不正解だった個数と、を比較表示するように制御することを特徴とする請求項４に記載の情報処理システム。
【請求項７】
学習済みモデルの評価に用いた第１の評価用データセット及び第２の評価用データセットにおいて、前記学習済みモデルによる推論結果が異なるデータを抽出する抽出ステップと、
前記第１の評価用データセットにおける第１の変数の値の分布と、前記推論結果が異なるデータにおける第１の変数の値の分布と、を比較表示するように制御する表示制御ステップと、
を備えることを特徴とする情報処理システムの制御方法。
【請求項８】
学習済みモデルの評価に用いた第１の評価用データセット及び第２の評価用データセットにおいて、前記学習済みモデルによる推論結果が異なるデータを抽出する抽出ステップと、
前記第１の評価用データセットに対する前記学習済みモデルによる推論結果と、前記第２の評価用データセットに対する前記学習済みモデルによる推論結果と、を比較表示するように制御する表示制御ステップと、
を備えることを特徴とする情報処理システムの制御方法。
【請求項９】
少なくとも１つのコンピュータを請求項１乃至６のいずれか１項に記載の情報処理システムとして機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム及びその制御方法、プログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、様々な分野において学習用データを用いた深層学習又は機械学習により生成されたＡＩが利用されている。ＡＩが実用可能かどうかを判断する際、評価データセットを用意し、それに対する精度を測ることが一般的であるが、評価データセットに対する性能の良さだけではＡＩの品質を信頼できない場合がある。
【０００３】
特許文献１には、予測と実績との間の誤差が生じた要因を把握するために予測状況を可視化する技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
特許第７０９５７４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
評価データセットに対する精度が高かったとしても、実際に現場で運用をした場合に高い精度が出ないことがある。このような場合にはＡＩに対する信頼性が低下してしまうことから、信頼できるＡＩを開発する仕組みが必要である。
【０００６】
そこで、本発明は、ＡＩの信頼性を把握可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、
学習済みモデルの評価に用いた第１の評価用データセット及び第２の評価用データセットにおいて、前記学習済みモデルによる推論結果が異なるデータを抽出する抽出手段と、
前記第１の評価用データセットにおける第１の変数の値の分布と、前記推論結果が異なるデータにおける第１の変数の値の分布と、を比較表示するように制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＡＩの信頼性を把握可能な仕組みを提供することが可能となる。
【図面の簡単な説明】
【０００９】
本発明の実施形態における、情報処理システムの構成の一例を示す図である。
本発明の実施形態における、クライアント端末１０１のハードウェア構成の一例を示すブロック図である。
本発明の実施形態における、ＡＩによる推論の性質の可視化機能構成の一例を示す図である。
本発明の実施形態における、ＡＩ検査する処理の一例を示すフローチャートである。
本発明の実施形態における、検査項目のＯＫ／ＮＧ結果でＡＩジョブを検索する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、ノイズ耐性試験をする処理の一例を示すフローチャートである。
本発明の実施形態における、モデル間の推論性能の変化を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する画面の一例を示す図である。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する画面の一例を示す図である。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する画面の一例を示す図である。
本発明の実施形態における、ノイズ耐性試験の画面の一例を示す図である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の１枚目（説明変数の分布図）である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の２枚目（推論の変化の混同行列）である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の３枚目（レコードの詳細）である。
本発明の実施形態における、ジョブの結果表示する画面の一例を示す図である。
本発明の実施形態における、ジョブの結果を並列に表示する画面の一例を示す図である。
本発明の実施形態における、検査結果のサマリ表の画面の一例を示す図である。
本発明の実施形態における、検査項目のＯＫ／ＮＧ結果でジョブ番号をフィルターする画面の一例を示す図である。
本発明の実施形態における、データテーブルの一例を示す図である。
本発明の実施形態における、区間分割のデータテーブルの一例を示す図である。
本発明の実施形態における、ノイズ付与のデータテーブルの一例を示す図である。
本発明の実施形態における、データテーブルＡ及びＢの正解／不正解の分割の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
（【００１１】以降は省略されています）

関連特許