TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2025095150
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023210964
出願日2023-12-14
発明の名称情報処理システム及びその制御方法、プログラム
出願人キヤノンマーケティングジャパン株式会社,キヤノンITソリューションズ株式会社
代理人個人,個人
主分類G06F 11/34 20060101AFI20250619BHJP(計算;計数)
要約【課題】 AIの信頼性を把握可能な仕組みを提供する
【解決手段】 学習済みモデルの評価に用いた評価用データセットのうち、第1の変数の値に対して微小な値を付与するように制御し、前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する。
【選択図】 図14
特許請求の範囲【請求項1】
学習済みモデルの評価に用いた評価用データセットのうち、第1の変数の値に対して微小な値を付与するように制御する制御手段と、
前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する表示制御手段と、
を備えることを特徴とする情報処理システム。
続きを表示(約 900 文字)【請求項2】
前記差分が閾値を超えているか否かを判定する判定手段を備え、
前記判定手段によって、前記閾値を超えていると判定された学習済みモデルは検査結果を満たさないと評価されることを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記表示制御手段は、前記微小な値を付与しない場合の学習済みモデルによる推論結果と、前記微小な値を付与する場合の学習済みモデルによる推論結果とを表示するように制御することを特徴とする請求項1に記載の情報処理システム。
【請求項4】
前記表示制御手段は、前記第1の変数の値に前記微小な値を付与した場合の学習済みモデルによる推論結果と、前記評価用データセットのうち、第2の変数の値に前記微小な値を付与した場合の推論結果とを表示するように制御することを特徴とする請求項1に記載の情報処理システム。
【請求項5】
前記微小な値は、正規分布からランダムに選択された値であることを特徴とする請求項1に記載の情報処理システム。
【請求項6】
前記正規分布のパラメータは、前記第1の変数の値における分散に所定の倍率を掛けて決定されることを特徴とする請求項5に記載の情報処理システム。
【請求項7】
前記表示制御手段は、検査結果に応じて生成されたテキストを表示するように制御することを特徴とする請求項1に記載の情報処理システム。
【請求項8】
学習済みモデルの評価に用いた評価用データセットのうち、第1の変数の値に対して微小な値を付与するように制御する制御ステップと、
前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する表示制御ステップと、
を備えることを特徴とする情報処理システムの制御方法。
【請求項9】
少なくとも1つのコンピュータを請求項1乃至7のいずれか1項に記載の情報処理システムとして機能させるためのプログラム。

発明の詳細な説明【技術分野】
【0001】
本発明は、情報処理システム及びその制御方法、プログラムに関する。
続きを表示(約 2,100 文字)【背景技術】
【0002】
近年、様々な分野において学習用データを用いた深層学習又は機械学習により生成されたAIが利用されている。AIが実用可能かどうかを判断する際、評価データセットを用意し、それに対する精度を測ることが一般的であるが、評価データセットに対する性能の良さだけではAIの品質を信頼できない場合がある。
【0003】
特許文献1には、予測と実績との間の誤差が生じた要因を把握するために予測状況を可視化する技術について開示されている。
【先行技術文献】
【特許文献】
【0004】
特許第7095744号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
評価データセットに対する精度が高かったとしても、実際に現場で運用をした場合に高い精度が出ないことがある。このような場合にはAIに対する信頼性が低下してしまうことから、信頼できるAIを開発する仕組みが必要である。
【0006】
そこで、本発明は、AIの信頼性を把握可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明は、
学習済みモデルの評価に用いた評価用データセットのうち、第1の変数の値に対して微小な値を付与するように制御する制御手段と、
前記微小な値を付与する前の前記学習済みモデルによる推論結果から、前記微小な値を付与した後の前記学習済みモデルによる推論結果の差分を表示するように制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、AIの信頼性を把握可能な仕組みを提供することが可能となる。
【図面の簡単な説明】
【0009】
本発明の実施形態における、情報処理システムの構成の一例を示す図である。
本発明の実施形態における、クライアント端末101のハードウェア構成の一例を示すブロック図である。
本発明の実施形態における、AIによる推論の性質の可視化機能構成の一例を示す図である。
本発明の実施形態における、AI検査する処理の一例を示すフローチャートである。
本発明の実施形態における、検査項目のOK/NG結果でAIジョブを検索する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、ノイズ耐性試験をする処理の一例を示すフローチャートである。
本発明の実施形態における、モデル間の推論性能の変化を可視化する処理の一例を示すフローチャートである。
本発明の実施形態における、低い精度の区間がある説明変数を可視化する画面の一例を示す図である。
本発明の実施形態における、正解の分布と推論の分布の一致度を算出し可視化する画面の一例を示す図である。
本発明の実施形態における、データセットの説明変数の外れ値を可視化する画面の一例を示す図である。
本発明の実施形態における、ノイズ耐性試験の画面の一例を示す図である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の1枚目(説明変数の分布図)である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の2枚目(推論の変化の混同行列)である。
本発明の実施形態における、モデル間の推論性能の変化を可視化する画面の一例を示す図の3枚目(レコードの詳細)である。
本発明の実施形態における、ジョブの結果表示する画面の一例を示す図である。
本発明の実施形態における、ジョブの結果を並列に表示する画面の一例を示す図である。
本発明の実施形態における、検査結果のサマリ表の画面の一例を示す図である。
本発明の実施形態における、検査項目のOK/NG結果でジョブ番号をフィルターする画面の一例を示す図である。
本発明の実施形態における、データテーブルの一例を示す図である。
本発明の実施形態における、区間分割のデータテーブルの一例を示す図である。
本発明の実施形態における、ノイズ付与のデータテーブルの一例を示す図である。
本発明の実施形態における、データテーブルA及びBの正解/不正解の分割の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

個人
対話装置
29日前
個人
情報処理装置
29日前
個人
情報処理システム
1日前
個人
検査システム
3日前
個人
記入設定プラグイン
17日前
個人
情報処理装置
25日前
株式会社サタケ
籾摺・調製設備
2日前
個人
不動産売買システム
9日前
キヤノン電子株式会社
携帯装置
2日前
個人
情報入力装置
29日前
個人
物価スライド機能付生命保険
29日前
個人
備蓄品の管理方法
1日前
個人
マイホーム非電子入札システム
29日前
キヤノン株式会社
情報処理装置
2日前
株式会社BONNOU
管理装置
22日前
キヤノン株式会社
情報処理装置
2日前
サクサ株式会社
中継装置
2日前
サクサ株式会社
カードの制動構造
1か月前
株式会社ワコム
電子消去具
9日前
ホシデン株式会社
タッチ入力装置
9日前
株式会社東芝
電子機器
10日前
個人
決済手数料0%のクレジットカード
1か月前
キヤノン電子株式会社
名刺管理システム
3日前
アスエネ株式会社
排水量管理方法
2日前
東洋電装株式会社
操作装置
2日前
東洋電装株式会社
操作装置
2日前
村田機械株式会社
割当補助システム
1か月前
トヨタ自動車株式会社
情報処理装置
1か月前
株式会社ライト
情報処理装置
22日前
個人
パターン抽出方法及び通信多重化方法
8日前
株式会社JVCケンウッド
管理装置
3日前
住友重機械工業株式会社
力覚伝達装置
24日前
大王製紙株式会社
RFIDタグ
8日前
株式会社CBE-A
情報処理システム
8日前
株式会社豆蔵
ピッキング装置
1か月前
シャープ株式会社
通信装置
29日前
続きを見る