特許ウォッチ

公開番号2024126706
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023035279
出願日2023-03-08
発明の名称情報処理装置および情報処理プログラム
出願人オムロン株式会社
代理人弁理士法人深見特許事務所
主分類G06N 20/00 20190101AFI20240912BHJP(計算;計数)
要約【課題】複数種類のデータが入力される学習済モデルの解釈性を高める方法を提供する。
【解決手段】情報処理装置は、1または複数の第1のデータと、1または複数の第1のデータとはデータ形式が異なる1または複数の第2のデータとを第1の学習済モデルに入力して推論結果を算出する算出部と、1または複数の第1のデータおよび1または複数の第2のデータのうち少なくとも1つのデータについて、第1の学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを含む。
【選択図】図16
特許請求の範囲【請求項１】
１または複数の第１のデータと、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出する算出部と、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを備える、情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記１または複数の第１のデータの各々は、画像データを含み、
前記１または複数の第２のデータの各々は、スカラ値の時系列データを含む、請求項１に記載の情報処理装置。
【請求項３】
前記生成部は、前記第１の学習済モデルに比較して、学習が不足している第２の学習済モデルを用いて、前記顕著性マップを生成する、請求項１に記載の情報処理装置。
【請求項４】
前記顕著性マップを表示出力する表示出力部をさらに備える、請求項１～３のいずれか１項に記載の情報処理装置。
【請求項５】
前記表示出力部は、前記推論結果が予め定められた値である場合に、前記１または複数の第１のデータおよび前記１または複数の第１のデータのうち少なくとも一部を可視化した画像とともに、前記顕著性マップを表示出力する、請求項４に記載の情報処理装置。
【請求項６】
前記第１の学習済モデルは、前記１または複数の第１のデータおよび前記１または複数の第２のデータの各々に対応付けられた複数のニューラルネットワークを含む、請求項１～３のいずれか１項に記載の情報処理装置。
【請求項７】
情報処理プログラムであって、コンピュータに、
１または複数の第１のデータと、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出するステップと、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップを生成するステップとを実行させる、情報処理プログラム。
【請求項８】
１または複数の第１のデータと、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを含む学習データを複数用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納する学習部と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部とを備え、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる、情報処理装置。
【請求項９】
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、請求項８に記載の情報処理装置。
【請求項１０】
前記ユーザインターフェイス画面は、
ユーザ操作によって指定された学習の状態における、前記モデルの精度の評価結果と、
ユーザ操作によって指定された学習の状態における、前記モデルが出力する特徴量の分布と、
ユーザ操作によって指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップとのうち少なくとも１つを含む、請求項９に記載の情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置および情報処理プログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
生産現場においても、学習済モデルを用いた異常検知などの機能が実用化されている。このような学習済モデルがどのように判断を行ったのかを可視化する技術が知られている。このような技術は、説明可能なＡＩ（ＸＡＩ：Explainable AI）と称されることもある。
【０００３】
例えば、画像認識モデルにおいて、入力と対応する推論とについて、入力のいずれの部分を推論の根拠にしているかを顕著性マップで可視化する技術が公知である（例えば、非特許文献１など）。また、テーブルデータに対して、入力と対応する推論とについて、いずれのデータを推論の根拠にしているかをグラフで可視化する技術が公知である（例えば、非特許文献２など）。
【先行技術文献】
【非特許文献】
【０００４】
"Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra, 2017 IEEE International Conference on Computer Vision (ICCV), 22-29 October 2017, <URL:https://arxiv.org/abs/1610.02391>
"A Unified Approach to Interpreting Model Predictions", Scott M. Lundberg, Su-In Lee, Part of Advances in Neural Information Processing Systems 30 (NIPS 2017), Jan 24th, 2018, < URL:https://arxiv.org/abs/1602.049 >
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数種類のデータを入力して推論を行うタスクにおいて、上述したようなＸＡＩは開示されていない。
【０００６】
本発明は、複数種類のデータが入力される学習済モデルの解釈性を高める方法を提供することを一つの目的とする。
【課題を解決するための手段】
【０００７】
本発明の一例に従う情報処理装置は、１または複数の第１のデータと、１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出する算出部と、１または複数の第１のデータおよび１または複数の第２のデータのうち少なくとも１つのデータについて、第１の学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを含む。
【０００８】
この構成によれば、データ形式が異なる複数種類のデータを学習済モデルに入力することで、多面的な推論結果を算出できる。また、当該学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップが生成されるので、入力されるデータがどのように着目されているのかをユーザが把握することを支援できる。
【０００９】
１または複数の第１のデータの各々は、画像データを含んでもよい。１または複数の第２のデータの各々は、スカラ値の時系列データを含んでもよい。この構成によれば、製造ラインなどから収集される複数種類のデータを用いた学習済モデルに基づく推論を容易に行うことができる。
【００１０】
生成部は、第１の学習済モデルに比較して、学習が不足している第２の学習済モデルを用いて、顕著性マップを生成してもよい。この構成によれば、学習が不足している第２の学習済モデルを用いることで、第１の学習済モデルの解釈性をより高めることができる。
（【００１１】以降は省略されています）

関連特許