特許ウォッチ

公開番号2024126705
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023035278
出願日2023-03-08
発明の名称情報処理装置および情報処理プログラム
出願人オムロン株式会社
代理人弁理士法人深見特許事務所
主分類G06N 20/00 20190101AFI20240912BHJP(計算;計数)
要約【課題】学習済モデルの解釈性を高める方法を提供する。
【解決手段】情報処理装置は、複数の学習データを用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータを順次格納する学習部と、複数の学習データのうち第1の数の学習データを用いて学習された状態のモデルを第1のモデルとして決定するとともに、ユーザ操作に従って、複数の学習データのうち第1の数より少ない第2の数の学習データを用いて学習された状態のモデルを第2のモデルとして決定する決定部と、第2のモデルの出力に基づいて顕著性マップを生成する生成部とを含む。
【選択図】図12
特許請求の範囲【請求項１】
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納する学習部と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部と、
前記第２のモデルの出力に基づいて顕著性マップを生成する生成部とを備える、情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、請求項１に記載の情報処理装置。
【請求項３】
前記決定部は、指定された学習の状態における、前記モデルの精度の評価結果を含むユーザインターフェイス画面を生成する、請求項１に記載の情報処理装置。
【請求項４】
前記決定部は、指定された学習の状態における、前記モデルが出力する特徴量の分布を含むユーザインターフェイス画面を生成する、請求項１に記載の情報処理装置。
【請求項５】
前記決定部は、指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップを含むユーザインターフェイス画面を生成する、請求項１に記載の情報処理装置。
【請求項６】
情報処理プログラムであって、コンピュータに、
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納するステップと、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するステップと、
ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定するステップとを実行させ、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる、情報処理プログラム。
【請求項７】
入力データを第１のモデルに入力して推論結果を算出する算出部と、
前記入力データを第２のモデルに入力して取得される出力に基づいて顕著性マップを生成する生成部とを備え、
前記第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、
前記第２のモデルは、前記第１の数より少ない第２の数の学習データを用いて学習されたモデルである、情報処理装置。
【請求項８】
前記情報処理装置は、前記入力データと前記顕著性マップとを並べて表示出力する、請求項７に記載の情報処理装置。
【請求項９】
前記第１のモデルおよび前記第２のモデルには、前記入力データとして入力画像が入力されるとともに、前記入力画像に対する分類結果を前記推論結果として出力する、請求項７または８に記載の情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置および情報処理プログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
生産現場においても、学習済モデルを用いた異常検知などの機能が実用化されている。このような学習済モデルがどのように判断を行ったのかを可視化する技術が知られている。このような技術は、説明可能なＡＩ（ＸＡＩ：Explainable AI）と称されることもある。
【０００３】
例えば、画像認識モデルにおいて、入力と対応する推論とについて、入力のいずれの部分を推論の根拠にしているかを顕著性マップで可視化する技術が公知である（例えば、非特許文献１など）。
【先行技術文献】
【非特許文献】
【０００４】
"Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra, 2017 IEEE International Conference on Computer Vision (ICCV), 22-29 October 2017, <URL:https://arxiv.org/abs/1610.02391>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、ワークを撮像した画像に基づいて分類を行うタスクの場合には、推論結果にかかわらず可視化された顕著性マップの同じ箇所に反応が出てしまい、解釈性が低いという課題が生じ得る。
【０００６】
本発明は、学習済モデルの解釈性を高める方法を提供することを一つの目的とする。
【課題を解決するための手段】
【０００７】
本発明の一例に従う情報処理装置は、複数の学習データを用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータを順次格納する学習部と、複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、複数の学習データのうち第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部と、第２のモデルの出力に基づいて顕著性マップを生成する生成部とを含む。
【０００８】
この構成によれば、第１のモデルを用いて本来の推論を行うことができるとともに、第２のモデルを用いて、第１のモデルが推論を行うときに着目した部分を視覚的に把握できる。
【０００９】
決定部は、学習に用いられた学習データの数に対する、モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを第２のモデルとして出力してもよい。この構成によれば、学習曲線を含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
【００１０】
決定部は、指定された学習の状態における、モデルの精度の評価結果を含むユーザインターフェイス画面を生成してもよい。この構成によれば、モデルの精度の評価結果を含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
（【００１１】以降は省略されています）

関連特許