特許ウォッチ

公開番号2023126106
公報種別公開特許公報(A)
公開日2023-09-07
出願番号2022174323
出願日2022-10-31
発明の名称知識の転送
出願人富士通株式会社
代理人個人,個人,個人
主分類G06V 10/82 20220101AFI20230831BHJP(計算;計数)
要約【課題】コンピュータで実施するナレッジトランスファーのための方法、プログラム及び機器を提供する。
【解決手段】方法は、入力画像に基づいて、第1畳み込みニューラルネットワーク(CNN)のラベル付きフィルタの第1活性化マップを取得するステップS11を含む。第1CNNが入力画像内の1つ以上の特徴を識別するように構成されている。方法はさらに、入力画像に基づいて、第2CNNのフィルタの第2活性化マップを取得するステップS13を含む。第2CNNは、入力画像内の1つ以上の特徴を識別する。方法はまた、第1活性化マップと第2活性化マップの間の類似度指標を計算するステップS15と、類似度指標が閾値類似度以上の場合、第2CNNのフィルタを第1CNNのラベル付きフィルタのラベルでラベル付けするステップS19と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータにより実施される方法であって、
入力画像に基づいて、第１畳み込みニューラルネットワーク（CNN）のラベル付きフィルタの第１活性化マップを取得するステップであって、前記第１畳み込みニューラルネットワークが前記入力画像内の１つ以上の特徴を識別するように構成されている、ステップと、
前記入力画像に基づいて、第２畳み込みニューラルネットワーク（CNN）のフィルタの第２活性化マップを取得するステップであって、前記第２畳み込みニューラルネットワークが前記入力画像内の１つ以上の特徴を識別するように構成されている、ステップと、
前記第１活性化マップと前記第２活性化マップの間の類似度指標を計算するステップと、
前記類似度指標が閾値類似度以上の場合、前記第２畳み込みニューラルネットワークの前記フィルタを前記第１畳み込みニューラルネットワークの前記ラベル付きフィルタのラベルでラベル付けする、ステップと、
を含むコンピュータにより実施される方法。
続きを表示（約 1,400 文字）【請求項２】
前記類似度指標を計算するステップは、前記第１及び第２活性化マップを各々第１及び第２バイナリ行列に変換し、前記第１及び第２バイナリ行列の間の類似度指標を計算するステップを含む、請求項１に記載のコンピュータにより実施される方法。
【請求項３】
前記第１及び第２バイナリ行列の間の類似度指標を計算するステップの前に、任意的に最近傍補間を使用して、前記第１及び第２バイナリ行列を前記入力画像の次元にスケーリングするステップ、をさらに含む請求項２に記載のコンピュータにより実施される方法。
【請求項４】
前記第１及び第２活性化マップを前記第１及び第２バイナリ行列に変換するステップは、前記第１及び第２活性化マップにおいて閾値を超える絶対値を持つ各活性化値を第１値に設定し、前記閾値以下の絶対値を持つ各活性化値を第２値に設定するステップを含む、請求項３に記載のコンピュータにより実施される方法。
【請求項５】
前記類似度指標を計算するステップは、前記第１及び第２バイナリ行列の間のIoU（intersection-over-union）指標を計算するステップを含む、請求項１に記載のコンピュータにより実施される方法。
【請求項６】
前記類似度指標を計算するステップは、前記第１及び第２活性化マップの間のコサイン距離指標を計算するステップを含む、請求項１に記載のコンピュータにより実施される方法。
【請求項７】
自動運転車又は半自動運転車の制御に前記第２CNNを使用するステップをさらに含む請求項６のいずれかに記載のコンピュータにより実施される方法。
【請求項８】
前記方法は、前記第１CNNを再トレーニングして前記第２CNNを提供するステップを含む、請求項７のいずれかに記載のコンピュータにより実施される方法。
【請求項９】
前記入力画像に基づいて、前記第１畳み込みニューラルネットワークの複数の前記ラベル付きフィルタの複数の前記第１活性化マップを取得するステップと、
複数のペアの各々について前記類似度指標を計算するステップであって、各ペアは、前記第２活性化マップと前記複数の第１活性化マップのうちの１つとを含む、ステップと、
前記第２畳み込みニューラルネットワークの前記フィルタを、最も高い類似度指標のペアに属する第１活性化マップに対応するラベル付きフィルタのラベルでラベル付けするステップと、
を含む請求項１に記載のコンピュータにより実施される方法。
【請求項１０】
前記入力画像に基づいて、前記第１畳み込みニューラルネットワークの複数の前記ラベル付きフィルタの複数の前記第１活性化マップを取得するステップと、
活性化スコアが閾値活性化スコアを超えている、又は活性化スコアが最も高い、少なくとも１つの第１活性化マップを選択するステップと、
複数のペアの各々について前記類似度指標を計算するステップであって、各ペアは、前記第２活性化マップと前記選択された少なくとも１つの第１活性化マップのうちの１つとを含む、ステップと、
前記第２畳み込みニューラルネットワークの前記フィルタを、最も高い類似度指標のペアに属する第１活性化マップに対応するラベル付きフィルタのラベルでラベル付けするステップと、
を含む請求項１に記載のコンピュータにより実施される方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ナレッジトランスファー（knowledge transfer、知識の転送）に関するものであり、特に、コンピュータにより実施される方法、コンピュータプログラム及び情報処理機器に関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
人工知能（AI）がより高度になるにつれて、人間はアルゴリズム／モデルがどのように結果を生成するかを理解し、追跡することが課題となっている。このようなアルゴリズム／モデルの計算プロセス全体は、一般に解釈不可能な「ブラックボックス」と呼ばれるものと見なされることが多い。これらのブラックボックスモデルは、データから直接作成される。多くの場合、アルゴリズム／モデルを作成するエンジニアやデータサイエンティストは、アルゴリズム／モデル内で正確に何が起こっているのか、AIアルゴリズムがどのように特定の結果に到達するかを理解したり説明したりすることができない。しかし、組織にとって、AIの意思決定プロセスを十分に理解し、AIモデルを盲目的に信頼しないことが重要である。モデルのモニタリングを使用し、AIモデルの説明責任を確保する必要がある。
【０００３】
説明可能な人工知能（Explainable artificial intelligence （XAI））は、機械学習アルゴリズムによって生成された結果及び出力を人間のユーザが理解（及び信頼）できるようにする一連の処理及び方法である。説明可能なAIは、AIモデル、その予想される影響、及びその潜在的なバイアスを記述するために使用される。XAIは、AIを使用した意思決定において、モデルの正確性、公平性、透明性を確保するのに役立つ。説明可能なAIは、AIモデルをアプリケーションに実装する際に、組織が信用と信頼を構築する上で重要である。
【０００４】
AIの説明可能性は、組織がAI開発への責任あるアプローチを採用するのにも役立つ。つまり、説明可能なAIは、責任あるAIを実装するための重要な要件の１つであり、これは、公平性、モデルの説明可能性、説明責任を備えた実際の組織でAIメソッドを大規模に実装するための方法論である。責任を持ってAIを導入するためには、組織は信頼と透明性に基づいたAIシステムを構築することによって、AIのアプリケーションとプロセスに倫理原則を組み込む必要がある。
【０００５】
説明可能なAI（XAI）には多くの利点があり、AIモデルを説明可能かつ透明性のある状態に保つことができる、規制、コンプライアンス、リスク、その他の要件を管理し、手動検査のオーバヘッドとコストのかかるエラーも最小限に抑えることができる、さらに、意図しないバイアスのリスクを軽減すると同時に、解釈可能性と説明可能性を備えたAIモデルの作成に対する信頼を構築することができる。それにもかかわらず、XAIはまだ比較的新しく、成長している。当初、AI研究の焦点は、AIモデルの機能を拡張し、説明を必要としないビジネスソリューションを提供することであった。これは現在、XAIとAIの倫理の両方で変化しつつあることである。AIの実装が飛躍的に拡大し、AIモデルが企業や日常生活で日常的に使用されるようになると、解釈可能性と倫理性が必要になってきた。
【０００６】
つまり、説明可能なAIは、機械学習（ML）アルゴリズム、深層学習、ニューラルネットワークを理解し、説明するのに役立つ。そのため、XAIは特に輸送とセキュリティの分野で関心と研究の対象となっている。AIの自動運転車やセキュリティ分野への進出により、説明責任の必要性が高まっていることから、XAIの人気は高まっている。AIによる信頼性の高い自動運転車や安全なサービスが期待される中で、AIがエラーにつながる場合や、一部のAI手法が本来「ブラックボックス」であるために問題の特定が困難である場合に備えて、AIの採用に消極的になることもある。したがって、前進するにはXAIが必要である。しかし、現在のXAI手法は未開拓の可能性がある。
【０００７】
さらに、深層学習の人気が高まるにつれて、そのようなモデルがどのように機能し、決定に到達するかを正確に理解する必要性が高まっている。説明責任を含め、説明可能なAIには多くの利点がある。自動運転車にAIを使用する場合、問題／エラーは人命の損失を引き起こす事故につながる可能性があるため、説明責任は特に重要である。サイバーセキュリティにAIを使用する場合も、問題／エラーは例えば金銭の損失につながる可能性があるため、説明責任は重要である。このようなシナリオが発生した場合、シナリオの原因となった問題／エラーを正しく特定するためには、透明性と説明可能性が必要である。このようなシナリオ以外でも、説明責任が求められる。
【０００８】
説明可能なAIを作成するほとんどの方法は、説明可能なAIが正確であるために必要なラベルを提供するために、トレーニング段階で人間からの手動入力を必要とする。このステップはコストと時間がかかり、XAIのアプリケーションを拡張しようとする企業／ビジネスにとってマイナス要因となる。
【０００９】
つまり、（説明可能性をサポートできる）ニューラルネットワークから関係情報を抽出するには、カーネル（フィルタとも呼ばれる）に手動でラベル付けする時間のかかるプロセスが必要になる。このプロセスは時間とリソースを消費するが、ニューラルネットワークを含むモデルの出力と精度を大幅に向上させる。カーネルのラベル付けは、知識の蒸留、すなわち複雑なモデルを単純な解釈可能な表現に蒸留するのにも役立つ。ルールは、アクティブカーネルを組み合わせることによって形成することができ、これらのルールは、量子化されたフィルタの活性化を論理的な原子として表すことができる、解釈可能な論理言語における例えば畳み込みニューラルネットワーク（CNN）の分類出力を説明することができる（H.Jacobsson, Rule extraction from recurrent neural networks: A taxonomy and review, Neural Computation １７（２００５）１２２３－１２６３）。データ内の誤った相関関係に応答して発火する（すなわち、活性化された）カーネルは、モデルのパフォーマンスを向上させるためにプルーニングされる場合がある。さらに、ルールをトレーニングに組み込み、ニューラル記号サイクルを閉じることで、元のモデルの精度を向上させることができる。
【００１０】
ルール抽出アルゴリズムは、複雑な機械学習モデルを、その決定を説明する単純で解釈可能な表現へと蒸留することを目的としている（H.Jacobsson, Rule extraction from recurrent neural networks: A taxonomy and review, Neural Computation１７（２００５）１２２３－１２６３; Q.Zhang, Y.Yang, H.Ma, Y.N.Wu, Interpreting CNN via decision tree, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）、２０１９）。
（【００１１】以降は省略されています）

関連特許