特許ウォッチ

公開番号2025119574
公報種別公開特許公報(A)
公開日2025-08-14
出願番号2024211616
出願日2024-12-04
発明の名称人工知能システムの異常を検出するシステム、方法および非一時的コンピュータ可読媒体
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類G08G 1/16 20060101AFI20250806BHJP(信号)
要約【課題】
AIアルゴリズムで起こることがある異常を検出するためのシステム、方法および非一時的コンピュータ可読媒体を提供する
【解決手段】
AIシステムの異常を検出するシステムは、移動装置から、少なくとも移動装置位置データおよび人工知能(AI)出力データを受信し、移動装置位置データに対応する位置を決定し、少なくとも位置に基づいて、データ構造に格納されるとともに位置と関連付けられた過去のAI出力データにアクセスし、受信したAI出力データを、その位置に関してデータ構造に格納された過去のAI出力データと比較し、受信したAI出力データおよび位置と関連付けられた過去のAI出力データの比較に少なくとも基づいて、移動装置に少なくとも1つのアクションを実施させる命令を移動装置に送信する。
【選択図】図2
特許請求の範囲【請求項１】
車両に搭載された人工知能（ＡＩ）システムの異常を検出するシステムであって、
実行可能命令によって処理を実行するように構成された１つまたは複数のプロセッサを備え、前記処理が、
前記車両から、少なくとも車両位置データおよびＡＩ出力データを受信することと、
前記車両位置データに対応する道路セグメントを決定することと、
少なくとも前記道路セグメントに基づいて、データ構造に格納され前記道路セグメントと関連付けられた過去のＡＩ出力データにアクセスすることと、
前記受信したＡＩ出力データを、前記道路セグメントに関して前記データ構造に格納された前記過去のＡＩ出力データと比較することと、
前記受信したＡＩ出力データと、前記道路セグメントと関連付けられた前記過去のＡＩ出力データとの比較に少なくとも基づいて、前記車両に少なくとも１つのアクションを実施させる命令を前記車両に送信することと
を含む、
システム。
続きを表示（約 1,800 文字）【請求項２】
請求項１に記載のシステムであって、
前記処理が、
前記車両から車両識別子を受信することと、
少なくとも受信した前記車両識別子に基づいて、前記車両に対するセンサ構成を決定することと、を更に含み、
前記受信したＡＩ出力データと、前記道路セグメントに関する前記過去のＡＩ出力データとの前記比較の際に前記車両に対する前記センサ構成を考慮に入れることを更に含む、
システム。
【請求項３】
請求項１に記載のシステムであって、
前記受信したＡＩ出力データと前記過去のＡＩ出力データとを比較することが、前記受信したＡＩ出力データにおいて識別された移動物体と前記過去のＡＩ出力データにおいて識別された移動物体との間の少なくとも１つの差を検出することを含む、
システム。
【請求項４】
請求項３に記載のシステムであって、
前記少なくとも１つの差の検出に少なくとも基づいて、前記車両に送信される前記命令が、前記車両が前記ＡＩ出力データに対応するＡＩアルゴリズムの周期的診断を実施して、ＡＩアルゴリズム異常をチェックするための命令を含む、
システム。
【請求項５】
請求項１に記載のシステムであって、
受信した前記ＡＩ出力データと前記過去のＡＩ出力データとを比較することが、前記受信したＡＩ出力データにおいて識別された静止物体と前記過去のＡＩ出力データにおいて識別された静止物体との間の少なくとも１つの差を検出することを含む、
システム。
【請求項６】
請求項５に記載のシステムであって、
前記少なくとも１つの差の検出に少なくとも基づいて、前記車両に送信される前記命令が、前記車両が前記ＡＩ出力データに対応するＡＩアルゴリズムに対する原因識別または回復プロセスのうち少なくとも１つを実施して、ＡＩアルゴリズム異常をチェックするための命令を含む、
システム。
【請求項７】
請求項１に記載のシステムであって、
前記受信したＡＩ出力データと前記過去のＡＩ出力データとを比較することが、ＡＩアルゴリズム異常の指標を識別しないことを含み、
前記ＡＩアルゴリズム異常の指標を識別しないことに少なくとも基づいて、前記車両に送信される前記命令が、前記ＡＩアルゴリズム異常をモニタし続けるために前記車両に追加のＡＩ出力データを周期的に送信させるための命令を含む、
システム。
【請求項８】
請求項１記載のシステムであって、
前記処理が、
前記受信したＡＩ出力データと関連付けられた信頼度スコアを、信頼度スコア閾値と比較することと、
前記信頼度スコア閾値を満たす前記受信したＡＩ出力データと関連付けられた前記信頼度スコアに少なくとも基づいて、前記受信したＡＩ出力データを、前記道路セグメントと関連する前記データ構造に格納することと
を更に含む、
システム。
【請求項９】
移動装置に搭載された人工知能（ＡＩ）システムの異常を検出する方法であって、
１つまたは複数のプロセッサによって、前記移動装置から、少なくとも移動装置位置データおよびＡＩ出力データを受信し、
前記移動装置位置データに対応する位置を決定し、
少なくとも前記位置に基づいて、データ構造に格納され前記位置と関連付けられた過去のＡＩ出力データにアクセスし、
前記受信したＡＩ出力データを、前記位置に関して前記データ構造に格納された前記過去のＡＩ出力データと比較することと、
前記受信したＡＩ出力データと、前記位置と関連付けられた前記過去のＡＩ出力データとの比較に少なくとも基づいて、前記移動装置に少なくとも１つのアクションを実施させる命令を前記移動装置に送信する、
方法。
【請求項１０】
請求項９に記載の方法であって、更に、
前記移動装置から移動装置識別子を受信し、
少なくとも受信した前記移動装置識別子に基づいて、前記移動装置に対するセンサ構成を決定し、
前記受信したＡＩ出力データと、前記位置に関する前記過去のＡＩ出力データとの前記比較の際に前記移動装置に対する前記センサ構成を考慮に入れる、
方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、人工知能システムの異常を検出するシステム、方法および非一時的コンピュータ可読媒体に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
半自律車両システムまたは他の先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance Systems）、および自動運転（ＡＤ：Autonomous Driving）システムまたは他の自律運転システムは、車両制御を自動化するかまたは別の形で向上させて、安全性、自動航行などを改善するシステムである。かかるシステムは、ＡＤ／ＡＤＡＳＥＣＵ、パワートレインＥＣＵ、シャーシＥＣＵなどを含んでもよい、「電子制御ユニット」（ＥＣＵ：Electronic Control Unit）と呼ばれる組み込み車両コンピューティングデバイスを用いることがある。例えば、ＡＤ／ＡＤＡＳＥＣＵは、例えば知覚、位置確認、航行、車両制御など、ドメイン固有の機能を実行するように構成されてもよい。これらの機能を実施するため、人工知能（ＡＩ：Artificial Intelligence）アルゴリズム（例えば、機械学習モデル）がＡＤ／ＡＤＡＳＥＣＵまたは他の車両ＥＣＵに実装されてもよい。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１２８４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＡＩアルゴリズムは、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）、および／または他の様々なタイプの人工ニューラルネットワーク、および／または他の様々なタイプの機械学習モデルを含んでもよい。例えば、ＡＩアルゴリズムは、高度に正確で安全な自動運転体験を実現するため、ＡＤ／ＡＤＡＳ車両のＥＣＵで使用されてもよい。例えば、ＡＩアプリケーションは、物体検出およびミッションクリティカル制御などにおいて、例えば緊急制動、車線変更、回避操作などのため、様々な役割で使用されてもよい。車両が依存しているＡＩアルゴリズムの誤動作は、重大な事故につながることがある。したがって、車両のＡＤ／ＡＤＡＳを使用できるようにするＡＩアルゴリズムの使用は有益であると期待されているが、これらのシステムが適正にかつ意図されるとおりに動作するのを担保することで、車両の安全性を改善することができる。
【０００５】
本発明は、このような課題に鑑みてなされたものであり、ＡＩアルゴリズムで起こることがある異常を検出するためのシステム、方法および非一時的コンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述した課題の少なくとも一部を解決する手段を複数含んでいるが、その一例を挙げるならば、以下の通りである。即ち、ＡＩシステムの異常を検出するシステムは、移動装置から、少なくとも移動装置位置データおよび人工知能（ＡＩ）出力データを受信し、移動装置位置データに対応する位置を決定し、少なくとも位置に基づいて、データ構造に格納されるとともに位置と関連付けられた過去のＡＩ出力データにアクセスし、受信したＡＩ出力データを、その位置に関してデータ構造に格納された過去のＡＩ出力データと比較し、受信したＡＩ出力データおよび位置と関連付けられた過去のＡＩ出力データの比較に少なくとも基づいて、移動装置に少なくとも１つのアクションを実施させる命令を移動装置に送信する。
【発明の効果】
【０００７】
本発明によれば、ＡＩアルゴリズムで起こることがある異常を検出するためのシステム、方法および非一時的コンピュータ可読媒体を提供することが可能となる。
【０００８】
上述した以外の課題、構成および効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
実施例におけるＡＩアルゴリズムの効率的なモニタリングを実施するシステムの論理構成の一例を示す図である。
実施例におけるシステムのハードウェア構成の一例を示す図である。
実施例における診断レベルの一例を示す図である。
実施例におけるＡＩアルゴリズムに対して診断を実施するためのプロセスの一例を示すフロー図である。
実施例における複数のＡＩアルゴリズムの中からＡＩ異常を有する可能性が高いＡＩアルゴリズムを識別する一例を示す図である。
実施例におけるＡＩ異常を検出するために偽陽性の数を低減する一例を示す図である。
実施例におけるＡＩアプリケーション出力データを履歴ＡＩアプリケーション出力データベースに追加するか否かを判定する一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施例の詳細な説明を記載する。図面中、参照番号の一番左の桁は、その参照番号が最初に登場する図面を特定する。異なる図面で同じ参照番号が使用される場合、類似もしくは同一の項目または特徴を指す。
【実施例】
（【００１１】以降は省略されています）

関連特許