特許ウォッチ

公開番号2025083795
公報種別公開特許公報(A)
公開日2025-06-02
出願番号2023197383
出願日2023-11-21
発明の名称画像認識モデル評価装置、画像認識モデル評価方法、及びプログラム
出願人三菱重工業株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06V 10/70 20220101AFI20250526BHJP(計算;計数)
要約【課題】画像認識モデルを適切に評価することができる画像認識モデル評価装置、画像認識モデル評価方法、及びプログラムを提供すること。
【解決手段】本開示に係る画像認識モデル評価装置は、画像認識モデルの評価に用いる評価用画像データを取得する取得部と、評価用画像データに基づいて、評価用画像データに写るオブジェクトを検出し、検出したオブジェクトに対してオブジェクトの種類を示すラベルを紐付けする処理を実行する推論処理部と、検出されたオブジェクトごとに画像認識処理の評価値を算出する評価値算出部と、オブジェクトごとの画像認識処理の評価値を含む情報を表示させる表示制御部と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
画像認識モデルの評価に用いる評価用画像データを取得する取得部と、
前記評価用画像データに基づいて、前記評価用画像データに写るオブジェクトを検出し、検出したオブジェクトに対してオブジェクトの種類を示すラベルを紐付けする処理を実行する推論処理部と、
前記推論処理部によって検出されたオブジェクトごとに画像認識処理の評価値を算出する評価値算出部と、
前記オブジェクトごとの画像認識処理の評価値を含む情報を表示させる表示制御部と、を備える、
画像認識モデル評価装置。
続きを表示（約 1,500 文字）【請求項２】
前記評価値算出部は、前記評価値として、前記推論処理部によって検出されたオブジェクトに紐付けられたラベルの確からしさを示す信頼度スコア、及び前記推論処理部によって検出されたオブジェクトの領域と、正解データのオブジェクトの領域の重なり具合を示す共通和集合割合指標を算出する、
請求項１に記載の画像認識モデル評価装置。
【請求項３】
前記評価値算出部は、正解データのオブジェクトの数によって、前記共通和集合割合指標と、前記信頼度スコアの両方が任意の閾値以上となる条件のラベルの数を示す正検知数を割った値を示す正検知率と、前記推論処理部によって検出されたオブジェクトの数によって、前記共通和集合割合指標と、前記信頼度スコアの少なくとも一方が閾値未満となる条件のラベルの数を示す誤検知数を割った値を示す誤検知率と、を前記評価値として算出する、
請求項２に記載の画像認識モデル評価装置。
【請求項４】
前記推論処理部が、前記評価用画像データに対して推論処理を実行した後に、前記推論処理部の推論処理結果について、前記評価用画像データごとに検出されたオブジェクトごとに表形式に纏めて記憶する推論結果保存部と、をさらに備える、
請求項１又は２に記載の画像認識モデル評価装置。
【請求項５】
ユーザーから各種の情報の入力を受け付ける受付部と、をさらに備え、
前記受付部は、ユーザーから前記共通和集合割合指標の閾値、及び前記信頼度スコアの閾値の入力を受け付け、
前記表示制御部は、前記推論処理部によって検出されたオブジェクトの前記共通和集合割合指標、及び前記信頼度スコアの両方が閾値を超えるオブジェクトの前記共通和集合割合指標、及び前記信頼度スコアを表示させる、
請求項３に記載の画像認識モデル評価装置。
【請求項６】
ユーザーから各種の情報の入力を受け付ける受付部と、をさらに備え、
前記受付部は、ユーザーから正検知率、及び誤検知率の条件を受け付け、
前記表示制御部は、ユーザーから受け付けた正検知率、及び誤検知率の条件に基づいて、当該の条件を満たす画像データを抽出して、当該の条件を満たす画像データのファイル名を表示する、
請求項３に記載の画像認識モデル評価装置。
【請求項７】
画像認識モデルの評価に用いる評価用画像データを取得するステップと、
前記評価用画像データに基づいて、前記評価用画像データに写るオブジェクトを検出し、検出したオブジェクトに対してオブジェクトの種類を示すラベルを紐付けする処理を実行するステップと、
検出されたオブジェクトごとに画像認識処理の評価値を算出するステップと、
前記オブジェクトごとの画像認識処理の評価値を含む情報を表示させるステップと、を含む、
画像認識モデル評価方法。
【請求項８】
画像認識モデルの評価に用いる評価用画像データを取得するステップと、
前記評価用画像データに基づいて、前記評価用画像データに写るオブジェクトを検出し、検出したオブジェクトに対してオブジェクトの種類を示すラベルを紐付けする処理を実行するステップと、
検出されたオブジェクトごとに画像認識処理の評価値を算出するステップと、
前記オブジェクトごとの画像認識処理の評価値を含む情報を表示させるステップと、
をコンピュータに実行させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像認識モデル評価装置、画像認識モデル評価方法、及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
機械学習技術を用いて画像に写る物体（オブジェクト）を認識し、種類ごとに分類する処理を行う画像認識処理技術が進歩してきている。機械学習技術を用いた画像認識処理技術を製品に適用するにあたっては、学習済みモデルを評価して、さらなる学習の方向性や、使用するモデルの妥当性を検討する必要があった。
【０００３】
例えば、下記の特許文献１には、対象モデルの入力データに関する複数のプロパティを取得する段階と、対象モデルを評価するための評価指標を取得する段階であって、複数のプロパティに関連する評価指標を取得する段階と、複数のプロパティに基づいて、予め定められた条件に該当する評価指標を特定するための指標特定データを出力する段階と、を備えるモデル評価方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－１５７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に記載のモデル評価方法は、対象モデルの性能を数値データによって表しグラフなどを用いて評価しているため、モデルが画像に対して推論した結果を画像データ上で評価することができなかった。
【０００６】
本開示は上記課題を鑑み、画像認識モデルを適切に評価することができる画像認識モデル評価装置、画像認識モデル評価方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係る画像認識モデル評価装置は、画像認識モデルの評価に用いる評価用画像データを取得する取得部と、前記評価用画像データに基づいて、前記評価用画像データに写るオブジェクトを検出し、検出したオブジェクトに対してオブジェクトの種類を示すラベルを紐付けする処理を実行する推論処理部と、前記推論処理部によって検出されたオブジェクトごとに画像認識処理の評価値を算出する評価値算出部と、前記オブジェクトごとの画像認識処理の評価値を含む情報を表示させる表示制御部と、を備える。
【０００８】
上述した課題を解決し、目的を達成するために、本開示に係る画像認識モデル評価方法は、画像認識モデルの評価に用いる評価用画像データを取得するステップと、前記評価用画像データに基づいて、前記評価用画像データに写るオブジェクトを検出し、検出したオブジェクトに対してオブジェクトの種類を示すラベルを紐付けする処理を実行するステップと、検出されたオブジェクトごとに画像認識処理の評価値を算出するステップと、前記オブジェクトごとの画像認識処理の評価値を含む情報を表示させるステップと、を含む。
【０００９】
上述した課題を解決し、目的を達成するために、本開示に係るプログラムは、画像認識モデルの評価に用いる評価用画像データを取得するステップと、前記評価用画像データに基づいて、前記評価用画像データに写るオブジェクトを検出し、検出したオブジェクトに対してオブジェクトの種類を示すラベルを紐付けする処理を実行するステップと、検出されたオブジェクトごとに画像認識処理の評価値を算出するステップと、前記オブジェクトごとの画像認識処理の評価値を含む情報を表示させるステップと、をコンピュータに実行させる。
【発明の効果】
【００１０】
本開示によれば、画像認識モデルを適切に評価することができる画像認識モデル評価装置、画像認識モデル評価方法、及びプログラムができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許