特許ウォッチ

公開番号2025174946
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2025082719
出願日2025-05-16
発明の名称画像分類モデルを監視及び評価するための方法及び装置
出願人ローベルトボツシユゲゼルシヤフトミツトベシユレンクテルハフツング,ROBERT BOSCH GMBH
代理人アインゼル・フェリックス=ラインハルト,個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20251120BHJP(計算;計数)
要約【課題】特にエラーを識別する目的で、例えば、構成部品の製造の分野における自動光学検査において使用するための、較正された画像分類モデルを監視及び評価するための方法及び装置に関する。
【解決手段】本方法は、較正された画像分類モデルを用いて画像を分類することと、較正された画像分類モデルを用いて分類されるそれぞれの画像ごとに、当該それぞれの画像に対して予測されるソフトマックス分布と、較正された画像分類モデルのクラスの特徴的なソフトマックス分布とに基づいて、最小のクラス依存性の一致値を決定することと、較正された画像分類モデルの性能をユーザが分析することを可能にするマンマシンインタフェース上の視覚的出力を生成することと、を含む。
【選択図】図2
特許請求の範囲【請求項１】
較正された画像分類モデルを監視及び評価するためのコンピュータ実装された方法（１００）であって、
前記方法は、
ソフトマックス分布を予測することが含まれる、前記較正された画像分類モデルを用いて画像を分類すること（１１０）と、
前記較正された画像分類モデルを用いて分類されるそれぞれの画像ごとに、当該それぞれの画像に対して予測されるソフトマックス分布と、前記較正された画像分類モデルのクラスの特徴的なソフトマックス分布とに基づいて、最小のクラス依存性の一致値を決定すること（１２０）であって、それぞれの画像の最小のクラス依存性の一致値を決定することは、カルバック・ライブラー情報量に基づいて、前記それぞれの画像の予測されるソフトマックス分布と、前記較正された画像分類モデルのクラスの特徴的なソフトマックス分布との比較によって実施される、こと（１２０）と、
前記較正された画像分類モデルの性能をユーザが分析することを可能にするマンマシンインタフェース上の視覚的出力を生成すること（１３０）であって、前記視覚的出力には、前記較正された画像分類モデルのそれぞれのクラスごとのクラス別表示が含まれる、こと（１３０）と、
を含み、
それぞれのクラス別表示では、前記較正された画像分類モデルを用いてそれぞれのクラスへと分類されたそれぞれの画像が１つのデータ点として表示され、
それぞれのデータ点は、前記それぞれのクラスの画像のソフトマックス値として、対応するクラス依存性の一致値にわたってプロットされ、
それぞれのデータ点がカラーで表示され、
前記それぞれの画像の前記最小のクラス依存性の一致値のクラスに基づいて色が選択される、方法。
続きを表示（約 1,800 文字）【請求項２】
前記視覚的出力のそれぞれのクラス別表示においてデータ点が選択されたことに基づいて、前記データ点の基礎となる画像が、前記マンマシンインタフェース上の前記視覚的出力において表示される（１４０）、
請求項１に記載の方法。
【請求項３】
前記視覚的出力に基づいて、前記較正された画像分類モデルの少なくとも１つの評価が導出され、
前記評価は、
前記較正された画像分類モデルによって提供されたチェックされるべき分類についての少なくとも１つのクラスを識別すること、及び／又は、
前記較正された画像分類モデルによって提供されたチェックされるべき分類についての少なくとも１つのデータ点、特に前記データ点の基礎となる画像を識別すること
を含む、
請求項１又は２に記載の方法。
【請求項４】
前記較正された画像分類モデルの前記評価に基づいて、
ａ）前記較正された画像分類モデルを、新しい訓練データ集合で訓練するステップ、及び／又は、
ｂ）少なくとも前記較正された画像分類モデルによって提供されたチェックされるべき分類についての前記クラスのクラス定義を改訂するステップ
のうちの少なくとも１つが実施される、
請求項３に記載の方法。
【請求項５】
前記較正された画像分類モデルの前記特徴的なソフトマックス分布は、前記較正された画像分類モデルの検証データ集合及び／又は訓練データ集合のクラスの平均ソフトマックス分布である、
請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記較正された画像分類モデルの前記特徴的なソフトマックス分布は、前記モデルの開発中に記録されたソフトマックス分布に基づいて決定される、
請求項１に記載の方法。
【請求項７】
較正された画像分類モデルを監視及び評価するための前記方法は、前記較正された画像分類モデルの使用時間中にリアルタイムで画像を分類するために実施される、
請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
較正された画像分類モデルを監視及び評価するための装置であって、
前記装置は、計算装置を含み、
前記計算装置は、機械可読命令を実行するように構成されており、前記計算装置によって前記機械可読命令が実行された場合に、請求項１乃至７のいずれか一項に記載の方法を実施することが可能であり、
前記装置は、マンマシンインタフェースを含み、
請求項１乃至７のいずれか一項に記載の方法を実施することによって、前記マンマシンインタフェース上の視覚的出力を引き起こすことが可能であり、
前記視覚的出力には、前記較正された画像分類モデルのそれぞれのクラスごとのクラス別表示が含まれ、
それぞれのクラス別表示では、前記較正された画像分類モデルを用いてそれぞれのクラスへと分類されたそれぞれの画像を１つのデータ点として表示することが可能であり、
それぞれのデータ点を、前記それぞれのクラスの画像の最高のソフトマックス値として、対応するクラス依存性の一致値にわたってプロットすることが可能であり、
それぞれのデータ点をカラーで表示することが可能であり、
前記それぞれの画像の前記最小のクラス依存性の一致値のクラスに基づいて色を選択することが可能である、装置。
【請求項９】
前記視覚的出力のそれぞれのクラス別表示においてデータ点が選択されたことに基づいて、前記データ点の基礎となる画像を、前記マンマシンインタフェース上の前記視覚的出力において表示することが可能である、
請求項８に記載の装置。
【請求項１０】
自動光学検査ＡＯＩのための較正された画像分類モデル、例えば、構成部品の製造において前記構成部品の自動光学検査のために使用される較正された画像分類モデルを監視するための方法の使用であって、
前記較正された画像分類モデルは、複数クラスモデルであり、
前記較正された画像分類モデルは、エラータイプに応じてエラーを分類するように訓練されており、
エラータイプは、前記較正された画像分類モデルのそれぞれのクラスに対応付けられている、方法の使用。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
従来技術
本開示は、画像分類モデルを監視及び評価するためのコンピュータ実装された方法及び装置に関する。さらなる実施形態は、本方法の使用と、このような装置を含む製造設備とに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
自動光学検査ＡＯＩの分野、例えば製造の分野においては、使用されている画像分類モデルの適正な動作を監視して、モデルの性能を評価することが追求されている。監視及び性能評価のためには、原則的に、クラスラベルが付されたデータ集合が必要とされる。しかしながら、画像分類モデルを使用する時点では、原則的に、ラベル付けされたデータを利用することはできない。したがって、監視は、課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
問題となるのは、例えば、モデルが、そのモデルを訓練した際に基礎とした画像から相違している画像、又は、そのモデルを訓練した際に基礎とした画像にほとんど若しくは全く類似していない画像を分類するために使用される場合である。モデルを訓練した際に基礎とした画像とは異なる画像を分類することは、分布外検出（Out-of-Distribution Detection）ＯＯＤと称される。ＯＯＤ画像を識別するための公知の方法は、モデルの中間層へのアクセスを必要とし、したがって、実行に手間がかかり、評価において直感的に使用することはできない。
【課題を解決するための手段】
【０００４】
発明の開示
上記の課題を解決するために、請求項１に記載のコンピュータ実装された方法と、請求項９に記載の装置とが提案される。
【０００５】
一実施形態は、較正された画像分類モデルを監視及び評価するためのコンピュータ実装された方法であって、本方法は、ソフトマックス分布を予測することが含まれる、較正された画像分類モデルを用いて画像を分類することと、較正された画像分類モデルを用いて分類されるそれぞれの画像ごとに、当該それぞれの画像に対して予測されるソフトマックス分布と、較正された画像分類モデルのクラスの特徴的なソフトマックス分布とに基づいて、最小のクラス依存性の一致値を決定することと、較正された画像分類モデルの性能をユーザが分析することを可能にするマンマシンインタフェース上の視覚的出力を生成することであって、視覚的出力には、較正された画像分類モデルのそれぞれのクラスごとのクラス別表示が含まれる、ことと、を含み、それぞれのクラス別表示では、較正された画像分類モデルを用いてそれぞれのクラスへと分類されたそれぞれの画像が１つのデータ点として表示され、それぞれのデータ点は、それぞれのクラスの画像のソフトマックス値として、対応するクラス依存性の一致値にわたってプロットされ、それぞれのデータ点がカラーで表示され、それぞれの画像の最小のクラス依存性の一致値のクラスに基づいて色が選択される、方法に関する。
【０００６】
本方法によれば、予測されるソフトマックス分布に基づいて、すなわち、ソフトマックス出力に基づいて、つまり、較正された画像分類モデルの分類器が予測したクラス確率に基づいて、監視及び評価が実施されるということが想定されている。
【０００７】
それぞれの画像ごとに、予測されるソフトマックス分布と、較正された画像分類モデルのクラスの特徴的なソフトマックス分布とに基づいて、最小のクラス依存性の一致値が決定される。この最小のクラス依存性の一致値は、予測されるソフトマックス分布に従って、較正された画像分類モデルのクラスの特徴的なソフトマックス分布からの偏差が最も小さいクラスを表している。
【０００８】
さらに、較正された画像分類モデルの性能をユーザが分析することを可能にするマンマシンインタフェース上の視覚的出力が生成されるということが想定されている。このために、視覚的出力には、較正された画像分類モデルのそれぞれのクラスごとのクラス別表示が含まれる。それぞれのクラス別表示では、較正された画像分類モデルを用いてそれぞれのクラスへと分類されたそれぞれの画像が１つのデータ点として表示され、したがって、それぞれのクラス別表示は、複数のデータ点を含み、すなわち、較正された画像分類モデルを用いてそれぞれのクラスへと分類された画像の個数のデータ点を含む。それぞれのクラスｋへと分類することは、予測されるソフトマックス値ｐに基づいて実施され、ただし、
TIFF
2025174946000002.tif
9
169
である。それぞれのデータ点は、視覚的出力のクラス別表示において、線図内のデータ点として表示され、それぞれのデータ点は、それぞれのクラスの画像のソフトマックス値として、対応するクラス依存性の一致値にわたってプロットされる。すなわち、線図は、データ点を、それぞれのクラスの、そのデータ点の基礎となる画像のソフトマックス値として、対応するクラス依存性の一致値にわたって示す。クラス別表示とは、較正された画像分類モデルのそれぞれのクラスごとに別個の線図が生成及び表示されるということを意味する。線図内においては、それぞれのデータ点がカラーで表示される。カラー表示の色は、データ点の基礎となる画像が最小のクラス依存性の一致値を有しているクラスに基づいている。
【０００９】
例えば、第１のクラスのクラス別表示では、較正された画像分類モデルを用いて、予測されるソフトマックス分布に基づいて第１のクラスへと分類された画像が、データ点として表示される。すなわち、第１のクラスは、画像の予測されるソフトマックス分布においてそれぞれ最高のソフトマックス値を有する。その場合、それぞれのデータ点が、線図内で、第１のクラスのソフトマックス値として、対応するクラス依存性の一致値にわたって、すなわち、第１のクラスに対する一致値にわたってプロットされる。
【００１０】
視覚的出力は、それぞれのクラスのクラス別表示において、それぞれのデータ点の基礎となる画像のそれぞれのソフトマックス値における対応するクラス依存性の一致値がどのくらい高いかについての情報を提供する。クラス依存性の一致値が小さければ小さいほど、それぞれの表示されたクラスの分類がより確実に機能する。
（【００１１】以降は省略されています）

関連特許