特許ウォッチ

公開番号2025178108
公報種別公開特許公報(A)
公開日2025-12-05
出願番号2025034025
出願日2025-03-04
発明の名称表面欠陥検出方法
出願人広東鴻浩半導体設備有限公司,Guangdong Honhor Semiconductor Equipment Co., Ltd.
代理人TRY国際弁理士法人
主分類G06T 1/00 20060101AFI20251128BHJP(計算;計数)
要約【課題】直感的で迅速かつ正確に被検出物画像中の異常点を判断することができる表面欠陥検出方法を提供する。
【解決手段】方法は、被検物出画像を取得し、被検出物画像を予め訓練されたニューラルネットワークモデルに入力し、検出スコアが記載された複数の検出ボックスを得ることと、複数の検出ボックスに記載された検出スコアをそれぞれ二次元配列にマッピングすることと、検出スコアをフィッティングし、そしてフィッティングした検出スコアをRGB多項式回帰式に代入することと、検出スコアを代入したRGB多項式回帰式を利用して、二次元配列に記載された各検出スコアを三次元RGB数値にマッピングすることと、三次元RGB数値に基づいてヒートマップを生成し、ヒートマップを被検出物画像上に重畳して、ヒートマップ内に表示された異常点を提示することと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
表面欠陥検出方法であって、
被検物出画像を取得し、前記被検出物画像を予め訓練されたニューラルネットワークモデルに入力し、検出スコアが記載された複数の検出ボックスを得ることと、
前記複数の検出ボックスに記載された検出スコアをそれぞれ二次元配列にマッピングすることと、
前記検出スコアをフィッティングし、そしてフィッティングした検出スコアをＲＧＢ多項式回帰式に代入することと、
前記検出スコアを代入したＲＧＢ多項式回帰式を利用して、前記二次元配列に記載された各検出スコアを三次元ＲＧＢ数値にマッピングすることと、
前記三次元ＲＧＢ数値に基づいてヒートマップを生成し、前記ヒートマップを前記被検出物画像上に重畳して、ヒートマップ内に表示された異常点を提示することとを含む、ことを特徴とする表面欠陥検出方法。
続きを表示（約 3,100 文字）【請求項２】
前記ニューラルネットワークモデルの訓練方法は、
それぞれマルチチャネルＲＧＢ画像である、異常点を有する被検出物の画像を撮影することと、
各前記被検出物画像中の異常点を手動でマーキングし、それぞれの内部には前記被検出物の異常点が含まれる検出ボックスを利用して画像に異常点を囲むことと、
異常点を含む画像をスクリーニングしてデータセットを構築し、前記データセットを訓練セットとテストセットに区分することと、
ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを構築し且つ訓練セットにおける画像データを入力して訓練し、ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを生成し、ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤモデルの自律学習能力を利用して画像に特徴抽出を行い、異なる解像度の複数の特徴画像を取得し、前記異なる解像度の複数の特徴画像に基づいて、これらの特徴画像上に異なる解像度の複数の検出ボックスを生成し、異なる解像度の複数の検出ボックスにおける各画素点が異常点の確率を出力し、テストセットの画像データを利用して前記ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを評価することで、最適化後のニューラルネットワークモデルを取得することができることとを含む、ことを特徴とする請求項１に記載の表面欠陥検出方法。
【請求項３】
前記生成されたＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルにより、生成された異なる解像度と位置との組み合わせの検出ボックスに位置調整を行うことで、これらの検出ボックスを異常点がマーキングされた真のボックスに近接させて、ニューラルネットワークモデルを最適化させ、これにより、最適化後のＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを得、テストセットの画像データを利用して前記最適化後のＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを評価することで、最適化後のニューラルネットワークモデルを取得することができることをさらに含む、ことを特徴とする請求項２に記載された表面欠陥検出方法。
【請求項４】
前記の、前記複数の検出ボックスに記載された検出スコアをそれぞれ二次元配列にマッピングすることは、
元の検出画像の大きさに従って、同じ大きさの二次元行列を確立することと、
検出ボックス内の各画素点の座標に従って、検出ボックス内の各画素点の検出スコアを前記二次元行列の対応する要素に対応づけて代入することと、
以上のステップを繰り返し、各検出ボックス内の各画素点の検出スコアを前記二次元行列の対応する要素に積算することとを含み、このように、二次元行列内の各要素値は、各検出ボックス内の対応する画素点の検出スコアを累積した累積和である、ことを特徴とする請求項１に記載の表面欠陥検出方法。
【請求項５】
前記二次元配列に記載された各検出スコアを三次元ＲＧＢ数値にマッピングすることは、
元の検出画像の大きさに従って１つのＲＧＢ行列を生成し、二次元行列内の各要素の検出スコアをそれぞれＲ、Ｇ、Ｂ多項式回帰式で計算して前記ＲＧＢ行列内の各ＲＧＢチャンネルの数値を得ることを含む、ことを特徴とする請求項３に記載された表面欠陥検出方法。
【請求項６】
前記の、フィッティングした検出スコアをＲＧＢ多項式回帰式に代入することは、
色と検出スコアとの関係をカスタムすることと、
前記検出スコアと色のＲＧＢ値との関係を利用して多項式回帰式ｆ（ｘ）＝ａ
ｎ
ｘ
ｎ
＋ａ
ｎ－１
ｘ
（ｎ－１）
＋…＋ａ
２
ｘ
２
＋ａ
１
ｘ＋ａ
ｏ
における各定数を特定し、さらに下記多項式回帰式の解を得ることとを含む、ことを特徴とする請求項１又は５に記載された表面欠陥検出方法。
Ｒ＝１．０６１０５Ｘ
７
－３．１２５７０Ｘ
６
＋３．４００３６Ｘ
５
－１．６８４０７Ｘ
４
＋３．８６７２８Ｘ
３
－３．６８３３７Ｘ
２
＋１．０１２１０Ｘ
１
＋１．３８６９４、
Ｇ＝２．１２２１１Ｘ
７
－７．７３６８８Ｘ
６
＋１．１２５７１Ｘ
５
－８．２６６９４Ｘ
４
＋３．１４３６２Ｘ
３
－５．５２８３９Ｘ
２
＋３．３７５４５Ｘ
１
－１．９８１３５、
Ｂ＝－２．１２２１１Ｘ
７
＋８．２９３９４Ｘ
６
－１．２９２８３Ｘ
５
＋１．０１２４９Ｘ
４
－４．０７４２８Ｘ
３
＋７．４１６５３Ｘ
２
－３．５７６６９Ｘ
１
＋７．９２５４０。
【請求項７】
前記色と検出スコアとの関係は、以下のとおりであり、
検出スコアが１の場合に対応するＲＧＢ値は、それぞれ２５５、０、０であり、
検出スコアが０．８７５の場合に対応するＲＧＢ値は、それぞれ２５５、１２７．５、０であり、
検出スコアが０．７５の場合に対応するＲＧＢ値は、それぞれ２５５、２５５、０であり、
検出スコアが０．６２５の場合に対応するＲＧＢ値は、それぞれ１２７．５、２５５、０であり、
検出スコアが０．５の場合に対応するＲＧＢ値は、それぞれ０、２５５、０であり、
検出スコアが０．３７５の場合に対応するＲＧＢ値は、それぞれ０、１２７．５、１２７．５であり、
検出スコアが０．２５の場合に対応するＲＧＢ値は、それぞれ０、０、２５５であり、
検出スコアが０．１２５の場合に対応するＲＧＢ値は、それぞれ０、０、１２７．５であり、
検出スコアが０の場合に対応するＲＧＢ値は、それぞれ０、０、０である、ことを特徴とする請求項６に記載された表面欠陥検出方法。
【請求項８】
前記フィッティングした検出スコアを代入したＲＧＢ多項式回帰式において、特定係数Ｒ
２
Ｓｃｏｒｅは、モデルの適合性を評価する指標であり、
JPEG
2025178108000007.jpg
18
170
【請求項９】
前記二次元配列に記載された各検出スコアを正規化処理し後に（０～１）にマッピングすることをさらに含み、正規化式は、以下のとおりであり、
JPEG
2025178108000008.jpg
24
170
【請求項１０】
撮影された、被検出物が記載された画像を前処理した後に、予め訓練されたＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルに入力し、複数の解像度と位置との組み合わせの検出ボックスにおける各画素点が異常点の検出スコアを生成する、ことを特徴とする請求項１に記載の表面欠陥検出方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像検出の技術分野に関し、具体的には、表面欠陥検出方法に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
ヒートマップ（Ｈｅａｔｍａｐ）は、データ密度を色で表示する視覚化ツールである。データを異なる色のホットポイント形式で二次元空間に表示し、データの分布状況と集中度を示すために用いられる。これにより、データの傾向とパターンを観察するのに役立ち。数値データを色にマッピングすることで、ヒートマップを生成する。通常、データ値が大きいほど色が濃くなり、データ値が小さいほど色が薄くなる。これは、さまざまな製品の異常障害タイプの検出に適用することができる。
【０００３】
現在、ウエハ異常点を検出するための一般的な方法では、検出ボックスで結果を提示するのは、良い方法であるが、検出ボックスが多すぎると、検出結果を見るのにかなり不利であり、１枚の図に複数の検出ボックスが現れ、検出ボックスが重なると考えてみると、このような検出結果の図は、かなり複雑であり、検出結果の判断にも不利である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これに鑑み、本発明は、従来の表面欠陥検出方法の精度が高くない問題を解決することを目的とした表面欠陥検出方法を提案する。
【課題を解決するための手段】
【０００５】
本発明は、表面欠陥検出方法であって、
被検物出画像を取得し、前記被検出物画像を予め訓練されたニューラルネットワークモデルに入力し、検出スコアが記載された複数の検出ボックスを得ることと、
前記複数の検出ボックスに記載された検出スコアをそれぞれ二次元配列にマッピングすることと、
前記検出スコアをフィッティングし、そしてフィッティングした検出スコアをＲＧＢ多項式回帰式に代入することと、
前記検出スコアを代入したＲＧＢ多項式回帰式を利用して、前記二次元配列に記載された各検出スコアを三次元ＲＧＢ数値にマッピングすることと、
前記三次元ＲＧＢ数値に基づいてヒートマップを生成し、前記ヒートマップを前記被検出物画像上に重畳して、ヒートマップ内に表示された異常点を提示することとを含む、表面欠陥検出方法を提供する。
【０００６】
さらに、上記表面欠陥検出方法では、前記ニューラルネットワークモデルの訓練方法は、
それぞれマルチチャネルＲＧＢ画像である、異常点を有する被検出物の画像を撮影することと、
各前記被検出物画像中の異常点を手動でマーキングし、それぞれの内部には前記被検出物の異常点が含まれる検出ボックスを利用して画像に異常点を囲むことと、
異常点を含む画像をスクリーニングしてデータセットを構築し、前記データセットを訓練セットとテストセットに区分することと、
ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを構築し且つ訓練セットにおける画像データを入力して訓練し、ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを生成し、ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤモデルの自律学習能力を利用して画像に特徴抽出を行い、異なる解像度の複数の特徴画像を取得し、上記異なる解像度の複数の特徴画像に基づいて、これらの特徴画像上に異なる解像度の複数の検出ボックスを生成し、異なる解像度の複数の検出ボックスにおける各画素点が異常点の確率を出力し、テストセットの画像データを利用して上記ＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを評価することで、最適化後のニューラルネットワークモデルを取得することができることとを含む。
【０００７】
さらに、上記表面欠陥検出方法では、上記生成されたＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルにより、生成された異なる解像度と位置との組み合わせの検出ボックスに位置調整を行うことで、これらの検出ボックスを異常点がマーキングされた真のボックスに近接させて、ニューラルネットワークモデルを最適化させ、これにより、最適化後のＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを得、テストセットの画像データを利用して上記最適化後のＥｆｆｉｃｉｅｎｔＮｅｔ－ＳＳＤアルゴリズムに基づくニューラルネットワークモデルを評価することで、最適化後のニューラルネットワークモデルを取得することができることをさらに含む。
【０００８】
さらに、上記表面欠陥検出方法では、前記の、前記複数の検出ボックスに記載された検出スコアをそれぞれ二次元配列にマッピングすることは、
元の検出画像の大きさに従って、同じ大きさの二次元行列を確立することと、
検出ボックス内の各画素点の座標に従って、検出ボックス内の各画素点の検出スコアを前記二次元行列の対応する要素に対応づけて代入することと、
以上のステップを繰り返し、各検出ボックス内の各画素点の検出スコアを前記二次元行列の対応する要素に積算することとを含み、このように、二次元行列内の各要素値は、各検出ボックス内の対応する画素点の検出スコアを累積した累積和である。
【０００９】
さらに、上記表面欠陥検出方法では、二次元配列に記載された各検出スコアを三次元ＲＧＢ数値にマッピングすることは、
元の検出画像の大きさに従って１つのＲＧＢ行列を生成し、二次元行列内の各要素の検出スコアをそれぞれＲ、Ｇ、Ｂ多項式回帰式で計算して前記ＲＧＢ行列内の各ＲＧＢチャンネルの数値を得ることを含む。
【００１０】
さらに、上記表面欠陥検出方法では、前記の、フィッティングした検出スコアをＲＧＢ多項式回帰式に代入することは、
色と検出スコアとの関係をカスタムすることと、
前記検出スコアと色のＲＧＢ値との関係を利用して多項式回帰式ｆ（ｘ）＝ａ
ｎ
ｘ
ｎ
＋ａ
ｎ－１
ｘ
（ｎ－１）
＋…＋ａ
２
ｘ
２
＋ａ
１
ｘ＋ａ
ｏ
における各定数を特定し、さらに下記多項式回帰式の解を得ることとを含む。
（【００１１】以降は省略されています）

関連特許