特許ウォッチ

公開番号2025167282
公報種別公開特許公報(A)
公開日2025-11-07
出願番号2024071758
出願日2024-04-25
発明の名称欠陥検査装置及び欠陥検査方法
出願人日本製鉄株式会社
代理人弁理士法人太陽国際特許事務所
主分類G06V 10/80 20220101AFI20251030BHJP(計算;計数)
要約【課題】着目する検査工程における対象物の欠陥の検出精度を向上させる。
【解決手段】欠陥検査装置は、着目する検査工程において、対象物の欠陥の検査を行う欠陥検査装置であって、着目する検査工程において、対象物を画像化した教師用画像を取得し、特徴抽出を目的とするニューラルネットワークである基盤モデルを、教師用画像及び教師用画像に写った欠陥に関するデータを用いて追加学習し、着目する検査工程において、対象物の検査したい部位を画像化した検査用画像を取得し、ファインチューニング部で基盤モデルを追加学習した個別モデルを用いて、検査用画像から、着目する検査工程における対象物の欠陥を評価し、検査用画像に写った前記対象物の欠陥に応じた特徴量から、着目する検査工程における前記対象物の欠陥を評価し、第1評価部での評価結果と、第2評価部での評価結果とに基づいて、対象物の欠陥の検査を行う。
【選択図】図2
特許請求の範囲【請求項１】
着目する検査工程において、対象物の欠陥の検査を行う欠陥検査装置であって、
前記着目する検査工程において、前記対象物を画像化した教師用画像を取得する教師用画像取得部と、
特徴抽出を目的とするニューラルネットワークである基盤モデルを、前記教師用画像及び前記教師用画像に写った前記欠陥に関するデータを用いて追加学習するファインチューニング部と、
前記着目する検査工程において、前記対象物の検査したい部位を画像化した検査用画像を取得する検査用画像取得部と、
前記ファインチューニング部で前記基盤モデルを追加学習した個別モデルを用いて、前記検査用画像から、前記着目する検査工程における前記対象物の欠陥を評価する第１評価部と、
前記検査用画像に写った前記対象物の欠陥に応じた特徴量から、前記着目する検査工程における前記対象物の欠陥を評価する第２評価部と、
前記第１評価部での評価結果と、前記第２評価部での評価結果とに基づいて、前記対象物の欠陥の検査を行う欠陥検査部と、
を有する、欠陥検査装置。
続きを表示（約 1,300 文字）【請求項２】
前記基盤モデルは、
前記着目する検査工程とは異なる他の検査工程から得られたデータ、及び、検査以外の処理を行う他工程から得られたデータの少なくともいずれか一方を含む教師データを学習したニューラルネットワークである、請求項１に記載の欠陥検査装置。
【請求項３】
前記欠陥検査部は、
前記第１評価部での評価結果と前記第２評価部での評価結果に、それぞれ、０を取り得る所定の値による重み付けを行い、ＡＮＤ演算又はＯＲ演算することで得られた結果に基づいて、前記対象物の欠陥の検査を行う、請求項２に記載の欠陥検査装置。
【請求項４】
前記欠陥検査部は、
前記第１評価部での評価における前記個別モデルの中間層から得られたデータと、前記第２評価部での評価結果とに基づいて、前記対象物の欠陥の検査を行う、請求項２に記載の欠陥検査装置。
【請求項５】
着目する検査工程において、対象物の欠陥の検査を行う欠陥検査方法であって、
前記着目する検査工程において、前記対象物を画像化した教師用画像を取得する教師用画像取得ステップと、
特徴抽出を目的とするニューラルネットワークである基盤モデルを、前記教師用画像及び前記教師用画像に写った前記欠陥に関するデータを用いて追加学習するファインチューニングステップと、
前記着目する検査工程において、前記対象物の検査したい部位を画像化した検査用画像を取得する検査用画像取得ステップと、
前記ファインチューニングステップで前記基盤モデルを追加学習した個別モデルを用いて、前記検査用画像から、前記着目する検査工程における前記対象物の欠陥を評価する第１評価ステップと、
前記検査用画像に写った前記対象物の欠陥に応じた特徴量から、前記着目する検査工程における前記対象物の欠陥を評価する第２評価ステップと、
前記第１評価ステップでの評価結果と、前記第２評価ステップでの評価結果とに基づいて、前記対象物の欠陥の検査を行う欠陥検査ステップと、
を有する、欠陥検査方法。
【請求項６】
前記基盤モデルは、
前記着目する検査工程とは異なる他の検査工程から得られたデータ、及び、検査以外の処理を行う他工程から得られたデータの少なくともいずれか一方を含む教師データを学習したニューラルネットワークである、請求項５に記載の欠陥検査方法。
【請求項７】
前記欠陥検査ステップは、
前記第１評価ステップでの評価結果と前記第２評価ステップでの評価結果に、それぞれ、０を取り得る所定の値による重み付けを行い、ＡＮＤ演算又はＯＲ演算することで得られた結果に基づいて、前記対象物の欠陥の検査を行う、請求項６に記載の欠陥検査方法。
【請求項８】
前記欠陥検査ステップは、
前記第１評価ステップでの評価における前記個別モデルの中間層から得られたデータと、前記第２評価ステップでの評価結果とに基づいて、前記対象物の欠陥の検査を行う、請求項６に記載の欠陥検査方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、欠陥検査装置及び欠陥検査方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
多くの産業分野において機械学習手法によって学習された識別器を用いることで、膨大なデータから経験や知識を抽出して自動化に繋げる動きが活発である。特に、製造業での表面検査や超音波探傷等の欠陥検査をはじめとする非破壊検査での画像認識分野では、深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）をはじめとするニューラルネットワークをベースとした機械学習モデルが数多く導入され、飛躍的な精度向上が確認されている。機械学習モデルを教師有りで学習するためには、事前に人間が正解を付与した十分な量のデータ（以降、学習データ若しくは教師データと呼ぶ）を用意する必要がある。
【０００３】
しかしながら、表面検査や超音波探傷等の非破壊検査では、検出対象とする欠陥の発生頻度が低い場合や欠陥に関するデータの収集が操業上困難である場合があり、十分な量の教師データを収集することが一般的に困難である。
【０００４】
そこで、収集に困難性が伴う教師データの数を抑制しながらも一定の精度を得る目的で、ファインチューニングと呼ばれる手法が用いられることがある。ファインチューニングは、教師有り学習では一般的なようにランダムに初期値を設定するのではなく、事前に特定の画像データセットを学習させた機械学習モデル（学習済みモデル）を初期値として、追加の学習を行う手法である。例えば、特許文献１の段落「００４９」には、以下の記述がある。
【０００５】
「次に、ファインチューニングについて説明する。ファインチューニングとは、学習済みの畳み込みニューラルネットワークの流用により、物体の認識精度を向上、学習用データが少量で済むなどの効果を得る技術である。学習済みの畳み込みニューラルネットワークは、大規模なデータセットを学習させた階層型ネットワークであり、大規模なデータセットには、画像分類用のデータセットの他、物体検出用のデータセット、セグメンテーション用のデータセット等様々な種類がある。」
【０００６】
また、特許文献２の段落「００１７」には、ファインチューニングに用いる学習済みモデルに関する以下の記載がある。
【０００７】
「学習済モデルは、学習装置１３とは異なる外部の学習装置において最適化された、他の半導体装置等の学習済モデルであってもよい。」
【０００８】
特許文献２記載の技術では、自然界に存在する画像やインターネット上の画像ではなく、他の半導体装置から取得した何らかのデータを学習したモデルをファインチューニングに使用している。
【先行技術文献】
【特許文献】
【０００９】
特開２０２２－６６６３７号公報
特開２０２３－１０６０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、製造業の検査工程における表面検査や超音波探傷では、ファインチューニングされた機械学習モデルが、検出したい全ての欠陥にとって有効とは限らない。例えば、機械学習モデルを使用しない従来の検査フロー、例えば、古典的な画像処理方法である二値化やラベリング、経験的に設計した画像特徴量による判別処理や条件式等を用いた検査フローの方が有効に作用する欠陥もある。つまり、特許文献１に記載されているような、ファインチューニングされた機械学習モデルのみでは、検出対象の欠陥の全てを精度よく検出することができない。
（【００１１】以降は省略されています）

関連特許