特許ウォッチ

公開番号2024169403
公報種別公開特許公報(A)
公開日2024-12-05
出願番号2024084087
出願日2024-05-23
発明の名称ニューラルネットワークトレーニング方法及び欠陥検出方法、装置並びにコンピュータプログラム
出願人株式会社リコー
代理人個人,個人
主分類G06N 3/0895 20230101AFI20241128BHJP(計算;計数)
要約【課題】ニューラルネットワークトレーニング方法及び欠陥検出方法、装置及びコンピュータ読み取り可能な記憶媒体を提供する。
【解決手段】ニューラルネットワークのトレーニング方法は、トレーニング画像を入力し、トレーニング画像の知覚マップを計算するステップと、トレーニング画像及びトレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップと、第一サブモジュールを含む再構成ネットワークによってトレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及びトレーニング再構成画像の知覚マップを取得するステップと、トレーニング画像、トレーニング再構成画像及びトレーニング再構成画像の知覚マップに基づいて欠陥検出を行い、ニューラルネットワークをトレーニングしてニューラルネットワークのパラメータを調整するステップと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
ニューラルネットワークのトレーニング装置が実行する、ニューラルネットワークのトレーニング方法であって、
トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、
第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、
前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を含むことを特徴とするニューラルネットワークのトレーニング方法。
続きを表示（約 2,500 文字）【請求項２】
前記トレーニング画像の知覚マップを計算するステップは、
前記トレーニング画像のマルチスケール知覚マップを計算することを含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項３】
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップは、
欠陥マスク画像を生成し、前記トレーニング画像に基づいて１つ以上の欠陥テクスチャ画像を生成することと、
欠陥制御パネル及び前記欠陥マスク画像に基づき、且つ前記トレーニング画像のマルチスケール知覚マップを利用して、前記トレーニング画像と前記１つ以上の欠陥テクスチャ画像とを融合して、トレーニング欠陥画像を生成することであって、前記欠陥制御パネルは、前記欠陥テクスチャ画像が前記トレーニング画像に占める割合を制御するために用いられる、ことと、を含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項４】
前記第一サブモジュールは、特徴受容野を拡張するための膨張畳み込みネットワークを含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項５】
前記再構成ネットワークはエンコーダおよびデコーダを備え、前記エンコーダおよびデコーダの各階層にそれぞれ第一サブモジュールが設置されることを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項６】
少なくとも前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行うステップは、
第二サブモジュールを含む分割ネットワークによって、前記トレーニング画像と前記トレーニング再構成画像との間の差異、前記トレーニング画像と前記トレーニング再構成画像の知覚マップとの間の差異、前記トレーニング画像と前記トレーニング再構成画像および前記トレーニング再構成画像の知覚マップとの間の差異を、それぞれ抽出して欠陥検出を行うこと、を含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項７】
前記分割ネットワークはエンコーダおよびデコーダを備え、前記エンコーダおよびデコーダの各階層にそれぞれ第一サブモジュールが設置されることを特徴とする請求項６に記載のニューラルネットワークのトレーニング方法。
【請求項８】
欠陥検出装置が実行する欠陥検出方法であって、
被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、
前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得するステップと、を含むことを特徴とする欠陥検出方法。
【請求項９】
トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算する入力ユニットと、
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成する生成ユニットであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、生成ユニットと、
第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得する再構成ユニットであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、再構成ユニットと、
前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するトレーニングユニットと、を含むことを特徴とするニューラルネットワークのトレーニング装置。
【請求項１０】
プロセッサーと、
コンピュータプログラムコマンドが格納されるメモリと、を含み、
前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、
トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、
第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、
前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を実行させることを特徴とするニューラルネットワークのトレーニング装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像処理分野に関し、特にニューラルネットワークトレーニング方法、及びニューラルネットワークを利用して欠陥検出を行う方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
欠陥検出は、製品品質管理における重要な要因である。様々な欠陥が生産中に絶えず発生するため、通常では様々な欠陥の発生状況を網羅することができず、どのようにこれらの欠陥をロバスト、自動的に検出するかは早急に解決すべき問題である。
【０００３】
現在の欠陥検出方法において、通常では大量のマークデータにより欠陥検出を行うニューラルネットワークに対してトレーニングをし、且つ各タイプの製品又は物体に対してそれぞれトレーニング及び欠陥検出を行うが、しかしながら、このようなニューラルネットワークのトレーニング方式及びこのようなニューラルネットワークを用いる欠陥検出方法は異なるタイプの製品又は物体の無秩序欠陥に対する正確な生成及びロバスト検出を実現することができない。
【０００４】
したがって、向上されたニューラルネットワークのトレーニング方法および画像欠陥を正確に検出する欠陥検出方法が必要である。
【発明の概要】
【０００５】
上記技術的問題を解決するために、本発明の一態様によるニューラルネットワークのトレーニング方法は、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を含む。
【０００６】
本発明の別の態様による欠陥検出方法は、被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得するステップと、を含む。
【０００７】
本発明の別の態様によるニューラルネットワークのトレーニング装置は、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算する入力ユニットと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成する生成ユニットであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、生成ユニットと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得する再構成ユニットであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、再構成ユニットと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するトレーニングユニットと、を含む。
【０００８】
本発明の別の態様によるニューラルネットワークのトレーニング装置は、プロセッサーと、コンピュータプログラムコマンドが格納されるメモリと、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を実行させる。
【０００９】
本発明の別の態様によるコンピュータ読み取り可能な記憶媒体は、コンピュータプログラムコマンドが格納されるコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドはプロセッサーにより実行される時に、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を実行させる。
【００１０】
本発明の別の態様によるニューラルネットワークを用いた欠陥検出する装置は、被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得する入力ユニットであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、入力ユニットと、
前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得する検出ユニットと、を含む。
（【００１１】以降は省略されています）

関連特許