特許ウォッチ

公開番号2024059056
公報種別公開特許公報(A)
公開日2024-04-30
出願番号2022177686
出願日2022-10-17
発明の名称画像データによる対象物の状態判別方法、及び装置
出願人個人
代理人
主分類G06T 7/00 20170101AFI20240422BHJP(計算;計数)
要約【課題】対象物の欠陥、変形や色むらなどの不良状態若しくは対象設備の異常状態から生じる機器表面の温度変化の兆候等を画像データにより検出する状態判別方法及び装置を提供する。
【解決手段】撮像装置、演算処理・判定を行う処理・判定部、設定値入力装置及び処理、判定の結果を表示する表示装置を有する状態判別装置30において、処理・判定部は、画像データを読込む画像取得部、読込んだ画像内に解析対象の領域(ROI)設定部、基準ROIと対象ROI内の特徴量を抽出する特徴抽出部、基準ROIの特徴量と対象ROIの特徴量の乖離度を状態変化度として算出する状態変化度算出部、判定閾値を設定する閾値設定部、状態変化度と判定閾値との比較によって対象物の良否・異常の有無を判定する良否・異常判定部、不良・異常と判定された場合に、当該対象ROIの位置を特定する不良・異常領域特定部及び一連の演算・判定結果等を出力する結果出力部を含む。
【選択図】図1
特許請求の範囲【請求項１】
電子・機械部品や製品等の対象物を加工・組立する製造工程で発生する不良を検出するための良否検査、もしくは、製造プラントを構成している機器設備の状態変化や異常から間接的に、もしくは、直接的に生じる現象、例えば表面温度や排煙・排水などの異常を監視するための
状態判別装置
であって、検査・監視対象物の画像を撮影する
撮像装置
と、前記画像データの演算処理及び良否・異常判定を行う
処理・判定部
と、検査・監視の実行に必要な各種設定値を入力する
設定値入力装置
と、前記した処理・判定部で得られた結果を表示する
表示装置
と、前記した撮像装置、処理・判定部、設定値入力装置及び表示装置と、を連携させる
インターフェース
と、を有し、
前記の処理・判定部は、基準画像データもしくは検査・監視用画像データを読み込む
画像取得部
と、前記にて読み込んだ画像内に目的とする検査・監視を実行するための基準領域、及び、対象領域を設定する
領域（ＲＯＩ：ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ）設定部
と、前記で設定した基準領域（基準ＲＯＩ）及び、対象領域（対象ＲＯＩ）内での画像データに潜在する、それぞれの特徴量分布を抽出する
特徴抽出部
と、前記特徴抽出部にて得た基準領域（基準ＲＯＩ）の特徴量分布と、対象領域（対象ＲＯＩ）の特徴量分布と、の乖離度を状態変化度として算出する
状態変化度算出部
と、前記の状態変化度の大きさに対して良否・異常判定を行うための判定閾値を設定する
閾値設定部
と、前記の状態変化度と判定閾値との比較によって対象物の良否・異常の有無を判定する
良否・異常判定部
と、前記の良否・異常判定部にて不良・異常と判定された場合に、当該不良・異常領域（対象ＲＯＩ）の位置を特定する
不良・異常領域特定部
と、前記した一連の演算処理によって得た状態変化度、良否・異常判定結果、及び、不良・異常領域特定結果等を出力する
結果出力部
とから構成されることを特徴とした画像データによる対象物の状態判別方法、及び、装置。
続きを表示（約 1,200 文字）【請求項２】
前記請求項１の画像取得部において、検査・監視用画像のみを読込み、当該単一画像内において各種演算処理、及び、良否・異常判定を実施する場合と、基準画像と検査・監視用画像との異なる画像を読込み、当該複数の画像間に着目する場合と、の２種類の演算処理・判定を行うことを特徴とする画像データによる対象物の状態判別方法、及び装置。
【請求項３】
前記請求項１に記載の特徴抽出部において、前記領域設定部にて設定した基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）の縦方向の各画素を変数群とし、横方向の各画素の輝度強度をデータ群として前記縦方向変数群の相関関係を求める場合と、逆に、横方向の各画素を変数群とし、縦方向の各画素の輝度強度をデータ群として前記横方向変数群の相関関係を求める場合と、の２方向での各相関関係に基づき特徴抽出を行うことを特徴とする画像データによる対象物の状態判別方法、及び、装置。
【請求項４】
前記請求項３に記載の特徴抽出部において、基準領域（基準ＲＯＩ）の縦方向、及び、横方向の各画素変数群に対して得た、それぞれの相関係数に基づき主成分分析を実行し、その結果得られる縦方向、及び、横方向の固有ベクトルを、当該基準領域（基準ＲＯＩ）、及び対象領域（対象ＲＯＩ）の縦方向、及び、横方向の特徴量算出のための、共通値の特性係数とすることを特徴とした画像データによる対象物の状態判別方法、及び、装置。
【請求項５】
前記請求項１に記載の状態変化度算出部において、前記請求項４に記載の特徴抽出部にて算出した基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）での、縦方向、及び、横方向の特徴量分布のそれぞれの平均値と分散に基づき、基準領域（基準ＲＯＩ）と、対象領域（対象ＲＯＩ）と、の前記特徴量分布間の乖離度の大きさを当該領域間の状態変化度とすることを特徴とした画像データによる対象物の状態判別方法、及び、装置。
【請求項６】
前記請求項４に記載の良否・異常判定部において、前記請求項５にて得た状態変化度は、前記請求項４の主成分分析によって得た固有ベクトルの次数に対応した当該基準領域（基準ＲＯＩ）と、対象領域（対象ＲＯＩ）と、の乖離度の大きさであるとし、前記請求項１の閾値設定部にて設定した判定閾値との比較を行い、当該判定閾値以上であれば、不良・異常状態と判定し、当該判定閾値未満であれば、良好・正常状態と判定することを特徴とする画像データによる対象物の状態判別方法、及び、装置。
【請求項７】
前記請求項１に記載の、不良・異常領域特定部について、前記請求項６に記載の判定結果が不良・異常となった場合の当該対象ＲＯＩの位置を不良・異常領域であると、特定することを特徴とする画像データによる対象物の状態判別方法、及び、装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像データによる対象物の状態判別方法、及び装置に関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
電子・機械部品や製品等の対象物を加工・組立する製造工程で、発生する不良を検出するための外観検査において、カメラ等の撮像機器により対象物の画像データを得て良否判定を行うために、検出したい欠陥、ムラ、変形、異物の有無等の不良事象に応じたアルゴリズム、及び、判定基準を個別に開発、実用化を行っている。正常時の画像データには様々なノイズの重なり、検査対象部位位置ズレや回転などの外乱により、良否判定の結果の精度が低下する場合には、各種フィルタ処理、輝度変換、各種の特徴抽出法などが適用されている。一方、不良発生時にも不良の種類、及び、その度合いは、さまざまで多岐にわたっているために、特に多品種・少量生産の製造工程では、対象物の潜在的な微小不良を効率的、かつ高い精度で汎用的に検出することが困難であった。
また、製造プラント設備の運転異常時には、直接的に、もしくは間接的に、例えば当該機器の表面温度の異常発生を伴う場合や、当該製造プラントの排出物、例えば濃淡や色の変化などという直接的な異常発生を伴う場合など、画像データの分析による製造プラントの監視機能の開発が試みられている。しかしながら、前記した異常発生時の画像には、様々な明るさの変化や汚れの付着による外乱や位置ズレなどが含まれており、特に、屋外仕様では太陽光の変化や様々な陰影の存在があるために実用的な精度を有した異常監視が困難であった。
【先行技術文献】
【特許文献】
【０００３】
：特開２０２２－１２４０７９
テルモ株式会社は、名称「コート層検査装置およびコート層検査方法」においてコート層を撮像して画像データを作成する撮像部と、演算処理を行う処理部と、を有し、処理部は、
複数の異なる欠陥の型に分けられる複数の欠陥画像データ
および判定対象画像データを読み込み可能な画像取得部と、
複数の欠陥画像データから複合的に特徴量を抽出して判定器を作成する判定器作成部
と、
判定器から数値化した異常度を検出する異常度検出部
と、判定対象画像データから判定器および異常度検出部を用いて検出される異常度を閾値と比較して、コート層に欠陥があるか否かを判定する欠陥判定部と、を有するとしている。
そして、
ニューラルネットワークを使用して前記複数の欠陥画像データから特徴量を抽出
して判定器を作成するステップと、作成した前記判定器から
サポートベクターマシンにより異常度を数値化して検出
するステップと、前記複数の欠陥の特徴を複合的に検出できる前記異常度の閾値を設定するステップと、判定対象画像データを読み込むステップと、前記判定対象画像データから特徴量を抽出し、作成した前記判定器およびサポートベクターマシンにより、前記判定対象画像データの異常度を検出するステップと、前記判定対象画像データの異常度を前記閾値と比較して、
前記異常度が前記閾値以上か否かにより、判定対象画像データのコート層に欠陥があるか否か
を判定する。
【０００４】
しかしながら、判定器での、複数の欠陥画像データから特徴量を抽出するためのニューラルネットワーク学習機能として、様々な判定対象画像データに対する汎化性能に関する配慮がなされていないので、妥当な特徴抽出が実行されているのか、という不確実性が存在する。
また、異常度を検出する異常度検出部では、判定器にて抽出した特徴量に対してサポートベクターマシンを適用して異常度を数値化するとしているが、サポートベクターマシンは本来的に二者択一、つまり正常か異常かの予測を行う手法であること、判定器からの特徴量のスケールの影響を強く受けるので、判定対象画像ごとにスケーリングを細かく行う必要があること、複雑な画像の場合には判定器での特徴量の員数が増加するので計算量が指数関数的に増加すること、に対する配慮に欠けていることから、様々な判定対象画像データに対して信頼性の高い検査機能を発揮することは困難であるという課題があった。
【０００５】
【非特許文献】
【】
：「ＤｅｅｐＬｅａｒｎｉｎｇを用いた基板外観検査」（株）レクザムｐ．７５－８０画像ラボ２０１９．０１
株式会社レクザムは、プリント基板の外観検査装置「Ｓｈｅｒｌｏｃｋ－３Ｄ－１０００Ｓ」において簡単な設定で多様な検査項目に対応するために、基板の反り補正を行って部品の高さを補正した後、部品の種類を分類する際に、従来の部品対象間の類似性マッチング法によっているために、部品の色や形の差異が外乱となり、輝度変換などの前処理が必要となることから、ＤｅｅｐＬｅａｒｎｉｎｇにより部品種類の分類を行うように改善したという。そして、分類した部品に対して例えば、ＩＣ部品のリード本数や間隔を抽出してリードの浮きやハンダ量の良否判定を、閾値との比較により行っている。しかしながら、ハンダボールのような形状が一様でない異物の検出や、様々なハンダ形状の検査が困難であり、基準とする検査データはユーザ毎に千差万別で異なり、検査画像の様々な異常状態に対応できるように判定閾値を設定し直さなければならず、汎用的な検査機能を発揮できないという課題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
対象物の欠陥、変形や色むらなどの不良状態、もしくは対象設備の劣化・異常発生から生じる機器表面の温度変化の兆候、もしくは排出物の性状などを、画像データにより検出するには、様々な種類の不良・異常状態があり、また、その異常度の程度も千差万別であるので、予め、全ての異常画像を学習することはできず、解析パラメータや判定閾値を汎用化することは困難である。しかも、予め検査・異常判定の基準を設定するための適切な異常画像が存在しない場合も多く、正常画像においても太陽光はじめ照明条件の変動による外乱下にあるために、対象物が良品・正常時の範疇であっても画像データにバラツキが存在する場合には、誤判定が生じてしまうなど実用的な検査・監視機能が発揮できない。
【０００７】
これらの課題は、得られた画像データにおける各画素の輝度強度の値、もしくは、ある着目画素の輝度強度を、その周辺の輝度強度群の平均値等で置き換えるなどのフィルタ処理後の輝度強度の値に基づき、学習過程や良否・異常判定を行っていることに起因していることが多いからである。つまり、対象物が良好・正常状態にあっても太陽光、照明の変動、対象部品部位の位置ズレ、部品・部位の微妙な偏り、生産ラインでの、例えば半導体ウェハー表面の位置や傾きなどの微妙な違いによる輝度強度の微小変化などが存在している場合があり、当該対象物に不良・異常兆候が発生した場合の輝度強度には、上記した良好・正常状態の輝度強度の変化・変動が重なった、複雑な画像データとなっているからである。
【０００８】
また、最近では上述した良好状態での外乱などを反映した正常画像群と、可能な限り収集した異常画像とを用いて、ＤｅｅｐＬｅａｒｎｉｎｇなどのＡＩ技術を適用した外観検査機能の高度化も行われている。そして、１個のニューロンに２次元空間の情報を学習させるために、畳み込み演算（これも２次元フィルタ）を行い、入力画像の小さな歪みやズレ、変形による影響を受けにくくするなどの工夫を施している。
【０００９】
しかしながら、ＡＩ技術の学習機能を有する良否・異常判定用アルゴリズムが、未知の検査・監視用画像を誤判定しないという保証ははく、誤判定であると判明した場合に、その原因が何であるかは不明な場合が多い。さらにＡＩ技術には「過学習」という本質的な問題を抱えており、好適な追加学習を実行するための明確なガイドラインは、まだ存在しないために、未知の微小異常を安定的に検出するうえで信頼性に欠けるといった課題があった。
【００１０】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、画像データを用いて対象物の品質や状態の良否・異常判定を行う検査工程・監視モニタリングにおいて、予めの良好・正常状態や不良・異常状態での画像データの有無によらず、また様々な画像データの輝度強度が外乱等により変動しても、未知の検査・監視用画像に対して、高い検出感度、及び、高い信頼度を発揮する、汎用的な良否判定・異常判定機能を提供することにある。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許