特許ウォッチ

公開番号2025085016
公報種別公開特許公報(A)
公開日2025-06-03
出願番号2025036767,2023116363
出願日2025-03-07,2019-06-06
発明の名称ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
出願人コグネックス・コーポレイション
代理人個人
主分類G06T 7/00 20170101AFI20250527BHJP(計算;計数)
要約【課題】ニューラルネット分類器を組み込んだ画像内のパターンを検出する。
【解決手段】ビジョンシステム構成100において、パターン検出ツールは、ツールの前又は後で実行できるニューラルネットプロセッサと連結されて、サブピクセル精度でラベリングされたパターン結果を有する。複数のテンプレートを検出できるパターン検出ツールの場合、前記プロセッサがパターン検出ツールに、最初にトレーニングされたテンプレートのサブセットでのみ作業するように通知してその性能を改善する。最初にパターンを検出するパターン検出ツールの場合、前記プロセッサは、ツールが正しいパターンを検出したかどうかを判定し、また、ニューラルネットワークは撮像された形状を再構成/除去することができ及び/又は関心のある形状にあまり関連しないピクセルを排除し、それによって検索時間を短縮するだけでなく、正しい形状をロックオンする可能性を大幅に増やす。
【選択図】図1
特許請求の範囲【請求項１】
画像内のパターンを検出するためのシステムであって、
関心のあるパターンを含む１以上のトレーニング画像に関連する１以上のテンプレートに基づいてトレーニングされたパターン検出ツールと、
１以上のトレーニング画像でトレーニングされたニューラルネット分類器と、
実行時に、下記（ａ）又は（ｂ）すなわち
（ａ）トレーニングされた前記ニューラルネット分類器が、実行時画像に基づく１以上のテンプレートを前記パターン検出ツールに提供し、トレーニングされた前記パターン検出ツールが、前記実行時画像と組み合わされた１以上の前記テンプレート画像に基づいてパターンマッチングを実行する：あるいは
（ｂ）トレーニングされた前記パターン検出ツールが、前記実行時画像から検出されたパターンをトレーニングされた前記ニューラルネット分類器に提供し、トレーニングされた前記ニューラルネット分類器が、検出された前記パターンと前記実行時画像に基づいてパターンマッチングを実行する：テンプレートマッチングプロセスと、
を備える上記システム。
続きを表示（約 980 文字）【請求項２】
前記パターン検出ツールが複数の前記テンプレートを使用してトレーニングされるように適合されている、請求項１記載のシステム。
【請求項３】
前記パターン検出ツールが単一の前記テンプレートを用いてトレーニングされる、請求項１記載のシステム。
【請求項４】
前記ニューラルネットが畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１記載のシステム。
【請求項５】
画像内のパターンを検出するためのシステムであって、
画像内に１以上の候補形状を特定するようにトレーニングされ、実行時動作中に前記画像内に１以上の前記形状が存在する確率を識別するように構成されたニューラルネットワークを有し、それにより前記ニューラルネットワークは、（ａ）確率しきい値を超える１以上の前記候補形状の特徴を有する重み付きマスクを生成するか、又は（ｂ）確率しきい値を超える１以上の前記候補形状の特徴の存在を前記ニューラルネットワークが識別する前記画像内で、１以上の前記候補形状のモデルの前記特徴が置換された再構成画像を生成する、
上記システム。
【請求項６】
（ａ）前記重み付きマスク又は（ｂ）前記再構成画像、の中に１以上の前記候補形状を検出するために、１以上の前記候補形状に対応する１以上のモデルを使用してトレーニングされたパターン検出ツールをさらに有する、請求項５記載のシステム。
【請求項７】
前記ニューラルネットワークが、各ピクセルが１以上の前記形状の識別に関係するスコアを有している前記重み付きマスクを定義する、請求項６記載のシステム。
【請求項８】
前記再構成画像がバイナリ画像として定義される、請求項５記載のシステム。
【請求項９】
前記ニューラルネットワークが１以上の前記候補形状のタイプの存在に関するデータを前記パターン検出ツールに提供し、前記パターン検出ツールは前記タイプを特定することに関連するプロセスに制限する、請求項６記載のシステム。
【請求項１０】
前記ニューラルネットワークが畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項５記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、マシンビジョンシステム及び方法に関し、より具体的にはパターン検索及び認識ツールに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
本明細書では「ビジョンシステム」とも呼ぶマシンビジョンシステムは、製造環境において様々なタスクを実行するために使用される。概して、ビジョンシステムは、製造中のオブジェクトを含むシーンのグレースケール画像又はカラー画像を取得する画像センサ（若しくは「イメージャ」）を備えた１台以上のカメラからなる。オブジェクトの画像を分析して、データ／情報をユーザ及び関連する製造工程に提供することができる。画像によって生成されたデータは、通常ビジョンシステムにより１台以上のビジョンシステムプロセッサで分析及び処理され、これらのビジョンシステムプロセッサは専用に構築されるか、汎用コンピュータ（例えばＰＣ、ラップトップ、タブレット又はスマートフォン）内でインスタンス化された１以上のソフトウェアアプリケーションの一部であってもよい。
【０００３】
一般的なビジョンシステムのタスクには、位置合わせと検査が含まれる。位置合わせタスクでは、マサチューセッツ州ネイティックのコグネックスコーポレーションから市販されている周知のパットマックス(R)システムなどのビジョンシステムツールが、シーンの画像内の特徴を（実際のモデル又は合成モデルを使用して）トレーニングされたパターンと比較して、撮像されたシーンにおけるパターンの有無と姿勢を決定する。この情報は、後続の検査（又はその他の）操作で欠陥を検索したり、部品の拒否などの他の操作を実行したりするために使用できる。
【０００４】
検索可能なパターン（例えば円形、正方形、スクリューの画像など）の所定のリストを含めることができる従来のパターン検出ツールの性能を向上させることが望ましい。そのようなツールはしばしば、微妙な違いがある特定のトレーニングされたパターン（例えば円と小さいノッチのある円）を適切に区別できないことがある。
【発明の概要】
【０００５】
本発明は従来技術のこの発明の欠点を、ニューラルネットワーク（「ニューラルネット」とも呼ぶ）分類器（「アナライザ」と呼ぶこともある）を組み込んだ、画像内のパターンを検出するためのシステム及び方法を提供することによって克服する。パターン検出ツールは、ツールの前又は後で実行できる分類器と連結されて、サブピクセル精度でラベリングされたパターン検出結果を持つ。複数のテンプレートを検出できるパターン検出ツールの場合、ニューラルネット分類器がパターン検出ツールに、最初にトレーニングされたテンプレートのサブセットでのみ作業するように通知するとその性能が改善される。代替的に、パターン検出ツールの性能は、ニューラルネットワークを使用して、パターン検出ツールを実行する前に画像を再構成／除去すると改善できる。追加的に、ニューラルネットワークを使用して、画像内の各画素についてパターンに属する画素がマッチングする可能性に基づいて重み付け値を計算することができる。同様に、最初にパターンを検出するツールの場合、ニューラルネット分類器は、当該ツールが正しいパターンを見つけたか否かを判断することができる。
【０００６】
例示的な実施形態において、画像内のパターンを検出するためのシステム及び方法は、関心のあるパターンを含む１以上のトレーニング画像に関連する１以上のテンプレートに基づいてトレーニングされたパターン検出ツールを含んでいる。ニューラルネット分類器は、１以上のトレーニング画像でトレーニングされ、実行時にテンプレートマッチングプロセスが動作して、（ａ）トレーニングされたニューラルネット分類器が、実行時画像に基づく１以上のテンプレートをパターン検出ツールに提供し、トレーニングされたパターン検出ツールが、実行時画像と組み合わされた１以上のテンプレート画像に基づいてパターンマッチングを実行するか、又は（ｂ）トレーニングされたパターン検出ツールが、実行時画像から検出されたパターンをトレーニングされたニューラルネット分類器に提供し、トレーニングされたニューラルネット分類器が、検出されたパターンと実行時画像に基づいてパターンマッチングを実行する。パターン検出ツールは、複数のテンプレート又は単一のテンプレートを使用してトレーニングされるように適合されている。ニューラルネットは、畳み込みニューラルネットワーク（ＣＮＮ）を含む。
【０００７】
別の実施形態では、画像内のパターンを検出するためのシステムと方法が提供され、画像内に１以上の候補形状を特定するようにトレーニングされ、実行時動作中に画像内に１以上の形状が存在する確率を識別するように構成されたニューラルネットワークを含んでいる。それによりニューラルネットワークは、（ａ）確率しきい値を超える１以上の候補形状の特徴を有する重み付きマスクを生成し、及び／又は（ｂ）ニューラルネットワークアナライザが確率しきい値を超える１以上の候補形状の特徴の存在を識別する画像で、１以上の候補形状のモデルの特徴が置換された再構成画像を生成する。例示的に、パターン検出ツールは、１以上の候補形状に関連する１以上のモデルを使用して、（ａ）重み付きマスク及び／又は（ｂ）再構成画像内に１以上の候補形状を検出するようにトレーニングされる。ニューラルネットワークは、各ピクセルが１以上の形状の識別に関係するスコアを有している重み付きマスクを定義する。再構成画像はバイナリ画像として定義できる。例示的に、ニューラルネットワークアナライザは、１以上の候補形状のタイプの存在に関するデータをパターン検出ツールに提供し、パターン検出ツールはプロセスを、当該タイプを特定することに関連するプロセスに制限する。概して、ニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ）を含んでいてもよい。
【０００８】
以下に本発明を添付図面を参照して説明する。
【図面の簡単な説明】
【０００９】
ニューラルネットワーク分類器と組み合わせたパターン検出ツールを使用して、異なる形状及び／又はパターンを含む撮像されたオブジェクトを分析するように構成されたビジョンシステムの図である。
【００１０】
１以上の画像テンプレートの同じセットでトレーニングされたニューラルネットワーク分類器とパターン検出ツールを含むスマートパターン検出ツールのトレーニング手順を示すブロック図である。
（【００１１】以降は省略されています）

関連特許