特許ウォッチ

公開番号2025122604
公報種別公開特許公報(A)
公開日2025-08-21
出願番号2024042647
出願日2024-03-18
発明の名称画像検査装置
出願人株式会社キーエンス
代理人弁理士法人前田特許事務所
主分類G06T 7/00 20170101AFI20250814BHJP(計算;計数)
要約【課題】複数箇所のアノテーションが容易に行えるようにして学習精度及び学習効率を高める。
【解決手段】事前学習済みモデルは、特徴量抽出部と分類部とを備えている。学習データ設定部は、設定画面表示部と候補領域推定部と学習データ生成部とを備えている。設定画面表示部により設定画像に重畳して候補領域推定部により推定された候補領域である第一候補領域の位置を表示した状態で、候補領域の推定の実行を指示する再推定指示を受け付けたとき、候補領域推定部により、第一候補領域以外の領域を第二候補領域とするように第二候補領域を推定する。学習データ生成部は、設定画像と、第一候補領域と、第二候補領域と、に基づいて学習データを生成する。学習実行部は、学習データに基づいて、候補領域を、対象物のクラスに分類するように、事前学習済みモデルを更新する。
【選択図】図3A
特許請求の範囲【請求項１】
入力される画像データの画像中の対象物を検出する、事前学習済みのモデルが実行される画像検査装置であって、
前記事前学習済みモデルを実行し、前記事前学習済みモデルの現場学習のための学習データを設定する学習データ設定部、及び前記学習データに基づく前記事前学習済みモデルの更新を実行する学習実行部、として機能する、制御部を備え、
前記事前学習済みモデルは、
入力される前記画像データから当該画像データの特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出される前記特徴量に基づいて前記画像データの画像領域が属するクラスを出力して、前記画像データの画像中の前記対象物を検出する分類部と、を備え、
前記学習データ設定部は、
設定画像を表示する設定画像表示領域を含む設定画面を表示装置に表示させる設定画面表示部と、
事前学習済みモデルを実行して前記設定画像の候補領域を推定する候補領域推定部と、
前記設定画像と、推定される前記候補領域とに基づいて前記学習データを生成する学習データ生成部と、を備え、
前記設定画面表示部により前記設定画像に重畳して前記候補領域推定部により推定された候補領域である第一候補領域の位置を表示した状態で、前記候補領域の推定の実行を指示する再推定指示を受け付けたとき、前記候補領域推定部により、前記第一候補領域以外の領域を第二候補領域とするように前記第二候補領域を推定し、
前記学習データ生成部が、前記設定画像と、前記第一候補領域と、前記第二候補領域と、に基づいて前記学習データを生成し、
前記学習実行部は、前記学習データに基づいて、前記候補領域を、前記対象物のクラスに分類するように、前記事前学習済みモデルを更新する、画像検査装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の画像検査装置において、
前記設定画面表示部は、前記第一候補領域と異なる態様で前記第二候補領域を表示する、画像検査装置。
【請求項３】
請求項２に記載の画像検査装置において、
前記学習データ設定部は、前記再推定指示を受け付けると、前記設定画面表示部により、前記第一候補領域の態様を変更する、画面検査装置。
【請求項４】
請求項１に記載の画像検査装置において、
前記学習データ設定部は、前記設定画像表示領域に表示される設定画像データへのユーザ指定により、ユーザ指定領域を受け付け、
前記設定画面表示部は、前記ユーザ指定領域と前記候補領域とを異なる態様で表示する、画像検査装置。
【請求項５】
請求項１に記載の画像検査装置において、
前記学習データ設定部は、前記設定画面表示部により表示される前記候補領域に対する削除指示を受け付けて、当該候補領域を削除設定位置として保持し、
前記候補領域推定部は、前記削除設定位置と同一の位置を前記候補領域としないように、前記候補領域を推定する、画像検査装置。
【請求項６】
請求項１に記載の画像検査装置において、
前記候補領域推定部は、
基準特徴量に対して類似の特徴量を有する領域を第一候補領域として推定し、
前記再推定指示を受け付けたときに表示されている前記第一候補領域に対応する特徴量を前記基準特徴量として類似の特徴量を有する領域を第二候補領域として推定する、画像検査装置。
【請求項７】
請求項１に記載の画像検査装置において、
前記候補領域推定部は、
基準特徴量に対して一定範囲で類似の特徴量を有する領域を第一候補領域として推定し、
前記基準特徴量に対して前記第一候補領域を推定するときより拡張された範囲で類似の特徴量を有する領域を第二候補領域として推定する、画像検査装置。
【請求項８】
請求項１に記載の画像検査装置において、
前記候補領域推定部は、
基準特徴量に対して一定範囲で類似の特徴量を有する領域を第一候補領域として推定し、
前記再推定指示を受けつけたときに表示されている前記第一候補領域に対応する特徴量を前記基準特徴量として、当該基準特徴量に対して前記第一候補領域を推定するときより拡張された範囲で類似の特徴量を有する領域を第二候補領域として推定する、画像検査装置。
【請求項９】
請求項１に記載の画像検査装置において、
前記学習実行部は、前記候補領域を前記対象物のクラスに分類し、前記候補領域以外の領域を背景のクラスに分類するように、前記事前学習済みモデルを更新する、画像検査装置。
【請求項１０】
請求項９に記載の画像検査装置において、
前記学習実行部は、前記対象物のクラスと、前記背景のクラスとを分離する境界を学習させ、
前記事前学習済みモデルは、前記特徴量と前記境界とに基づいて推論画像データの画像中の対象物を検出する、画像検査装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、学習済みモデルを実行可能な画像検査装置に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
例えばＦＡ業界では、人がワークを目視検査する工程を代替する画像検査装置が広く知られている。画像検査装置はワーク画像を撮像し、撮像した画像を一定の基準で判定する。画像検査装置が画像センサである場合は判定結果がＩ／Ｏ出力で例えばプログラマブルロジックコントローラ（ＰＬＣ）等の外部機器に出力される。
【０００３】
画像検査装置の判定に用いられる基準がある画像特徴によるものである場合、人による目視検査の検査結果には影響が及ばない程度の画像特徴の変化であっても、画像検査装置の判定結果に影響が及ぶ可能性がある。そこで、目視検査により近い判定結果を得るために、機械学習で得られる画像認識モデルを利用した画像検査装置として、例えば特許文献１に開示された画像検査装置が知られている。特許文献１の画像検査装置では、良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像とを学習することによって良品画像と不良品画像を識別する学習器を生成し、運用時に新たに取得された画像を学習器に入力して良否判定を行うように構成されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－１８７０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、機械学習で得られる画像認識モデルを作成するためには大量の画像データが必要であり、必要となる画像データを各ユーザが収集するのは困難であるか、もしくはユーザの負担が増大する。
【０００６】
そこで、特許文献１の画像検査装置では、学習データ作成の補助として、学習候補画像を提示する機能がある。判定器の学習を高める（学習精度・学習効率）ためには、クラス（良／否）の境界に近いデータについて、どちらのクラスに属するかを教示するのが好ましい。このような教示ができる学習データの生成を補助するために、特許文献１の補助機能ではクラス境界に近い画像データを提示する。
【０００７】
撮像領域に対して検査領域が１つの場合、適切な学習データを生成するにあたって難易度が高いのは、適切な画像データを選択する点である。その画像データに対するアノテーションは、撮像画像、もしくは検査領域に従ってトリミングされた撮像画像をユーザに提示して「良品」か「不良品」かを問うだけで良いので難易度は比較的低い。
【０００８】
これに対して、撮像画像等に複数のアノテーションをする必要がある場合は、アノテーションの難易度が比較的高い。特にユーザが積極的にアノテーションしなかった領域を学習データとして学習する場合は、アノテーションするべき領域全てがアノテーションされる必要がある。こういったアノテーション作業はユーザにとって手間が掛かる。
【０００９】
本開示は、かかる点に鑑みたものであり、その目的とするところは、複数箇所のアノテーションが容易に行えるようにして学習精度及び学習効率を高めることにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本開示に係る態様では、入力される画像データの画像中の対象物を検出する、事前学習済みのモデルが実行される画像検査装置を前提とすることができる。画像検査装置は、前記事前学習済みモデルを実行し、前記事前学習済みモデルの現場学習のための学習データを設定する学習データ設定部、及び前記学習データに基づく前記事前学習済みモデルの更新を実行する学習実行部、として機能する、制御部を備えている。
（【００１１】以降は省略されています）

関連特許