特許ウォッチ

公開番号2024126362
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023034683
出願日2023-03-07
発明の名称画像処理装置
出願人株式会社キーエンス
代理人弁理士法人前田特許事務所
主分類G01N 21/88 20060101AFI20240912BHJP(測定;試験)
要約【課題】ルールベースツールと機械学習ツールの両方のツールを共通のインタフェース上で設定可能にしてユーザの手間を減らす。
【解決手段】画像処理装置1は、設定ウィンドウを表示するユーザインターフェース画面を生成し、機械学習ツール及びルールベースツールを設定ウィンドウに配置するための入力と、機械学習ツールとルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付け、機械学習ツールによる画像処理とルールベースツールによる画像処理との一方の処理をデータセットに対して実行し、一方の処理を実行した後のデータセットに対して他方の処理を実行する。
【選択図】図2
特許請求の範囲【請求項１】
機械学習ツールによる画像処理とルールベースツールによる画像処理との実行が可能に構成された画像処理装置であって、
画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面を生成するとともに、表示部に表示させるＵＩ生成部と、
機械学習モデルによる画像処理を示す機械学習ツールと、所定のルールに従った画像処理を示すルールベースツールを前記ユーザインターフェース画面の前記設定ウィンドウに配置するための入力と、前記機械学習ツールと前記ルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付ける入力部と、
前記機械学習ツールによる画像処理と、前記ルールベースツールによる画像処理との一方の処理を前記データセットに対して実行し、当該一方の処理を実行した後の当該データセットに対して他方の処理を実行する画像処理部と、
を備える画像処理装置。
続きを表示（約 1,900 文字）【請求項２】
請求項１に記載の画像処理装置において、
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールと前記ルールベースツールとが共に参照している前記データセットに含まれる画像を表示するデータセットウィンドウを、当該設定ウィンドウと並べて表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像処理部は、前記データセットを構成する前記複数の画像に対して、前記ルールベースツールによる前記画像処理を実行することで、複数の処理後画像を生成し、
前記ＵＩ生成部は、前記複数の処理後画像を前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記画像処理部は、前記複数の処理後画像に対して、前記機械学習ツールによる前記画像処理を実行することで、各処理後画像の推論結果を出力し、
前記ＵＩ生成部は、前記複数の処理後画像と各処理後画像に対応する前記推論結果とを前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記データセットウィンドウに表示された前記複数の画像と、当該複数の画像に対して前記ルールベースツールによる前記画像処理を実行した結果とを前記機械学習モデルに学習させ、
ワークが撮像された検査対象画像に対して前記ルールベースツールによる前記画像処理を実行し、
前記ルールベースツールによる前記画像処理の実行結果に基づいて、前記検査対象画像に対して、前記学習させた前記機械学習モデルを用いた前記画像処理を実行する、
画像処理装置。
【請求項６】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記データセットに含まれる前記複数の画像のそれぞれから特徴量を抽出し、抽出された特徴量に基づいて、各画像に含まれるワークの位置を検出し、
検出されたワークの位置に基づいて、前記機械学習ツールによる画像処理の対象となる各画像のワークの位置及び姿勢が共通になるように位置補正を実行し、
位置補正された前記複数の画像に対して、前記機械学習ツールによる画像処理を実行する、
画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記入力部は、前記データセットに含まれる画像中の前記機械学習ツールによる画像処理の対象領域の指定を受け付け可能に構成され、
前記画像処理部は、各画像内で検出されたワークの位置が前記指定された対象領域に含まれるように前記位置補正を実行し、前記データセットの各画像の前記対象領域に対して、前記機械学習ツールによる画像処理を実行する、
画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記ＵＩ生成部は、前記位置補正により各画像内で検出されたワークが前記対象領域に含まれた状態で、前記データセットの前記複数の画像が前記データセットウィンドウに表示されたユーザインターフェース画面を生成する、
画像処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記ルールベースツールによる前記所定のルールに従った画像処理は、入力画像中の特徴領域を強調するための前処理であり、
前記画像処理部は、
前記データセットを構成する前記複数の画像に対して、前記前処理を実行することで、各画像の特徴領域が強調された複数の前処理画像を生成し、
前記複数の前処理画像に対して、前記機械学習ツールによる画像処理または前記機械学習モデルの学習処理を実行する、
画像処理装置。
【請求項１０】
請求項１に記載の画像処理装置において、
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールおよび前記ルールベースツールが、共に前記データセットを参照していることを示すインジケータを、前記設定ウィンドウ上に表示させたユーザインターフェース画面を生成する、
画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習ツールによる画像処理とルールベースツールによる画像処理との実行が可能に構成された画像処理装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
例えばワークの外観検査を行う検査装置として、撮像部によって取得された対象画像に各種計測処理を実行し、計測処理の処理結果に基づいてワークの欠陥検出や位置ずれの有無等を検出するように構成された検査装置が知られている（例えば特許文献１参照）。特許文献１の検査装置では、ユーザがマニュアルで処理手順を構築することが可能になっている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１５－０２１７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１のようにマニュアルで処理手順を構築するルールベースツールによる画像処理以外にも、機械学習モデルによる画像処理ツールの使用が可能な画像処理ソフトも検討されている。
【０００５】
ルールベースツールによる画像処理では、事前に設定されたルールに従って画像を処理するため、設定が必要な画像は１枚だけである一方、機械学習ツールによる画像処理では、機械学習モデルの学習用に複数枚の画像の設定が必要になる。
【０００６】
このように、ルールベースツールと機械学習ツールの設定手順の違いから、ルールベースツールと機械学習ツールとを同じインタフェース上で設定する方法はこれまで提案されていなかった。このため、ルールベースツールと機械学習ツールの両方のツールを使いたいユーザには設定の手間が生じていた。
【０００７】
本開示は、かかる点に鑑みたものであり、その目的とするところは、ルールベースツールと機械学習ツールの両方のツールを共通のインタフェース上で設定可能にしてユーザの手間を減らすことにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本態様に係る画像処理装置は、画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面を生成するとともに、表示部に表示させるＵＩ生成部と、機械学習モデルによる画像処理を示す機械学習ツールと、所定のルールに従った画像処理を示すルールベースツールを前記ユーザインターフェース画面の前記設定ウィンドウに配置するための入力と、前記機械学習ツールと前記ルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付ける入力部と、前記機械学習ツールによる画像処理と、前記ルールベースツールによる画像処理との一方の処理を前記データセットに対して実行し、当該一方の処理を実行した後の当該データセットに対して他方の処理を実行する画像処理部とを備えている。
【０００９】
すなわち、例えばルールベースツールで画像の位置を補正してから、機械学習ツールによる画像処理を実行したい場合には、表示部に表示されているユーザインターフェース画面の設定ウィンドウに、ルールベースツールの一例である位置補正ツールと、機械学習ツールとを配置し、位置補正ツール及び機械学習ツールにデータセットを参照させると、画像処理部は、データセットに対してルールベースツールで画像の位置補正処理を実行した後、同じデータセットに対して機械学習ツールによる画像処理を実行するので、ユーザの設定の手間が減る。機械学習ツールによる画像処理には、機械学習モデルの学習処理が含まれていてもよい。また、機械学習ツールによる画像処理の後に、ルールベースツールによる画像処理を実行してもよい。
【００１０】
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールと前記ルールベースツールとが共に参照している前記データセットに含まれる画像を表示するデータセットウィンドウを、当該設定ウィンドウと並べて表示させたユーザインターフェース画面を生成することもできる。これにより、機械学習ツールとルールベースツールに共通して参照させているデータセット中の画像も同じユーザインターフェース画面上でユーザが確認できるため利便性が向上する。
（【００１１】以降は省略されています）

関連特許