特許ウォッチ

公開番号2024126356
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023034675
出願日2023-03-07
発明の名称画像処理装置及び画像処理方法
出願人株式会社キーエンス
代理人弁理士法人前田特許事務所
主分類G06T 7/00 20170101AFI20240912BHJP(計算;計数)
要約【課題】ユーザの負担を軽減しながら、機械学習モデルの分類処理の精度を十分に高める。
【解決手段】プロセッサは、第1クラスに属する画像により学習させた機械学習モデルに複数の検証用画像を入力して判定処理を実行し、複数の検証用画像の判定処理の精度を評価した結果に基づいて、機械学習モデルの再学習が必要であるか否か評価し、機械学習モデルの再学習が必要であると評価した場合は、第2クラスに属する画像を機械学習モデルに入力して再学習させる。機械学習モデルの再学習が不要であると評価した場合は、機械学習モデルの学習処理を完了する。
【選択図】図8
特許請求の範囲【請求項１】
機械学習モデルに画像を入力し、当該画像を第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行するプロセッサを備える画像処理装置であって、
前記プロセッサは、
（１）前記第１クラスに属する画像を前記機械学習モデルに学習させて、当該第１クラスに属する画像とは異なる特徴を有する画像を前記第２クラスに属する画像として判定する機械学習モデルを生成し、
（２）前記第１クラスに属する画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記第１クラスと前記第２クラスのいずれのクラスに属するかを判定する判定処理を実行し、
（３）前記複数の検証用画像の判定処理の精度を評価し、
（４）前記複数の検証用画像の判定処理の精度を評価した結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記第２クラスに属する画像を前記機械学習モデルに入力して再学習させて、当該第２クラスに属する画像と類似する特徴を有する画像を当該第２クラスに属する画像として判定するように前記機械学習モデルを生成し、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了する、
画像処理装置。
続きを表示（約 1,800 文字）【請求項２】
請求項１に記載の画像処理装置において、
前記第１クラスに属する画像は、良品を撮像した良品画像であり、
前記第２クラスに属する画像は、不良品を撮像した不良品画像であり、
前記プロセッサは、
前記複数の検証用画像の中から、前記機械学習モデルに再学習させる画像として前記不良品画像を抽出した後、ユーザから当該不良品画像中の不良箇所の指定を受け付けるための表示画面を生成して表示部に表示させ、
前記表示画面を介して前記不良箇所が特定された前記不良品画像を前記機械学習モデルに再学習させて、当該不良箇所と類似する特徴を有する画像を前記第２クラスに属する画像として判定するように前記機械学習モデルを生成する、
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記複数の検証用画像の中から、前記機械学習モデルに再学習させるために抽出した不良品画像に対して、前記学習させた良品画像と異なる特徴部分を特定し、
前記抽出した不良品画像における当該特定した異なる特徴部分を強調した画像を含む表示画面を生成して前記表示部に表示させる、
画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を自動的に抽出し、前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記判定処理の精度の評価結果に基づいて、再学習に用いる不良品画像の枚数を自動的に算出し、
前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を前記枚数だけ抽出し、当該枚数の不良品画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い順に前記算出した枚数の不良品画像を抽出し、当該枚数の不良品画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項７】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記機械学習モデルに不良品画像だけでなく、良品画像も併せて再学習させて、当該不良品画像と類似する特徴および当該良品画像と異なる特徴を不良箇所として判定するように前記機械学習モデルを生成する、
画像処理装置。
【請求項８】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記複数の検証用画像の良品画像に対する誤判定率及び不良品画像に対する誤判定率を算出し、算出した良品画像に対する誤判定率及び不良品画像に対する誤判定率に基づいて、前記機械学習モデルの再学習に用いる良品画像及び不良品画像の各枚数を決定する、
画像処理装置。
【請求項９】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記判定処理において、前記複数の検証用画像のそれぞれに対して不良品度合いを示す評価値を算出し、
前記機械学習モデルの再学習が必要であると評価した場合は、前記良品画像の前記評価値と、前記不良品画像の前記評価値とを比較することで、前記機械学習モデルに良否画像と不良品画像のどちらを学習させるかを自動的に判断する、
画像処理装置。
【請求項１０】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの判定処理の精度が所定の精度を獲得していると評価された場合に、前記機械学習モデルの学習処理を終了するとの判断を自動的に行う、
画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習モデルによる画像処理を実行するプロセッサを備えた画像処理装置及び画像処理方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
例えば工業製品の外観検査を行う際に、機械学習モデルを用いて良品と不良品のいずれのグループに属するかを判定する分類処理を実行するように構成された装置が知られている（例えば特許文献１参照）。特許文献１の処理装置では、良品学習モデルと不良品学習モデルを別々に生成し、撮像部によって取得された製品データを良品学習モデルに入力して得られた結果と、当該製品データを不良品学習モデルに入力して得られた結果とに基づいて良否判定を実行している。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－２０４３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、機械学習モデルの学習方法として、良品画像だけを機械学習モデルに学習させる良品学習（教師無し学習）と、良品画像だけでなく、不良品画像も機械学習モデルに学習させる不良品学習（教師有り学習）とに大別される。
【０００５】
良品学習は、不良品学習と比較すると、学習データの収集が比較的容易であるものの、判定精度は低くなりやすい傾向にある。一方、不良品学習は、良品学習と比較すると、判定精度は高くなりやすいものの、十分な数の不良品画像を収集するのが困難であるとともに、未知欠陥への対応力が低いという問題もある。
【０００６】
この点、特許文献１では、製品データを良品学習モデルに入力して得られた結果と、不良品学習モデルに入力して得られた結果とに基づいて良否判定を実行しているが、良品学習モデルと不良品学習モデルの２つのモデルのそれぞれで学習が必要になるため、ユーザの負担が大きい。
【０００７】
本開示は、かかる点に鑑みたものであり、その目的とするところは、ユーザの負担を軽減しながら、機械学習モデルの分類処理の精度を十分に高めることにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本態様では、機械学習モデルに画像を入力し、当該画像を第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行するプロセッサを備える画像処理装置を前提とすることができる。前記プロセッサは、前記第１クラスに属する画像を前記機械学習モデルに学習させて、当該第１クラスに属する画像とは異なる特徴を有する画像を前記第２クラスに属する画像として判定する機械学習モデルを生成し、前記第１クラスに属する画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記第１クラスと前記第２クラスのいずれのクラスに属するかを判定する判定処理を実行する。前記プロセッサは、前記複数の検証用画像の判定処理の精度を評価し、前記複数の検証用画像の判定処理の精度を評価した結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記第２クラスに属する画像を前記機械学習モデルに入力して再学習させて、当該第２クラスに属する画像と類似する特徴を有する画像を当該第２クラスに属する画像として判定するように前記機械学習モデルを生成し、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了する。
【０００９】
この構成によれば、第１クラスに属する画像により機械学習モデルを学習させた後に、機械学習モデルに複数の検証用画像を入力して第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行することで、機械学習モデルの検証を行うことができる。検証によって得られた判定処理の精度が不十分である場合には、第２クラスに属する画像を機械学習モデルに入力して再学習させる。一方、検証によって得られた判定処理の精度が十分であり、機械学習モデルの再学習が不要である場合には、機械学習モデルの学習処理を完了する。要するに、本構成によれば、第１クラスに属する画像のみの学習で機械学習モデルが所望の精度を獲得できていれば、第１クラスに属する画像のみで学習した機械学習モデルを運用し、また、第１クラスに属する画像のみの学習で所望の精度が獲得できていなければ、第２クラスに属する画像を用いて再学習させることで、所望の精度を獲得させることができる。機械学習モデルの再学習が必要であるか否かの評価、第２クラスに属する画像を用いて再学習させるか否かの判断を画像処理装置が実行するので、ユーザの負担が軽減される。
【００１０】
また、前記第１クラスに属する画像が良品を撮像した良品画像であり、前記第２クラスに属する画像が不良品を撮像した不良品画像であってもよい。この場合、前記プロセッサは、再学習させる画像として前記不良品画像を抽出した後、ユーザから当該不良品画像中の不良箇所の指定を受け付けるための表示画面を生成して表示部に表示させ、前記表示画面を介して前記不良箇所が特定された前記不良品画像を前記機械学習モデルに再学習させて、当該不良箇所と類似する特徴を有する画像を前記第２クラスに属する画像として判定するように前記機械学習モデルを生成することができる。
（【００１１】以降は省略されています）

関連特許