特許ウォッチ

公開番号2024126353
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023034671
出願日2023-03-07
発明の名称画像処理装置及び画像処理方法
出願人株式会社キーエンス
代理人弁理士法人前田特許事務所
主分類G06V 10/778 20220101AFI20240912BHJP(計算;計数)
要約【課題】機械学習モデルの学習、検証、再学習を分類処理の精度が十分になるまで自動的に実行することで、ユーザの負担を軽減する。
【解決手段】プロセッサは、複数の学習用画像により学習させた機械学習モデルにより複数の検証用画像を複数のクラスに分類する分類処理を実行し、複数の検証用画像の分類処理により複数のクラスの分離度を得て、得られた複数のクラスの分離度に基づいて、複数の検証用画像の分類処理の精度を評価し、複数の検証用画像の分類処理の精度の評価結果に基づいて、機械学習モデルの再学習が必要であるか否か評価し、機械学習モデルの再学習が必要であると評価した場合は、複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を抽出して機械学習モデルに自動的に再学習させる。
【選択図】図8
特許請求の範囲【請求項１】
機械学習モデルに画像を入力し、当該画像を複数のクラスに分類する分類処理を実行するプロセッサを備える画像処理装置であって、
前記プロセッサは、
（１）前記機械学習モデルに複数の学習用画像を学習させ、
（２）複数の学習用画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記複数のクラスに分類する分類処理を実行し、
（３）前記複数の検証用画像の分類処理により前記複数のクラスの分離度を得て、得られた前記複数のクラスの分離度に基づいて、前記複数の検証用画像の分類処理の精度を評価し、
（４）前記複数の検証用画像の分類処理の精度の評価結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を抽出して前記機械学習モデルに自動的に再学習させ、一方、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了する、
画像処理装置。
続きを表示（約 2,300 文字）【請求項２】
請求項１に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が不要であると評価するまで、前記（２）から（４）の処理を自動的に繰り返し実行する、
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記複数のクラスには、第１クラスおよび第２クラスが含まれ、
前記複数の検証用画像には、前記第１クラスを示すラベルが付与された第１クラス画像及び前記第２クラスを示すラベルが付与された第２クラス画像が含まれ、
前記プロセッサは、
前記複数の検証用画像を前記第１クラスと前記第２クラスに分類する分類処理において、前記複数の検証用画像のそれぞれに対して前記第１クラスに属する度合いを示す第１評価値を算出し、
前記機械学習モデルの再学習が必要であると評価した場合は、前記第１評価値が相対的に高い前記第２クラス画像、又は前記第１評価値が相対的に低い前記第１クラス画像を抽出して前記機械学習モデルに自動的に再学習させ、
前記第１評価値軸上における前記第１クラス画像と前記第２クラス画像の分布の分離度を求め、当該分離度に基づいて前記機械学習モデルの再学習が不要であると評価するまで、前記（２）から（４）の処理を繰り返し実行する、
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記プロセッサは、
前記第１評価値軸上における前記第１クラス画像と前記第２クラス画像の分布の分離度が所定値以上となるまで、前記（２）から（４）の処理を繰り返し実行する、
画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記複数の検証用画像には、良品ラベルが付与された良品画像及び不良品ラベルが付与された不良品画像が含まれ、
前記プロセッサは、
前記分類処理において、前記複数の検証用画像のそれぞれに対して不良の度合いを示す評価値を算出し、
前記機械学習モデルの再学習が必要であると評価した場合は、前記評価値が相対的に高い良品画像、又は当該評価値が相対的に低い不良品画像を抽出し、前記機械学習モデルに自動的に再学習させ、
前記評価値軸上における前記良品画像と前記不良品画像の分布の分離度を求め、当該分離度が所定値以上となるまで、前記（２）から（４）の処理を繰り返し実行する、
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記プロセッサは、
前記複数の検証用画像の前記良品画像の前記評価値と、前記不良品画像の前記評価値とを比較した結果に基づいて、前記機械学習モデルに再学習させる画像として、前記評価値が相対的に高い良品画像、又は当該評価値が相対的に低い不良品画像のどちらを抽出するかを自動的に決定する、
画像処理装置。
【請求項７】
請求項３に記載の画像処理装置において、
前記プロセッサは、
前記分類処理において、前記複数の検証用画像のそれぞれに対して前記第２クラスに属する度合いを示す第２評価値を更に算出し、
前記機械学習モデルの再学習が必要であると評価した場合は、前記第２評価値が相対的に高い前記第１クラス画像、又は前記第２評価値が相対的に低い前記第２クラス画像を抽出して前記機械学習モデルに自動的に再学習させ、
前記第２評価値軸上における前記第１クラス画像と前記第２クラス画像の分布の分離度を求め、当該分離度に基づいて前記機械学習モデルの再学習が不要であると評価するまで、前記（２）から（４）の処理を繰り返し実行する、
画像処理装置。
【請求項８】
請求項１に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記分類処理の精度の評価結果に基づいて、再学習に用いる検証用画像の枚数を自動的に算出し、
前記複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を前記算出した枚数だけ抽出し、当該枚数の検証用画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い順に前記算出した枚数の検証用画像を抽出し、当該枚数の検証用画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項１０】
請求項３に記載の画像処理装置において、
前記プロセッサは、
前記分類処理の実行後、前記第１評価値軸上における前記第１クラス画像と前記第２クラス画像の分布の分離度を示す分離グラフを含む表示画面を生成して表示部に表示させ、
前記機械学習モデルの再学習を繰り返し実行するたびに、前記分離グラフを、再学習後の前記機械学習モデルで得られた前記分離グラフに更新し、当該更新により得られた最新の分離グラフを過去の分離グラフと比較可能に表示する表示画面を生成して前記表示部に表示させる、
画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習モデルによる画像処理を実行するプロセッサを備えた画像処理装置及び画像処理方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
例えば工業製品の外観検査を行う検査装置として、撮像部によって取得された対象画像を機械学習モデルに入力し、良品と不良品のいずれのグループに属するかを判定する分類処理を実行するように構成された検査装置が知られている（例えば特許文献１参照）。特許文献１の検査装置では、良品グループに属する学習用画像、不良品グループに属する学習用画像等を用いて機械学習モデルを学習させており、良品グループと不良品グループのどちらに属するか曖昧な画像を追加学習用画像としてユーザに提案している。
【０００３】
また、特許文献２には、欠陥検出部の性能精度に基づいて、更なる性能向上に必要となる追加の欠陥画像数をユーザに提示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
特許第６６４３８５６号公報
特開２０２１－１９６３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、機械学習モデルを学習させるためには学習用画像が複数枚必要になるが、複数枚ある画像の中からどの画像を学習用画像にすればよいのか、ユーザには分かり難い。このため機械学習モデルの学習は試行錯誤になってしまい、ユーザの負担が増加するとともに、学習用画像の枚数及び学習時間が増大するケースがある。また、ユーザによる判断では、過学習になるおそれもあった。
【０００６】
特許文献１の検査装置の場合、学習用画像をユーザに提案することはできるが、提案された学習用画像を機械学習モデルに入力して学習させるか否かについてはユーザが判断しなければならず、ユーザの負担が大きい。また、機械学習モデルによる分類処理の精度が十分であるか否かをユーザが確認することは難しく、確認作業を行うユーザの負担は大きなものである。さらに、その確認の結果、分類処理の精度が不十分であり、追加学習が必要と判断した場合にはユーザが学習用画像を用いた学習を再度行わなければならず、このこともユーザの負担を大きくする要因となっていた。
【０００７】
また特許文献２の欠陥検出システムの場合、欠陥検出部の性能精度に基づいて、更なる性能向上に必要となる追加の欠陥画像数をユーザに提示することはできるが、どのような学習用画像を追加するべきかについてはユーザが判断しなければならず、ユーザの負担が大きい。
【０００８】
本開示は、かかる点に鑑みたものであり、その目的とするところは、機械学習モデルの学習、検証、再学習を分類処理の精度が十分になるまで自動的に実行することで、ユーザの負担を軽減することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本態様では、機械学習モデルに画像を入力し、当該画像を複数のクラスに分類する分類処理を実行するプロセッサを備える画像処理装置を前提とすることができる。前記プロセッサは、前記機械学習モデルに複数の学習用画像を学習させ、複数の学習用画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記複数のクラスに分類する分類処理を実行し、前記複数の検証用画像の分類処理により前記複数のクラスの分離度を得て、得られた前記複数のクラスの分離度に基づいて、前記複数の検証用画像の分類処理の精度を評価し、前記複数の検証用画像の分類処理の精度の評価結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を抽出して前記機械学習モデルに自動的に再学習させ、一方、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了する。
【００１０】
この構成によれば、複数の学習用画像により機械学習モデルを学習させた後に、機械学習モデルに複数の検証用画像を入力して分類処理を実行することで、機械学習モデルの検証を行うことができる。検証によって得られた分離度に基づいて評価された分類処理の精度が不十分である場合には、分類結果が誤っている可能性が相対的に高い検証用画像を機械学習モデルに入力して自動的に再学習させる。一方、検証によって得られた分離度に基づいて評価された分類処理の精度が十分であり、機械学習モデルの再学習が不要である場合には、機械学習モデルの学習処理を完了する。要するに、本構成によれば、機械学習モデルの学習、検証、再学習が自動的に実行されるのでユーザの負担が軽減され、また再学習時には分類結果が誤っている可能性が相対的に高い検証用画像を用いることで、効率の良い学習が行える。
（【００１１】以降は省略されています）

関連特許