特許ウォッチ

公開番号2024171667
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023088804
出願日2023-05-30
発明の名称類似画像セット作成装置、方法及びプログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06T 7/00 20170101AFI20241205BHJP(計算;計数)
要約【課題】多数の画像の中からユーザが注目する画像と当該画像に類似する画像とを含む類似画像セットを作成する手間を低減すること。
【解決手段】実施形態に係る類似画像セット作成装置は、取得部、第一抽出部、第二抽出部及び選択部を有する。取得部は、複数の画像を取得する。第一抽出部は、複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出する。第二抽出部は、複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出する。ここで、第二モデルは、潜在空間において互いに類似する画像が第一モデルに比して連続的に分布するように訓練される。選択部は、複数の第一特徴量と複数の第二特徴量とに基づいて、複数の画像の中から類似画像セットの基準になる注目画像と注目画像に類似する補助画像とを選択する。
【選択図】図1
特許請求の範囲【請求項１】
複数の画像を取得する取得部と、
前記複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出する第一抽出部と、
前記複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出し、前記第二モデルは、潜在空間において互いに類似する画像が前記第一モデルに比して連続的に分布するように訓練される、第二抽出部と、
前記複数の第一特徴量と前記複数の第二特徴量とに基づいて、前記複数の画像の中から類似画像セットの基準になる注目画像と前記注目画像に類似する補助画像とを選択する選択部と、
を具備する類似画像セット作成装置。
続きを表示（約 1,000 文字）【請求項２】
前記選択部は、
前記複数の第一特徴量に基づいて、前記複数の画像から２個以上の前記注目画像を選択する第一選択部と、
前記複数の第二特徴量に基づいて、前記複数の画像から、選択された２個以上の前記注目画像に類似する前記補助画像を選択する第二選択部と、を有する、
請求項１記載の類似画像セット作成装置。
【請求項３】
前記第一選択部は、前記複数の第一特徴量に基づいて前記複数の画像を複数のクラスタに分類し、前記複数のクラスタをそれぞれ代表する複数の代表画像を選択し、前記複数の代表画像のうちの入力機器を介して選択された代表画像を前記注目画像として選択する、請求項２記載の類似画像セット作成装置。
【請求項４】
前記複数の代表画像を、前記入力機器を介して選択可能に表示機器に表示する表示制御部を更に備える、請求項３記載の類似画像セット作成装置。
【請求項５】
前記表示制御部は、選択された前記注目画像を、前記入力機器を介して並べ替え可能に表示する、請求項４記載の類似画像セット作成装置。
【請求項６】
前記第二選択部は、
前記複数の第二特徴量に関する潜在空間において、２個以上の前記注目画像のうちの第一画像と第二画像とを通る線を算出し、
前記複数の画像のうちの、前記線との距離が閾値よりも小さい画像を前記補助画像として選択する、
請求項２記載の類似画像セット作成装置。
【請求項７】
前記第二選択部は、前記複数の第二特徴量に関する潜在空間における、２個以上の前記注目画像のうちの第一画像と第二画像との間の経路探索により、前記複数の画像の中から前記補助画像を選択する、請求項２記載の類似画像セット作成装置。
【請求項８】
前記第二選択部は、前記複数の第二特徴量を、２次元又は３次元に縮約された前記潜在空間においてプロットする、請求項６又は７記載の類似画像セット作成装置。
【請求項９】
前記第二選択部は、２個以上の前記注目画像として３個以上の注目画像が選択された場合、選択された３個以上の前記注目画像のうちの２個の注目画像の組合せ毎に前記補助画像を選択する、請求項２記載の類似画像セット作成装置。
【請求項１０】
前記２個の注目画像の組合せ毎に前記補助画像を表示機器に表示する表示制御部を更に備える、請求項９記載の類似画像セット作成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、類似画像セット作成装置、方法及びプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
製造分野においては、機械学習により製品の外観画像を分類することで、不良や欠陥の発生を監視し、生産性を向上する取り組みが広がっている。機械学習で外観画像を分類する方法として、事前に分類基準となる教師ラベルを人手で付与し、深層学習などの手法により分類モデルを学習する教師あり学習が用いられる。高精度の分類モデルを学習するためには、大量の画像に正確に教師ラベルを付与する必要がある。
【０００３】
製造においては、人手による正確なラベル付与が困難な場合がある。例えば、製品の画像の色、キズの大きさ、光沢などで良品と不良品のラベルを付与する場合、良品と不良品との区別の基準が明確でなく、作業者によって異なる基準でラベルが付与されたり、作業中に基準が変わってしまう可能性がある。
【０００４】
ラベル付与の基準を一定にするため、限度見本と呼ばれる画像の見本が作成される。限度見本は、良品と不良品の見本となる複数の画像の例を示すことでラベルの判定基準を明確化する。限度見本を基準にラベル付与を行うことで、複数の作業者がラベル付与を行う場合でも、共通の基準に従い作業を行うことができる。このような限度見本は、機械学習に向けたラベル付与作業だけでなく、機械学習を用いない目視の検査においても利用されている。
【０００５】
限度見本はラベル付与や検査の基準を一定にする一方で、作成や運用にコストがかかる傾向にある。限度見本の作成には、その製品の色、キズの大きさ、光沢などのバリエーションを熟知する検査の専門家が見本を選択する必要がある。また、製品の製造プロセスの変更に応じて良品や不良品の性質が変化する場合があり、その度に限度見本を更新する必要がある。近年の工場ではニーズに応じた少量多品種の製品が生産され、各製品に複数の検査工程が設けられる場合があるため、全ての検査において限度見本を作成及び運用することは作業コストが大きい。
【先行技術文献】
【特許文献】
【０００６】
米国特許11,288,805号明細書
【非特許文献】
【０００７】
Yaling Tao, Kentaro Takagi, Kouta Nakata. “Clustering Friendly representation learning via instance discrimination and feature decorrelation”, arXiv:2106.00131 (ICLR2021)
Wu, Zhirong, et al. "Unsupervised feature learning via non-parametric instance discrimination." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、多数の画像の中からユーザが注目する画像と当該画像に類似する画像とを含む類似画像セットを作成する手間を低減することが可能な類似画像セット作成装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
実施形態に係る類似画像セット作成装置は、取得部、第一抽出部、第二抽出部及び選択部を有する。前記取得部は、複数の画像を取得する。前記第一抽出部は、前記複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出する。前記第二抽出部は、前記複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出する。ここで、前記第二モデルは、潜在空間において互いに類似する画像が前記第一モデルに比して連続的に分布するように訓練される。前記選択部は、前記複数の第一特徴量と前記複数の第二特徴量とに基づいて、前記複数の画像の中から類似画像セットの基準になる注目画像と前記注目画像に類似する補助画像とを選択する。
【図面の簡単な説明】
【００１０】
類似画像セット作成装置の構成例を示す図
検査画像を例示する図
第一特徴量ｘ
ｐ
ｑ
を例示する図
第一モデルの概要を示す図
第二特徴量Ｘ
ｐ
ｒ
を例示する図
第二モデルの概要を示す図
選択部による注目画像と補助画像との選択処理を模式的に示す図
類似画像セット作成装置による限度見本の作成処理の処理手順を示す図
クラスタの代表画像の表示画面の一例を示す図
注目画像の選択画面の一例を示す図
注目画像の選択画面の一例を示す図
補助画像の第一の選択方法を例示する図
補助画像の第二の選択方法を例示する図
類似画像セットの表示画面を例示する図
類似画像セットの他の表示画面を例示する図
限度見本の表示画面を例示する図
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許