特許ウォッチ

公開番号2024173032
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023091147
出願日2023-06-01
発明の名称方法、および、コンピュータプログラム
出願人ブラザー工業株式会社
代理人鳳国際弁理士法人
主分類G06T 7/00 20170101AFI20241205BHJP(計算;計数)
要約【課題】物体検出モデルによる物体の検出精度を向上する。
【解決手段】複数個の訓練画像のそれぞれは、正解オブジェクトと不正解オブジェクトとを含む1枚の画像であり、正解オブジェクトは物体検出モデルで検出すべき物品を示すオブジェクトであり、不正解オブジェクトは検出すべき物品と同種かつ物体検出モデルで検出すべでない物品を示すオブジェクトである。複数個の訓練画像を用いて、訓練画像が物体検出モデルに入力される場合に訓練画像内の正解オブジェクトを検出するように、物体検出モデルを訓練する。正解オブジェクトと不正解オブジェクトとの差異は、差異(1)～差異(4)のうちの少なくとも1つを含む。差異(1)は大きさ、差異(2)は定の文字、差異(3)はキズおよび汚れ、差異(4)は特定色、に関することである。
【選択図】図3
特許請求の範囲【請求項１】
複数個の訓練画像を取得する取得工程であって、前記複数個の訓練画像のそれぞれは、正解オブジェクトと不正解オブジェクトとを含む１枚の画像であり、前記正解オブジェクトは物体検出モデルで検出すべき物品を示すオブジェクトであり、前記不正解オブジェクトは前記検出すべき物品と同種かつ前記物体検出モデルで検出すべきでない物品を示すオブジェクトである、前記取得工程と、
前記複数個の訓練画像を用いて、前記訓練画像が前記物体検出モデルに入力される場合に前記訓練画像内の前記正解オブジェクトを検出するように、前記物体検出モデルを訓練する訓練工程と、
を備え、
前記正解オブジェクトと前記不正解オブジェクトとの差異は、差異（１）～差異（４）のうちの少なくとも１つを含み、
差異（１）は、前記正解オブジェクトの大きさは特定範囲内であり、前記不正解オブジェクトの大きさは前記特定範囲外であることであり、
差異（２）は、前記正解オブジェクトは特定の文字を含み、前記不正解オブジェクトは前記特定の文字とは異なる文字を含むことであり、
差異（３）は、前記正解オブジェクトはキズおよび汚れを含まず、前記不正解オブジェクトはキズまたは汚れを含むことであり、
差異（４）は、前記正解オブジェクトは特定色を有し、前記不正解オブジェクトは前記特定色とは異なる色を有することである、方法。
続きを表示（約 2,300 文字）【請求項２】
請求項１に記載の方法であって、
前記検出すべき物品および前記検出すべきでないの物品は、文字と記号との少なくとも一方を含むラベルまたは銘板である、方法。
【請求項３】
請求項１に記載の方法であって
前記差異（１）は、前記正解オブジェクトの大きさは特定範囲内であり、前記不正解オブジェクトの大きさは前記特定範囲の上限よりも所定割合以上大きいこと、または、前記正解オブジェクトの大きさは特定範囲内であり、前記不正解オブジェクトの大きさは前記特定範囲の下限よりも所定割合以上小さいことである、方法。
【請求項４】
請求項１に記載の方法であって、
１つの前記不正解オブジェクトと前記正解オブジェクトとの間の差異は、前記差異（１）～（４）のうちの１つの差異を含み、前記差異（１）～（４）のうちの１つとは異なる差異を含まない、方法。
【請求項５】
請求項１に記載の方法であって、
前記複数個の訓練画像は、第１の物品を示す第１オブジェクトと、前記第１の物品と同種の第２の物品を示す第２オブジェクトと、を含み、
前記第１オブジェクトと前記第２オブジェクトとの差異は、前記差異（１）～前記差異（４）のうちの少なくとも１つを含み、
前記訓練工程は、
前記第１オブジェクトを前記正解オブジェクトとし、前記第２オブジェクトを前記不正解オブジェクトとして用いて、前記訓練画像が前記物体検出モデルに入力される場合に前記訓練画像内の前記第１オブジェクトを検出するように、前記物体検出モデルを訓練し、
前記第２オブジェクトを前記正解オブジェクトとし、前記第１オブジェクトを前記不正解オブジェクトとして用いて、前記訓練画像が前記物体検出モデルに入力される場合に前記訓練画像内の前記第２オブジェクトを検出するように、前記物体検出モデルを訓練する、方法。
【請求項６】
請求項１に記載の方法であって、
前記複数個の訓練画像のそれぞれは、前記検出すべき物品の全体を示す前記正解オブジェクトと、前記検出すべきでない物品の全体を示す前記不正解オブジェクトと、を含む、方法。
【請求項７】
請求項１に記載の方法であって、
前記取得工程は、
背景画像と、前記正解オブジェクトを示す正解画像と、を取得する画像取得工程と、
前記背景画像を背景とし前記正解画像を前景として、前記背景画像内の特定領域に前記正解画像を合成する合成工程と、
前記合成工程において前記正解画像が合成される前記特定領域を示す領域情報を保存する工程と、
を含み、
前記訓練工程は、前記領域情報を教師データとして用いて、前記物体検出モデルを訓練する工程である、方法。
【請求項８】
請求項１に記載の方法であって、
前記取得工程は、
背景画像と、前記正解オブジェクトを示す正解画像と、を取得する画像取得工程と、
前記正解画像に対して特定の画像処理を実行して、前記不正解オブジェクトを示す不正解画像を生成する画像生成工程と、
前記背景画像を背景とし前記正解画像と前記不正解画像を前景として、前記背景画像内の第１領域に前記正解画像を合成し、前記背景画像内の第２領域に前記不正解画像を合成することによって前記訓練画像を生成する合成工程と、
を含む、方法。
【請求項９】
物品の検査を行う方法であって、
文字を含む検査対象の物品の撮影画像を取得する工程と、
請求項１に記載の方法を用いて前記検査対象の物品を検出するように訓練された前記物体検出モデルを用いて、前記撮影画像内の前記検査対象の物品を検出する検出工程と、
検出された前記検査対象の物品に含まれる文字が、特定の文字であるか否かを判断する判断工程と、
を含む、方法。
【請求項１０】
複数個の訓練画像を取得する取得機能であって、前記複数個の訓練画像のそれぞれは、正解オブジェクトと不正解オブジェクトとを含む１枚の画像であり、前記正解オブジェクトは物体検出モデルで検出すべき物品を示すオブジェクトであり、前記不正解オブジェクトは前記検出すべき物品と同種かつ前記物体検出モデルで検出すべきでない物品を示すオブジェクトである、前記取得機能と、
前記複数個の訓練画像を用いて、前記訓練画像が前記物体検出モデルに入力される場合に前記訓練画像内の前記正解オブジェクトを検出するように、前記物体検出モデルを訓練する訓練機能と、
をコンピュータに実現させ、
前記正解オブジェクトと前記不正解オブジェクトとの差異は、差異（１）～差異（４）のうちの少なくとも１つを含み、
差異（１）は、前記正解オブジェクトの大きさは特定範囲内であり、前記不正解オブジェクトの大きさは前記特定範囲外であることであり、
差異（２）は、前記正解オブジェクトは特定の文字を含み、前記不正解オブジェクトは前記特定の文字とは異なる文字を含むことであり、
差異（３）は、前記正解オブジェクトはキズおよび汚れを含まず、前記不正解オブジェクトはキズまたは汚れを含むことであり、
差異（４）は、前記正解オブジェクトは特定色を有し、前記不正解オブジェクトは前記特定色とは異なる色を有することである、コンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本明細書は、物体検出モデルを訓練する技術に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
非特許文献１には、画像内のオブジェクトが配置されたオブジェクト領域と、オブジェクトの種類と、を検出する機械学習モデルである物体検出モデルが開示されている。一般的に物体検出モデルは、大量の訓練用の画像（以下、訓練画像とも呼ぶ）を用いて訓練される。
【先行技術文献】
【非特許文献】
【０００３】
Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788
【発明の概要】
【発明が解決しようとする課題】
【０００４】
物体検出モデルによる物体の検出精度を向上する技術が求められている。
【０００５】
本明細書は、物体検出モデルによる物体の検出精度を向上し得る物体検出モデルの訓練技術を開示する。
【課題を解決するための手段】
【０００６】
本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。
【０００７】
［適用例１］複数個の訓練画像を取得する取得工程であって、前記複数個の訓練画像のそれぞれは、正解オブジェクトと不正解オブジェクトとを含む１枚の画像であり、前記正解オブジェクトは物体検出モデルで検出すべき物品を示すオブジェクトであり、前記不正解オブジェクトは前記検出すべき物品と同種かつ前記物体検出モデルで検出すべでない物品を示すオブジェクトである、前記取得工程と、前記複数個の訓練画像を用いて、前記訓練画像が前記物体検出モデルに入力される場合に前記訓練画像内の前記正解オブジェクトを検出するように、前記物体検出モデルを訓練する訓練工程と、を備え、前記正解オブジェクトと前記不正解オブジェクトとの差異は、差異（１）～差異（４）のうちの少なくとも１つを含み、差異（１）は、前記正解オブジェクトの大きさは特定範囲内であり、前記不正解オブジェクトの大きさは前記特定範囲外であることであり、差異（２）は、前記正解オブジェクトは特定の文字を含み、前記不正解オブジェクトは前記特定の文字とは異なる文字を含むことであり、差異（３）は、前記正解オブジェクトはキズおよび汚れを含まず、前記不正解オブジェクトはキズまたは汚れを含むことであり、差異（４）は、前記正解オブジェクトは特定色を有し、前記不正解オブジェクトは前記特定色とは異なる色を有することである、方法。
【０００８】
上記構成によれば、オブジェクトの大きさ、特定の文字の有無、キズや汚れの有無、特定色を有するか否か等の差異を考慮して、物体を検出するように、物体検出モデルを訓練できる。この結果、物体検出モデルによる物体の検出精度を向上し得る。
【０００９】
なお、本明細書に開示される技術は、他の種々の形態で実現することが可能であり、例えば、物体検出モデルの訓練装置、物体検出モデルを用いた検査装置、物体検出モデル、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。
【図面の簡単な説明】
【００１０】
本実施例の検査システム１０００の構成を示すブロック図。
製品３００の説明図。
訓練処理のフローチャート。
訓練処理で用いられる画像の一例を示す図。
背景画像ＯＩと訓練画像ＭＩとの一例を示す図。
正解画像生成処理のフローチャート。
不正解画像生成処理のフローチャート。
物体検出モデルＡＮの説明図。
検査処理のフローチャート。
撮影画像ＦＩの一例を示す図。
第２実施例の訓練処理のフローチャート。
第２実施例の説明図。
（【００１１】以降は省略されています）

関連特許