特許ウォッチ

公開番号2024037255
公報種別公開特許公報(A)
公開日2024-03-19
出願番号2022141960
出願日2022-09-07
発明の名称検出装置
出願人国立大学法人三重大学,宇野重工株式会社
代理人個人
主分類G06T 7/00 20170101AFI20240312BHJP(計算;計数)
要約【課題】入力画像に写った検出対象物を精度よく検出できる検出装置を提供すること。
【解決手段】サポートベクターマシンによる機械学習がなされた学習モデル13より、入力画像に対して設定された探索ウインドウから抽出されるHOG特徴量に基づいて出力される、その探索ウインドウにおけるボルトの存在確率を取得する存在確率取得部14と、探索ウインドウ設定部11により設定された各々の探索ウインドウに対して取得された各ボルトの存在確率に基づき、入力画像におけるボルトの存在確率マップを生成するマップ生成部15と、各々の探索ウインドウにおいて、存在確率が所定確率以上の探索ウインドウを、ボルトの検出候補枠として設定する検出候補枠設定部16と、1のボルトに対して設定されたと認められる複数の検出候補枠を、存在確率マップを用いて1つの検出枠に統合する検出枠統合部18と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
入力画像に写った検出対象物を検出する検出装置であって、
前記入力画像に対して所定画像サイズの探索ウインドウを設定し、設定する探索ウインドウを前記所定画像サイズよりも少ない画素数でずらしながらラスタ走査する探索ウインドウ設定部と、
前記検出対象物の写った前記所定画像サイズである複数の学習用画像データと、前記検出対象物の写っていない前記所定画像サイズである複数の学習用画像データとに基づき機械学習がなされたＡＩ学習ツールを用いて、前記入力画像に対して設定された前記探索ウインドウにおける前記検出対象物の存在確率を取得する存在確率取得部と、
前記探索ウインドウ設定部により設定された各々の探索ウインドウに対して前記存在確率取得部により取得された各存在確率に基づき、前記入力画像における前記検出対象物の存在確率マップを生成するマップ生成部と、
前記探索ウインドウ設定部により設定された各々の探索ウインドウにおいて、前記存在確率取得部により取得された各存在確率が所定確率以上の探索ウインドウを、前記検出対象物の検出候補枠として設定する検出候補枠設定部と、
１の検出対象物に対して前記検出候補枠設定部により設定されたと認められる複数の前記検出候補枠を、前記存在確率マップを用いて前記１の検出対象物に対する１つの検出枠に統合する検出枠統合部と、
を備えることを特徴とする検出装置。
続きを表示（約 1,700 文字）【請求項２】
前記検出枠統合部は、
前記検出候補枠設定部により設定された前記検出候補枠の中から前記存在確率が最も高い検出候補枠を基準検出枠として選択する基準検出枠選択部と、
その基準検出枠選択部により選択された前記基準検出枠と重なり具合が所定の閾値以上である前記検出候補枠を統合対象検出枠として選択する統合対象検出枠選択部と、
前記存在確率マップに基づき前記存在確率が所定値よりも低い領域を取り除くように、前記基準検出枠及び前記統合対象検出枠のそれぞれを収縮する収縮部と、
その収縮部により収縮された前記基準検出枠及び前記統合対象検出枠の全てを外接するように囲う外接枠を前記１の検出対象物に対する統合された１つの検出枠として決定する検出枠決定部と、を備え、
前記基準検出枠又は前記統合対象検出枠として選択された前記検出候補枠を除外して、前記検出候補枠が無くなるまで、前記基準検出枠を用いた前記１の検出対象物に対する統合された１つの検出枠の決定を繰り返すことを特徴とする請求項１記載の検出装置。
【請求項３】
前記検出枠統合部は、
前記収縮部により収縮された前記基準検出枠及び前記統合対象検出枠のうち、収縮された面積が収縮前よりも所定割合以上収縮された前記基準検出枠及び前記統合対象検出枠を、前記検出枠決定部に用いられる前記基準検出枠及び前記統合対象検出枠から削除する削除部を備えることを特徴とする請求項２記載の検出装置。
【請求項４】
前記ＡＩ学習ツールは、それぞれ前記所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されるものであり、
前記探索ウインドウ設定部は、前記複数の学習モデルのそれぞれに対応する前記所定画像サイズの探索ウインドウを設定し、
前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウの前記所定画像サイズに対応する前記学習モデルより出力される、前記探索ウインドウにおける前記検出対象物の存在確率を取得するものであることを特徴とする請求項１記載の検出装置。
【請求項５】
前記ＡＩ学習ツールは、それぞれ前記所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されるものであり、
前記探索ウインドウ設定部は、前記複数の学習モデルのそれぞれに対応する前記所定画像サイズの探索ウインドウを設定し、
前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウの前記所定画像サイズに対応する前記学習モデルより出力される、前記探索ウインドウにおける前記検出対象物の存在確率を取得するものであり、
前記基準検出枠選択部は、前記検出候補枠のうち画像サイズが最も大きい前記検出候補枠の中で前記存在確率が最も高い検出候補枠を基準検出枠として選択することを特徴とする請求項２記載の検出装置。
【請求項６】
前記ＡＩ学習ツールは、サポートベクターマシン、決定木若しくは深層学習を除くニューラルネットワーク又はこれらを用いたアンサンブル学習によって構成されるものであることを特徴とする請求項１記載の検出装置。
【請求項７】
前記ＡＩ学習ツールは、各学習用画像データから抽出されるＨＯＧ特徴量に基づき機械学習を行うものであり、
前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウから抽出されるＨＯＧ特徴量に基づいて前記ＡＩ学習ツールより出力される前記探索ウインドウにおける前記検出対象物の存在確率を取得することを特徴とする請求項１記載の検出装置。
【請求項８】
前記検出枠統合部により１つに統合された検出枠を、その検出枠に統合された前記検出候補枠の数と、前記検出枠内の前記存在確率とに基づいて、ファジィ推論により誤検出か否かを判定し、誤検出と判定された前記検出枠を削除する誤検出判定部と、を備えることを特徴とする請求項１から７のいずれかに記載の検出装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、入力画像に写った検出対象物を検出する検出装置に関するものである。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
例えば鋼橋の架設では、複数の鋼材を接合するために数千本の高力ボルトが使用されており、作業員はボルトの締め付けが正しく行われているか判断するため、ボルトに施されたマーキングを確認する必要がある。しかしながら、鋼橋架設は高所での屋外作業となるため、大量のボルト検査は作業員の負担が大きく、ボルトの見落としや注意力低下による事故も懸念された。
【０００３】
そこで、近年、作業員が携帯情報端末等によって本締め後のボルト群を撮影することで、その場でボルトの締め付けを自動検査する手法が提案されている。例えば、非特許文献１には、深層学習を用いたボルトの自動検査手法が提案されている。この自動検査手法では、ボルト抽出、マーカー検出、締め付け判定を、それぞれＹＯＬＯｖ３、ＤｅｅｐＣｒａｃｋ、ＣＮＮを用いて行っており、高い精度で自動判定が行われる。
【先行技術文献】
【非特許文献】
【０００４】
福岡知隆，他３名，“画像処理によるボルト本締め確認作業自動化システムの作成”，ＡＩ・データサイエンス論文集，公益社団法人土木学会，２０２０年１１月１１日，１巻，Ｊ１号，ｐ．２９５－３００
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１のような深層学習を用いたボルトの自動検査手法は、高精度の自動判定が期待できるものの、高い処理性能と大きなメモリ容量が要求される。一方で、このような深層学習に限らず、入力画像に写った検索対象物の検出を、精度よく検出可能な検出装置が要望されている。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、入力画像に写った検出対象物を精度よく検出できる検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この目的を達成するために本発明の第１の態様は、入力画像に写った検出対象物を検出する検出装置であって、前記入力画像に対して所定画像サイズの探索ウインドウを設定し、設定する探索ウインドウを前記所定画像サイズよりも少ない画素数でずらしながらラスタ走査する探索ウインドウ設定部と、前記検出対象物の写った前記所定画像サイズである複数の学習用画像データと、前記検出対象物の写っていない前記所定画像サイズである複数の学習用画像データとに基づき機械学習がなされたＡＩ学習ツールを用いて、前記入力画像に対して設定された前記探索ウインドウにおける前記検出対象物の存在確率を取得する存在確率取得部と、前記探索ウインドウ設定部により設定された各々の探索ウインドウに対して前記存在確率取得部により取得された各存在確率に基づき、前記入力画像における前記検出対象物の存在確率マップを生成するマップ生成部と、前記探索ウインドウ設定部により設定された各々の探索ウインドウにおいて、前記存在確率取得部により取得された各存在確率が所定確率以上の探索ウインドウを、前記検出対象物の検出候補枠として設定する検出候補枠設定部と、１の検出対象物に対して前記検出候補枠設定部により設定されたと認められる複数の前記検出候補枠を、前記存在確率マップを用いて前記１の検出対象物に対する１つの検出枠に統合する検出枠統合部と、を備える。
【０００８】
本発明の第２の態様は、第１の態様に係る検出装置において、前記検出枠統合部は、前記検出候補枠設定部により設定された前記検出候補枠の中から前記存在確率が最も高い検出候補枠を基準検出枠として選択する基準検出枠選択部と、その基準検出枠選択部により選択された前記基準検出枠と重なり具合が所定の閾値以上である前記検出候補枠を統合対象検出枠として選択する統合対象検出枠選択部と、前記存在確率マップに基づき前記存在確率が所定値よりも低い領域を取り除くように、前記基準検出枠及び前記統合対象検出枠のそれぞれを収縮する収縮部と、その収縮部により収縮された前記基準検出枠及び前記統合対象検出枠の全てを外接するように囲う外接枠を前記１の検出対象物に対する統合された１つの検出枠として決定する検出枠決定部と、を備え、前記基準検出枠又は前記統合対象検出枠として選択された前記検出候補枠を除外して、前記検出候補枠が無くなるまで、前記基準検出枠を用いた前記１の検出対象物に対する統合された１つの検出枠の決定を繰り返す。
【０００９】
本発明の第３の態様は、第２の態様に係る検出装置において、前記検出枠統合部は、前記収縮部により収縮された前記基準検出枠及び前記統合対象検出枠のうち、収縮された面積が収縮前よりも所定割合以上収縮された前記基準検出枠及び前記統合対象検出枠を、前記検出枠決定部に用いられる前記基準検出枠及び前記統合対象検出枠から削除する削除部を備える。
【００１０】
本発明の第４の態様は、第１から第３のいずれかの態様に係る検出装置において、前記ＡＩ学習ツールは、それぞれ前記所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されるものであり、前記探索ウインドウ設定部は、前記複数の学習モデルのそれぞれに対応する前記所定画像サイズの探索ウインドウを設定し、前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウの前記所定画像サイズに対応する前記学習モデルより出力される、前記探索ウインドウにおける前記検出対象物の存在確率を取得するものである。
（【００１１】以降は省略されています）

関連特許