特許ウォッチ

公開番号2024042461
公報種別公開特許公報(A)
公開日2024-03-28
出願番号2022147206
出願日2022-09-15
発明の名称画像処理装置、学習装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/246 20170101AFI20240321BHJP(計算;計数)
要約【課題】被写体の追尾において、被写体の時系列変化に対する頑健性を向上させる。
【解決手段】対象画像の特徴量と、第1の時刻における追尾対象の第1の画像の特徴量を取得する。追尾対象の第1の画像と、第2の時刻における追尾対象の第2の画像と、に基づいて、追尾対象の第1の画像の複数の位置のそれぞれについての特徴量の重みを生成する。対象画像の特徴量と、重みに基づいて重み付けされた追尾対象の第1の画像の特徴量と、の相関に基づいて、対象画像から追尾対象を検出する。
【選択図】図2
特許請求の範囲【請求項１】
対象画像から追尾対象を探索する画像処理装置であって、
前記対象画像の特徴量と、第１の時刻における前記追尾対象の第１の画像の特徴量を取得する特徴量取得手段と、
前記追尾対象の第１の画像と、第２の時刻における前記追尾対象の第２の画像と、に基づいて、前記追尾対象の第１の画像の複数の位置のそれぞれについての特徴量の重みを生成する重み生成手段と、
前記対象画像の特徴量と、前記重みに基づいて重み付けされた前記追尾対象の第１の画像の特徴量と、の相関に基づいて、前記対象画像から前記追尾対象を検出する検出手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記第２の画像、前記第１の画像、及び前記対象画像は、この順に撮像されていることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記重み生成手段は、第３の時刻における前記追尾対象の第３の画像にさらに基づいて、前記追尾対象の第１の画像の複数の位置のそれぞれについての特徴量の重みを生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記検出手段は、前記第１の時刻に撮像された過去の対象画像からの前記追尾対象の検出結果に基づいて、前記過去の対象画像から前記追尾対象の第１の画像を生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記重み生成手段は、前記追尾対象の像の時系列変化が小さい位置における重みが、前記追尾対象の像の時系列変化が大きい位置における重みよりも大きくなるように、前記追尾対象の第１の画像の複数の位置のそれぞれについての前記特徴量の重みを生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記重み生成手段は、前記追尾対象が存在するか否かに応じて重みが変化するように、前記追尾対象の第１の画像の複数の位置のそれぞれについての前記特徴量の重みを生成することを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
前記重み生成手段は、前記追尾対象の第１の画像と、前記追尾対象の第２の画像と、前記追尾対象の第１の画像の特徴量と、に基づいて前記追尾対象の第１の画像の複数の位置のそれぞれについての前記特徴量の重みを生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記重み生成手段は、複数の手法のそれぞれを用いて、前記追尾対象の第１の画像の複数の位置のそれぞれについての前記特徴量の複数の重みを生成し、
前記検出手段は、前記複数の重みのそれぞれに基づいて重み付けされた前記追尾対象の第１の画像の特徴量を用いて、前記対象画像から前記追尾対象を検出することを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記重み生成手段は、重みマップ生成モデルを用いて、前記追尾対象の第１の画像の複数の位置のそれぞれについての前記特徴量の重みを示す重みマップを生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
前記重みマップ生成モデルは、畳み込みニューラルネットワークを用いて前記重みマップを生成するように学習されていることを特徴とする、請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、学習装置、画像処理方法、及びプログラムに関し、特に画像中の追尾対象を追尾する技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
画像中の被写体の追尾を行う方法としては、輝度又は色情報を利用する方法、テンプレートマッチングを利用する方法、及びＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ（以下、ＣＮＮと省略する）を利用する方法が知られている。テンプレートマッチングを行う場合には、被写体の画像がテンプレートとして用いられる。特許文献１は、被写体が変形する場合の追尾精度を向上させるため、特徴点の位置変化に基づいてテンプレートの形状を変化させることを開示している。
【０００３】
また、ＣＮＮを利用する方法として、非特許文献１は、Ｓｉａｍｅｓｅタイプのニューラルネットワークを用いて被写体を検出する方法を提案している。この手法では、被写体の画像の特徴量と、対象画像の特徴量と、の相互相関に基づいて、対象画像からの被写体の検出が行われる。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１０３５９８
【非特許文献】
【０００５】
B. Li et al. "High Performance Visual Tracking with Siamese Region Proposal Network", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018
X. Zhou et al. "Objects as Points", arXiv: 1904.07850
G. Farnebaeck "Two-Frame Motion Estimation Based on Polynomial Expansion", Scandinavian Conference on Image Analysis 2003
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載の方法には、高速な追尾方法として近年注目が集まっている。一方で、非特許文献１のように特徴量の相関を用いて被写体の検出を行う場合についても、被写体の画像が経時的に変化する場合にも追尾精度を向上させることが求められている。
【０００７】
本発明は、被写体の追尾において、被写体の時系列変化に対する頑健性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る画像処理装置は以下の構成を備える。すなわち、
対象画像から追尾対象を探索する画像処理装置であって、
前記対象画像の特徴量と、第１の時刻における前記追尾対象の第１の画像の特徴量を取得する特徴量取得手段と、
前記追尾対象の第１の画像と、第２の時刻における前記追尾対象の第２の画像と、に基づいて、前記追尾対象の第１の画像の複数の位置のそれぞれについての特徴量の重みを生成する重み生成手段と、
前記対象画像の特徴量と、前記重みに基づいて重み付けされた前記追尾対象の第１の画像の特徴量と、の相関に基づいて、前記対象画像から前記追尾対象を検出する検出手段と、
を備える。
【発明の効果】
【０００９】
被写体の追尾において、被写体の時系列変化に対する頑健性を向上させることができる。
【図面の簡単な説明】
【００１０】
画像処理装置及び学習装置のハードウェア構成例を示す図。
一実施形態に係る画像処理装置の機能構成例を示す図。
一実施形態に係る画像処理方法のフローチャート。
追尾処理用ニューラルネットワークの構成の一例を示す図。
参照画像の取得方法について説明する図。
対象画像の取得方法について説明する図。
追尾対象の位置及びサイズを算出する方法を説明する図。
重みマップ生成モデルの構成の一例を示す図。
特徴量の重み付けについて説明する図。
一実施形態に係る学習装置の機能構成例を示す図。
一実施形態に係る学習方法のフローチャート。
学習に用いるデータについて説明する図。
重みマップ候補及びこれを用いた重み付けについて説明する図。
尤度マップ及びサイズマップの出力について説明する図。
重みマップ候補を用い検出結果の評価について説明する図。
重みマップ候補からの重みマップの選択について説明する図。
重みマップ生成モデルの評価について説明する図。
重みマップ生成モデルの構成の一例を示す図。
重みマップ生成モデルの構成の一例を示す図。
特徴量の重み付けについて説明する図。
一実施形態に係る学習装置の機能構成例を示す図。
一実施形態に係る学習方法のフローチャート。
重みマップの教師データの生成方法について説明する図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許