特許ウォッチ

公開番号2025083574
公報種別公開特許公報(A)
公開日2025-05-30
出願番号2025043766,2021093766
出願日2025-03-18,2021-06-03
発明の名称画像処理装置、画像処理方法、撮像装置
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/246 20170101AFI20250523BHJP(計算;計数)
要約【課題】追尾対象となる物体と見た目の類似した物体が存在するような場合であっても、追尾対象となる物体とその他の物体を正しく識別して追尾を行うための技術を提供すること。
【解決手段】それぞれの画像における追尾対象物体の特徴量の画像間における距離と、画像中の追尾対象物体および非追尾対象物体のそれぞれの特徴量間の距離と、1以上の画像における追尾対象物体の画像領域と非追尾対象物体の画像領域との重複率と、に基づく損失を求める。そして、該損失に基づいて、画像から物体の特徴量を抽出するためのモデルの学習を行う。学習済みのモデルに基づき、画像中の追尾対象物体を追尾する追尾処理を行う。
【選択図】図1
特許請求の範囲【請求項１】
それぞれの画像における追尾対象物体の特徴量の画像間における距離と、画像中の追尾対象物体および非追尾対象物体のそれぞれの特徴量間の距離と、１以上の画像における追尾対象物体の画像領域と非追尾対象物体の画像領域との重複率と、に基づく損失を求める計算手段と、
前記損失に基づいて、画像から物体の特徴量を抽出するためのモデルの学習を行う学習手段と、
前記学習手段により学習済みのモデルに基づき、画像中の追尾対象物体を追尾する追尾処理を行う追尾手段と
を備えることを特徴とする画像処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記計算手段は、
第一の画像中の追尾対象物体および非追尾対象物体の特徴量を、該第一の画像を入力した前記モデルの演算の結果である特徴量マップから取得し、該第一の画像に後続する第二の画像中の追尾対象物体の特徴量を、該第二の画像を入力した前記モデルの演算の結果である特徴量マップから取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記計算手段は、
第一の画像中の物体の画像領域をリサイズし、該リサイズした画像領域を入力した前記モデルの演算の結果を、該第一の画像中の物体の特徴量として取得し、該第一の画像に後続する第二の画像中の物体の画像領域の画像領域をリサイズし、該リサイズした画像領域を入力した前記モデルの演算の結果を、該第二の画像中の物体の特徴量として取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記計算手段は、それぞれの画像における追尾対象物体の特徴量の画像間における距離と、画像中の追尾対象物体および非追尾対象物体のそれぞれの特徴量間の距離と、画像における追尾対象物体の画像領域と非追尾対象物体の画像領域との重複率と、に基づく損失を求めることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記計算手段は、それぞれの画像における追尾対象物体の特徴量の画像間における距離と、画像中の追尾対象物体および非追尾対象物体のそれぞれの特徴量間の距離と、第一の画像における追尾対象物体の画像領域と非追尾対象物体の画像領域との重複率と、該第一の画像に後続する第二の画像における追尾対象物体の画像領域と非追尾対象物体の画像領域との重複率と、に基づく損失を求めることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項６】
前記計算手段は、画像のセットごとに前記損失を求め、画像のセットごとに求めた損失を、前記非追尾対象物体の検出において得られる、物体らしさを示すスコアに応じて重み付けした総和を、最終的な損失として求め、
前記学習手段は、前記最終的な損失に基づいて前記モデルの学習を行う
ことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記計算手段は、画像のセットごとに前記損失を求め、画像のセットごとに求めた損失の平均を最終的な損失として求め、
前記学習手段は、前記最終的な損失に基づいて前記モデルの学習を行う
ことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項８】
前記第一の画像における非追尾対象物体は、該第一の画像中で追尾対象物体に最も近接している非追尾対象物体であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項９】
画像を撮像する撮像部と、
請求項１ないし８のいずれか１項に記載の画像処理装置と
を備えることを特徴とする撮像装置。
【請求項１０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の計算手段が、それぞれの画像における追尾対象物体の特徴量の画像間における距離と、画像中の追尾対象物体および非追尾対象物体のそれぞれの特徴量間の距離と、１以上の画像における追尾対象物体の画像領域と非追尾対象物体の画像領域との重複率と、に基づく損失を求める計算工程と、
前記画像処理装置の学習手段が、前記損失に基づいて、画像から物体の特徴量を抽出するためのモデルの学習を行う学習工程と、
前記画像処理装置の追尾手段が、前記学習工程で学習済みのモデルに基づき、画像中の追尾対象物体を追尾する追尾処理を行う追尾工程と
を備えることを特徴とする画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像中の物体を追尾するための技術に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
画像中の物体を追尾するための技術として、輝度や色情報を利用するものやテンプレートマッチングを利用するもの、ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋを利用するもの等が存在する。ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋを利用する方法の一つにＴｒａｃｋｉｎｇｂｙＤｅｔｅｃｔｉｏｎと呼ばれる方法がある。この方法では、画像中の物体を検出し、該物体を過去の物体と対応付けることによって追尾を行う。非特許文献１では、この対応付けをＭｅｔｒｉｃＬｅａｒｎｉｎｇによって学習されたＮｅｕｒａｌＮｅｔｗｏｒｋから得られた特徴量を用いて行う。ＭｅｔｒｉｃＬｅａｒｎｉｎｇとは、類似度が高いデータほど空間上での距離が近く分布するような空間への変換を学習する方法である。
【先行技術文献】
【特許文献】
【０００３】
特開２０１８－０２６１０８号公報
【非特許文献】
【０００４】
ＮｉｃｏｌａｉＷｏｊｋｅ、ＡｌｅｘＢｅｗｌｅｙ、ＤｉｅｔｒｉｃｈＰａｕｌｕｓ：Ｓｉｍｐｌｅｏｎｌｉｎｅａｎｄｒｅａｌｔｉｍｅｔｒａｃｋｉｎｇｗｉｔｈａｄｅｅｐａｓｓｏｃｉａｔｉｏｎｍｅｔｒｉｃ（ＩＣＩＰ２０１７）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＭｅｔｒｉｃＬｅａｒｎｉｎｇによって学習されたＮｅｕｒａｌＮｅｔｗｏｒｋにより、各物体に対応する特徴量を抽出し、それらを過去の特徴量と対応付けることによって追尾を行う方法を考える。そのような方法では、追尾対象となる物体の姿勢が変化したり、遮蔽が発生したりするような場合、追尾対象となる物体と見た目の類似したその他の物体を誤って対応付けしてしまい、追尾が失敗することがある。
【０００６】
本発明では、追尾対象となる物体と見た目の類似した物体が存在するような場合であっても、追尾対象となる物体とその他の物体を正しく識別して追尾を行うための技術を提供する。
【課題を解決するための手段】
【０００７】
本発明の一様態は、それぞれの画像における追尾対象物体の特徴量の画像間における距離と、画像中の追尾対象物体および非追尾対象物体のそれぞれの特徴量間の距離と、１以上の画像における追尾対象物体の画像領域と非追尾対象物体の画像領域との重複率と、に基づく損失を求める計算手段と、前記損失に基づいて、画像から物体の特徴量を抽出するためのモデルの学習を行う学習手段と、前記学習手段により学習済みのモデルに基づき、画像中の追尾対象物体を追尾する追尾処理を行う追尾手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の構成によれば、追尾対象となる物体と見た目の類似した物体が存在するような場合であっても、追尾対象となる物体とその他の物体を正しく識別して追尾を行うことができる。
【図面の簡単な説明】
【０００９】
学習装置１００の機能構成例を示すブロック図。
学習装置１００による学習モデルの学習処理のフローチャート。
物体検出用ＣＮＮと特徴量抽出用ＣＮＮとの関係を示す図。
追尾対象物体の特徴量を取得するための処理を説明する図。
ｄ
１
、ｄ
２
，ｒ、ｍを求めるための処理を説明する図。
特徴量間距離を二次元空間上に示したイメージ図。
追尾装置２００の機能構成例を示すブロック図。
追尾装置２００による追尾対象物体の追尾処理のフローチャート。
変形例１に係る正解データの構成例を示す図。
変形例２に係る、追尾対象物体および非追尾対象物体の特徴量の取得方法を説明する図。
ＩｏＵ
１
、ＩｏＵ
２
の計算方法を示す図。
コンピュータ装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許