TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024081404
公報種別公開特許公報(A)
公開日2024-06-18
出願番号2022195012
出願日2022-12-06
発明の名称情報処理装置およびその制御方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20240611BHJP(計算;計数)
要約【課題】追尾対象をより高い精度で追尾する情報処理装置、方法及びプログラムを提供する。
【解決手段】情報処理装置は、ビデオシークエンスに含まれ追尾対象の画像を含むテンプレート用画像に対して、第1領域と第2領域とを設定するテンプレート領域設定部と、特徴抽出ニューラルネットワーク(NN)を用いて、第1、第2領域からテンプレート特徴を抽出するテンプレート特徴抽出部と、特徴抽出NNを用いて、ビデオシークエンスに含まれテンプレート用画像に後続する探索範囲画像から探索範囲特徴を抽出する探索範囲特徴抽出部と、第1、第2領域特徴夫々と探索範囲特徴との相関演算を行い、第1、第2特徴相関マップを導出する特徴相関マップ算出部と、第1、第2特徴相関マップを統合し、統合済み特徴を導出する特徴相関マップ統合部及び統合済み特徴に基づいて、探索範囲画像から追尾対象を検出する追尾対象検出部と、を備える。
【選択図】図2
特許請求の範囲【請求項1】
ビデオシークエンス内の追尾対象を追尾する情報処理装置であって、
前記ビデオシークエンスに含まれ前記追尾対象の画像を含むテンプレート用画像に対して、前記追尾対象の互いに異なる画像領域に対応する第1領域と第2領域とを設定する領域設定手段と、
特徴抽出ニューラルネットワーク(NN)を用いて、前記第1領域および前記第2領域からテンプレート特徴である第1領域特徴および第2領域特徴を抽出する第1の特徴抽出手段と、
前記特徴抽出NNを用いて、前記ビデオシークエンスに含まれ前記テンプレート用画像に後続する探索範囲画像から探索範囲特徴を抽出する第2の特徴抽出手段と、
前記第1領域特徴および前記第2領域特徴それぞれと前記探索範囲特徴との相関演算を行い、相関マップである第1特徴相関マップおよび第2特徴相関マップを導出する相関マップ導出手段と、
前記第1特徴相関マップと前記第2特徴相関マップとを統合し統合済み特徴を導出する統合手段と、
前記統合済み特徴に基づいて、前記探索範囲画像から前記追尾対象を検出する対象検出手段と、
を備える情報処理装置。
続きを表示(約 1,200 文字)【請求項2】
前記統合手段は、前記第1特徴相関マップおよび前記第2特徴相関マップに対応する重みづけ係数に従って、前記第1特徴相関マップと前記第2特徴相関マップとを統合する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記重みづけ係数を算出する係数算出手段をさらに備え、
前記係数算出手段は、前記探索範囲特徴を用いて前記追尾対象に応じた重みづけ係数を算出するニューラルネットワークを含む
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
同じ物体が映っていそうな画素に対し同じ値を付与することにより画像を複数の領域に分割する領域分割手段をさらに備え、
前記領域設定手段は、前記領域分割手段による前記テンプレート用画像の領域分割に基づいて推定された前記追尾対象の画像領域に基づいて、前記第1領域と前記第2領域とを設定する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項5】
画像内において物体の存在尤度が相対的に高い画像領域を検出するオブジェクトネス検出を行う検出手段をさらに備え、
前記領域設定手段は、前記テンプレート用画像に対して前記検出手段が検出した画像領域に基づいて、前記第1領域と前記第2領域とを設定する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
前記検出手段は、複数のテンプレート用画像に対してオブジェクトネス検出を実行し、
前記領域設定手段は、前記検出手段による前記テンプレート用画像に対するオブジェクトネス検出に基づく画像領域のうち前記追尾対象とのオーバーラップが所定以上である画像領域について画像特徴をクラスタリングし、出現回数の多いクラスタに対応する画像領域に基づいて、前記第1領域と前記第2領域とを設定する
ことを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記画像特徴は、前記検出手段に含まれるニューラルネットワークの特徴である
ことを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記追尾対象は動物であり、
前記第1領域および前記第2領域はそれぞれ、動物の互いに異なる部位に対応する領域である
ことを特徴とする請求項1に記載の情報処理装置。
【請求項9】
前記第1領域は前記第2領域を包含する領域である
ことを特徴とする請求項1に記載の情報処理装置。
【請求項10】
前記第1の特徴抽出手段は、前記第1領域と前記第2領域とを包含する包含領域に対する包含領域特徴を前記特徴抽出NNを用いて抽出し、前記包含領域特徴から前記第1領域および前記第2領域に対応する領域特徴を切り出すことにより前記第1領域特徴および前記第2領域特徴を抽出する
ことを特徴とする請求項1に記載の情報処理装置。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、画像内の対象物体を追尾する技術に関するものである。
続きを表示(約 2,000 文字)【背景技術】
【0002】
近年、Deep Neural Network(DNN)を利用した技術が、画像内の特定の被写体を高精度に追尾するための技術として注目を集めている。例えば、非特許文献1などに代表されるSiam手法は、追尾対象のテンプレートとなる参照画像と探索範囲画像のDNN特徴同士の相関演算を行うことで、探索範囲画像から追尾対象を検出する。
【先行技術文献】
【非特許文献】
【0003】
Li et al., "High Performance Visual Tracking with Siamese Region Proposal Network", CVPR2018
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、一般に参照画像には追尾対象以外の背景も映っており、上述のSiam手法においては、背景を追尾対象の特徴ととらえて誤って追尾してしまうことがある。また、追尾対象は時間とともに多様な見た目に変化するため、変化により追尾対象を見失いやすい。これらの理由により、Siam手法においては、追尾の結果が背景へとドリフトしやすいという課題がある。
【0005】
本発明は、このような問題に鑑みてなされたものであり、追尾対象をより高い精度で追尾可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【0006】
上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、ビデオシークエンス内の追尾対象を追尾する情報処理装置は、
前記ビデオシークエンスに含まれ前記追尾対象の画像を含むテンプレート用画像に対して、前記追尾対象の互いに異なる画像領域に対応する第1領域と第2領域とを設定する領域設定手段と、
特徴抽出ニューラルネットワーク(NN)を用いて、前記第1領域および前記第2領域からテンプレート特徴である第1領域特徴および第2領域特徴を抽出する第1の特徴抽出手段と、
前記特徴抽出NNを用いて、前記ビデオシークエンスに含まれ前記テンプレート用画像に後続する探索範囲画像から探索範囲特徴を抽出する第2の特徴抽出手段と、
前記第1領域特徴および前記第2領域特徴それぞれと前記探索範囲特徴との相関演算を行い、相関マップである第1特徴相関マップおよび第2特徴相関マップを導出する相関マップ導出手段と、
前記第1特徴相関マップと前記第2特徴相関マップとを統合し統合済み特徴を導出する統合手段と、
前記統合済み特徴に基づいて、前記探索範囲画像から前記追尾対象を検出する対象検出手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、追尾対象をより高い精度で追尾可能とする技術を提供することができる。
【図面の簡単な説明】
【0008】
情報処理装置のハードウェア構成を示す図である。
情報処理装置の機能構成を示す図である(推論時)。
ニューラルネットワーク全体の構造を示す図である。
推論処理のフローチャートである。
テンプレート用画像と探索範囲画像の例を示す図である。
入力画像(探索範囲画像)と推論結果(尤度マップ)の例を示す図である。
情報処理装置の機能構成を示す図である(学習時)。
学習処理のフローチャートである。
テンプレート用画像と探索範囲画像の例を示す図である。
入力画像(探索範囲画像)と正解データ(GTマップ)と推論結果(尤度マップ)の例を示す図である。
探索範囲画像の特徴マップの例を示す図である。
テンプレート領域設定のフローチャートである。
情報処理装置の機能構成を示す図である(第5実施形態・学習時)。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
(第1実施形態)
本発明に係る情報処理装置の第1実施形態として、ニューラルネットワークを利用して画像内の追尾対象を追尾する情報処理装置を例に挙げて以下に説明する。以下では、まず、画像内の追尾対象を追尾する推論処理について説明し、学習処理については推論処理の説明の後に述べる。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

キヤノン株式会社
トナー
9日前
キヤノン株式会社
トナー
9日前
キヤノン株式会社
トナー
3日前
キヤノン株式会社
トナー
3日前
キヤノン株式会社
トナー
9日前
キヤノン株式会社
トナー
3日前
キヤノン株式会社
トナー
3日前
キヤノン株式会社
撮像装置
3日前
キヤノン株式会社
記録装置
3日前
キヤノン株式会社
操作機器
8日前
キヤノン株式会社
定着装置
3日前
キヤノン株式会社
記録装置
3日前
キヤノン株式会社
発光素子
8日前
キヤノン株式会社
撮像装置
3日前
キヤノン株式会社
清掃装置
4日前
キヤノン株式会社
定着装置
8日前
キヤノン株式会社
レンズ装置
9日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
視線検出装置
4日前
キヤノン株式会社
画像形成装置
8日前
キヤノン株式会社
画像形成装置
8日前
キヤノン株式会社
画像形成装置
8日前
キヤノン株式会社
トナーパック
2日前
キヤノン株式会社
画像形成装置
2日前
キヤノン株式会社
画像形成装置
9日前
キヤノン株式会社
画像形成装置
8日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
視線検出装置
4日前
キヤノン株式会社
視線検出装置
4日前
キヤノン株式会社
光電変換装置
8日前
キヤノン株式会社
基板処理装置
2日前
キヤノン株式会社
画像形成装置
2日前
キヤノン株式会社
画像形成装置
2日前
キヤノン株式会社
画像形成装置
2日前
キヤノン株式会社
液体吐出装置
3日前
キヤノン株式会社
液体吐出ヘッド
8日前
続きを見る