特許ウォッチ

公開番号2025173873
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2024079712
出願日2024-05-15
発明の名称情報処理装置およびその制御方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20251120BHJP(計算;計数)
要約【課題】ニューラルネットワークのパラメータ更新をより高効率に行う。
【解決手段】情報処理装置は、複数の処理層を含むニューラルネットワーク(NN)を用いて動画像に含まれる追尾対象を追尾する追尾手段と、動画像に含まれる複数の撮像画像をNNに入力した際の複数の処理層の各々の出力特徴マップに基づいて1以上の処理層を選択する選択手段と、追尾手段がNNを用いた推論処理を行う際に、選択手段により選択された1以上の処理層のパラメータを更新する更新手段と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
複数の処理層を含むニューラルネットワーク（ＮＮ）を用いて動画像に含まれる追尾対象を追尾する追尾手段と、
動画像に含まれる複数の撮像画像を前記ＮＮに入力した際の前記複数の処理層の各々の出力特徴マップに基づいて１以上の処理層を選択する選択手段と、
前記追尾手段が前記ＮＮを用いた推論処理を行う際に、前記選択手段により選択された前記１以上の処理層のパラメータを更新する更新手段と、
を備えることを特徴とする情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記選択手段は、前記複数の処理層のうち、出力特徴マップに含まれる出力値の分散が相対的に大きい１以上の処理層を選択する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記複数の処理層は、複数の畳み込み層と該複数の畳み込み層それぞれの出力を正規化する複数の正規化層とを含み、
前記選択手段は、前記複数の正規化層のうち、出力特徴マップに含まれる出力値の分散が相対的に大きい１以上の正規化層を前記１以上の処理層として選択する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記更新手段は、前記複数の正規化層への入力の分布に応じて更新のタイミングを制御する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記選択手段は、前記ＮＮの事前学習の際に前記１以上の処理層を選択し、
前記更新手段は、前記ＮＮを用いた推論処理の際に、該推論処理の結果に基づいて前記１以上の処理層のパラメータを更新する
ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記選択手段は、前記複数の正規化層の各々への入力を複数のクラスタにクラスタリングし、クラスタ内の分散が相対的に小さくかつクラスタ間の分散が相対的に大きい１以上の正規化層を前記１以上の処理層として選択する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記選択手段は、クラスタごとに正規化パラメータを算出し、
前記更新手段は、各々の正規化層への入力に基づいて決定されるクラスタに対応する正規化パラメータを用いて前記１以上の正規化層のパラメータを更新する
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記更新手段は、前記追尾手段が前記ＮＮを用いた推論処理を行う際に、前記複数の正規化層への入力の分布の移動平均を用いて前記正規化パラメータを更新する
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
複数の処理層を含むニューラルネットワーク（ＮＮ）を用いて動画像に含まれる追尾対象を追尾する追尾手段を有する情報処理装置の制御方法であって、
動画像に含まれる複数の撮像画像を前記ＮＮに入力した際の前記複数の処理層の各々の出力特徴マップに基づいて１以上の処理層を選択する選択工程と、
前記追尾手段が前記ＮＮを用いた推論処理を行う際に、前記選択工程により選択された前記１以上の処理層のパラメータを更新する更新工程と、
を含むことを特徴とする制御方法。
【請求項１０】
請求項９に記載の制御方法をコンピュータに実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワークの学習に関するものである。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、ディープニューラルネットワーク（ＤＮＮ）のオンライン学習を利用した追尾技術（オンライン追尾手法）が、特定の被写体を高精度に追尾するための技術として注目を集めている。オンライン追尾手法では、追尾中に得られる追尾対象物体の画像を用いて、物体検出ＤＮＮのパラメータを追尾対象の検出タスクに適合させる手法である。例えば、非特許文献１、２では、物体検出ＤＮＮのパラメータを、参照画像を用いて勾配法でｆｉｎｅ－ｔｕｎｉｎｇする技術が提案されている。これにより、追尾対象物体の情報が物体検出ＤＮＮに取り込まれ、追尾対象物体をより高い精度で検出できるようになる。
【先行技術文献】
【非特許文献】
【０００３】
Bhat et al., "Learning Discriminative Model Prediction for Tracking", ICCV2019, 2019年
Wang et al., "Tracking by Instance Detection: A Meta-Learning Approach", CVPR2020, 2020年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、既存のオンライン追尾手法では、オンライン更新の対象となるパラメータを人手で決めているため、必ずしもオンライン更新に適したパラメータが選ばれていない可能性がある。また、追尾処理においては、様々な物体を検出可能なバランスの取れたモデルを用いるよりも、追尾対象に過適合させたモデルを用いることが望ましい場合がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、ニューラルネットワークのパラメータ更新をより高効率に行うこと可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、情報処理装置は、
複数の処理層を含むニューラルネットワーク（ＮＮ）を用いて動画像に含まれる追尾対象を追尾する追尾手段と、
動画像に含まれる複数の撮像画像を前記ＮＮに入力した際の前記複数の処理層の各々の出力特徴マップに基づいて１以上の処理層を選択する選択手段と、
前記追尾手段が前記ＮＮを用いた推論処理を行う際に、前記選択手段により選択された前記１以上の処理層のパラメータを更新する更新手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、ニューラルネットワークのパラメータ更新をより高効率に行う技術を提供することができる。
【図面の簡単な説明】
【０００８】
情報処理装置のハードウェア構成を示す図である。
情報処理装置の機能構成を示す図である。
更新層を選択するフローチャートである。
追尾部を構成するＮＮにおける処理を示す図である。
入力画像とＧＴの例を示す図である。
ＮＮに与える入力画像および正解データ、及び、ＮＮが出力する特徴マップと推論結果の例を示す図である。
オンライン追尾（推論時）のフローチャートである。
更新層を選択するフローチャートである（第２実施形態）。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、追尾用のニューラルネットワーク（追尾ＮＮ）をオンライン更新する情報処理装置を例に挙げて以下に説明する。より具体的には、追尾ＮＮに含まれる複数の層からオンライン更新の対象とする層を選択する方法、及び、選択された層をオンライン更新する方法に関して説明する。
（【００１１】以降は省略されています）

関連特許