特許ウォッチ

公開番号2024052205
公報種別公開特許公報(A)
公開日2024-04-11
出願番号2022158760
出願日2022-09-30
発明の名称情報処理装置、情報処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 10/96 20220101AFI20240404BHJP(計算;計数)
要約【課題】フレームに係る推論を行うタイミングまでに、フレームに係る学習を完了させる情報処理装置及び情報処理方法を提供する。
【解決手段】方法は、第1フレームに対応する第1フレーム期間において、該第1フレームに係る推論は完了しているが、該第1フレームに係る学習は完了していない場合には、該第1フレームの次の第2フレームに対応する第2フレーム期間において、該第1フレームに係る学習と、該第2フレームに係る推論および学習と、を実行する。
【選択図】図4
特許請求の範囲【請求項１】
各フレームに対応するフレーム期間において、該フレームに係る推論と、該フレームに係る学習と、を実行する処理手段を備え、
前記処理手段は、第１フレームに対応する第１フレーム期間において、該第１フレームに係る推論は完了しているが、該第１フレームに係る学習は完了していない場合には、該第１フレームの次の第２フレームに対応する第２フレーム期間において、該第１フレームに係る学習と、該第２フレームに係る推論および学習と、を実行する
ことを特徴とする情報処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記処理手段は、
フレームに係る推論が完了した場合には、該推論が完了したことを示す情報を記録し、
フレームに係る学習が完了した場合には、該学習が完了したことを示す情報を記録する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記処理手段は、推論の実行中に中断指示を検知した場合には、該推論が完了したことを示す情報は記録しないことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記処理手段は、学習の実行中に中断指示を検知した場合には、該学習が完了したことを示す情報は記録しないことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記処理手段は、
前記第１フレームに係る推論は完了しているが、前記第１フレームに係る学習は完了していない場合には、前記第２フレーム期間において、前記第１フレームに係る学習を実行してから前記第２フレームに係る推論および学習を実行する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記処理手段は、
前記第１フレームに係る推論は完了しているが、前記第１フレームに係る学習は完了していない場合には、前記第２フレーム期間において、前記第２フレームに係る推論において学習の影響を受けない第１推論と、前記第１フレームに係る学習と、を並列に実行し、該実行の完了後、前記第２フレームに係る推論において学習の影響を受ける第２推論と、前記第２フレームに係る学習と、を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記処理手段は、
前記第１フレームに係る推論および学習の何れも完了していない場合には、前記第２フレーム期間において、前記第１フレームに係る推論および学習を実行してから、前記第２フレームに係る推論および学習を実行し、前記第２フレーム期間の終了タイミングまでに完了していない処理を、前記第２フレームに後続する後続フレームに対応するフレーム期間で実行してから、該後続フレームに係る推論および学習を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記処理手段は、
前記第１フレームに係る推論において学習の影響を受けない第１推論は完了しているが、前記第１フレームに係る推論において学習の影響を受ける第２推論および前記第１フレームに係る学習は完了していない場合には、前記第２フレーム期間では、前記第２推論を実行した後、前記第２フレームに係る推論において学習の影響を受けない第１推論と、前記第１フレームに係る学習と、を並列に実行し、該実行の完了後、前記第２フレームに係る推論において学習の影響を受ける第２推論を実行し、該実行の完了後、前記第２フレームに係る学習を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記処理手段は、
前記第１フレームに係る推論において学習の影響を受けない第１推論は完了しているが、前記第１フレームに係る推論において学習の影響を受ける第２推論および前記第１フレームに係る学習は完了していない場合には、前記第２フレーム期間では、前記第２推論、前記第１フレームに係る学習、を並列に実行し、該実行の完了後、前記第２フレームに係る推論において学習の影響を受ける第１推論を実行し、該実行の完了後、前記第２フレームに係る第１学習を実行し、該実行の完了後、前記第２フレームに係る推論において学習の影響を受ける第２推論を実行し、該実行の完了後、前記第２フレームに係る第２学習を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記処理手段は、第１フレームに対応する第１フレーム期間において該第１フレームに係る第１学習は完了しているが、該第１フレーム期間において該第１フレームに係る第２学習は完了していない場合には、前記第２フレームに対応する第２フレーム期間では先ず該第２学習を開始することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、推論および学習に係る技術に関するものである。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
複数フレームに渡る画像中の物体を追跡するタスクにおいて、機械学習は一つの有効な手法である。一般に、機械学習を用いた物体追跡では、ニューラルネットワークやサポートベクターマシンといった識別モデルを用い、各フレームについて追跡対象の検出を行う。このステップを推論と呼び、推論の結果に基づいて識別モデルのパラメータを更新するステップを学習と呼ぶ。
【０００３】
機械学習を用いた物体追跡においては、しばしばオンライン学習が用いられる。非特許文献１では、ニューラルネットワークを用いた物体追跡の手法が開示されている。非特許文献１に開示の手法では、識別モデルのパラメータの一部を、毎フレームの推論の結果を用いて更新する。これにより、様々な特徴を有する物体について、１種類の識別モデルで追跡を行うことを可能にしている。
【０００４】
一方で、実際に物体追跡を行う過程で、フレーム期間の途中で処理が中断される場合がある。特許文献１では、被写体の追跡にオンライン学習を利用するマルチカメラシステムが開示されている。特許文献１に開示されているカメラシステムでは、ユーザの操作によりリセットが行われ、システムは初期状態に戻る。特許文献２では、機械学習を用いた物体認識においてオンライン学習を行うための方法が開示されている。特許文献２に開示されている方法では、外れ値となる入力データを受け取った場合等にオンライン学習が中断され、復帰後は中断前の最新の学習結果を用いて処理を再開する。
【先行技術文献】
【特許文献】
【０００５】
特開2017-139725号公報
特表2018-509712号公報
【非特許文献】
【０００６】
“Discriminative and Robust Online Learning for Siamese Visual Tracking”, J. Zhou et al., Vol 34 No 07: AAAI-20 Technical Tracks 7（2020）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
アプリケーションによっては、中断からの復帰後も対象の追跡状態を維持することが求められる。例えば監視カメラに、追跡対象の特定の動作を認識した場合に静止画を記録する機能が搭載されている場合を考える。このような場合、追跡処理よりも優先度の高い、静止画記録処理による割り込みが発生する。これによりフレーム期間の途中で追跡処理が中断されるが、対象の追跡状態は次のフレーム以降も維持することが望ましい。
【０００８】
対象の追跡状態を維持するためには、識別モデルのパラメータを最新の状態に保つことが重要である。画像中の追跡対象は、向きやサイズが変動し続けるため、１フレーム毎に特徴が少しずつ変化していく。この特徴の変化によりフレーム毎の推論による追跡対象の検出が失敗すると、追跡状態が解除される。これを防ぐため、毎フレーム学習を行い、最新の特徴を反映した学習パラメータを用いて推論を行うことが必要である。
【０００９】
しかしながら、特許文献１に開示されているカメラシステムでは、システムが初期状態に戻るため、中断前と同じ物体を追跡するためには、再度オンライン学習をやり直す必要がある。特許文献２に開示されている方法では、中断前の学習パラメータを用いて追跡を再開することができるが、中断が発生したフレーム期間でのオンライン学習の結果は反映されない。本発明では、フレームに係る推論を行うタイミングまでに、フレームに係る学習を完了させるための技術を提供する。
【課題を解決するための手段】
【００１０】
本発明の一様態は、各フレームに対応するフレーム期間において、該フレームに係る推論と、該フレームに係る学習と、を実行する処理手段を備え、前記処理手段は、第１フレームに対応する第１フレーム期間において、該第１フレームに係る推論は完了しているが、該第１フレームに係る学習は完了していない場合には、該第１フレームの次の第２フレームに対応する第２フレーム期間において、該第１フレームに係る学習と、該第２フレームに係る推論および学習と、を実行することを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許