TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024052205
公報種別
公開特許公報(A)
公開日
2024-04-11
出願番号
2022158760
出願日
2022-09-30
発明の名称
情報処理装置、情報処理方法
出願人
キヤノン株式会社
代理人
弁理士法人大塚国際特許事務所
主分類
G06V
10/96 20220101AFI20240404BHJP(計算;計数)
要約
【課題】フレームに係る推論を行うタイミングまでに、フレームに係る学習を完了させる情報処理装置及び情報処理方法を提供する。
【解決手段】方法は、第1フレームに対応する第1フレーム期間において、該第1フレームに係る推論は完了しているが、該第1フレームに係る学習は完了していない場合には、該第1フレームの次の第2フレームに対応する第2フレーム期間において、該第1フレームに係る学習と、該第2フレームに係る推論および学習と、を実行する。
【選択図】図4
特許請求の範囲
【請求項1】
各フレームに対応するフレーム期間において、該フレームに係る推論と、該フレームに係る学習と、を実行する処理手段を備え、
前記処理手段は、第1フレームに対応する第1フレーム期間において、該第1フレームに係る推論は完了しているが、該第1フレームに係る学習は完了していない場合には、該第1フレームの次の第2フレームに対応する第2フレーム期間において、該第1フレームに係る学習と、該第2フレームに係る推論および学習と、を実行する
ことを特徴とする情報処理装置。
続きを表示(約 1,700 文字)
【請求項2】
前記処理手段は、
フレームに係る推論が完了した場合には、該推論が完了したことを示す情報を記録し、
フレームに係る学習が完了した場合には、該学習が完了したことを示す情報を記録する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記処理手段は、推論の実行中に中断指示を検知した場合には、該推論が完了したことを示す情報は記録しないことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記処理手段は、学習の実行中に中断指示を検知した場合には、該学習が完了したことを示す情報は記録しないことを特徴とする請求項2に記載の情報処理装置。
【請求項5】
前記処理手段は、
前記第1フレームに係る推論は完了しているが、前記第1フレームに係る学習は完了していない場合には、前記第2フレーム期間において、前記第1フレームに係る学習を実行してから前記第2フレームに係る推論および学習を実行する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
前記処理手段は、
前記第1フレームに係る推論は完了しているが、前記第1フレームに係る学習は完了していない場合には、前記第2フレーム期間において、前記第2フレームに係る推論において学習の影響を受けない第1推論と、前記第1フレームに係る学習と、を並列に実行し、該実行の完了後、前記第2フレームに係る推論において学習の影響を受ける第2推論と、前記第2フレームに係る学習と、を行う
ことを特徴とする請求項1に記載の情報処理装置。
【請求項7】
前記処理手段は、
前記第1フレームに係る推論および学習の何れも完了していない場合には、前記第2フレーム期間において、前記第1フレームに係る推論および学習を実行してから、前記第2フレームに係る推論および学習を実行し、前記第2フレーム期間の終了タイミングまでに完了していない処理を、前記第2フレームに後続する後続フレームに対応するフレーム期間で実行してから、該後続フレームに係る推論および学習を行う
ことを特徴とする請求項1に記載の情報処理装置。
【請求項8】
前記処理手段は、
前記第1フレームに係る推論において学習の影響を受けない第1推論は完了しているが、前記第1フレームに係る推論において学習の影響を受ける第2推論および前記第1フレームに係る学習は完了していない場合には、前記第2フレーム期間では、前記第2推論を実行した後、前記第2フレームに係る推論において学習の影響を受けない第1推論と、前記第1フレームに係る学習と、を並列に実行し、該実行の完了後、前記第2フレームに係る推論において学習の影響を受ける第2推論を実行し、該実行の完了後、前記第2フレームに係る学習を行う
ことを特徴とする請求項1に記載の情報処理装置。
【請求項9】
前記処理手段は、
前記第1フレームに係る推論において学習の影響を受けない第1推論は完了しているが、前記第1フレームに係る推論において学習の影響を受ける第2推論および前記第1フレームに係る学習は完了していない場合には、前記第2フレーム期間では、前記第2推論、前記第1フレームに係る学習、を並列に実行し、該実行の完了後、前記第2フレームに係る推論において学習の影響を受ける第1推論を実行し、該実行の完了後、前記第2フレームに係る第1学習を実行し、該実行の完了後、前記第2フレームに係る推論において学習の影響を受ける第2推論を実行し、該実行の完了後、前記第2フレームに係る第2学習を行う
ことを特徴とする請求項1に記載の情報処理装置。
【請求項10】
前記処理手段は、第1フレームに対応する第1フレーム期間において該第1フレームに係る第1学習は完了しているが、該第1フレーム期間において該第1フレームに係る第2学習は完了していない場合には、前記第2フレームに対応する第2フレーム期間では先ず該第2学習を開始することを特徴とする請求項1に記載の情報処理装置。
(【請求項11】以降は省略されています)
発明の詳細な説明
【技術分野】
【0001】
本発明は、推論および学習に係る技術に関するものである。
続きを表示(約 1,800 文字)
【背景技術】
【0002】
複数フレームに渡る画像中の物体を追跡するタスクにおいて、機械学習は一つの有効な手法である。一般に、機械学習を用いた物体追跡では、ニューラルネットワークやサポートベクターマシンといった識別モデルを用い、各フレームについて追跡対象の検出を行う。このステップを推論と呼び、推論の結果に基づいて識別モデルのパラメータを更新するステップを学習と呼ぶ。
【0003】
機械学習を用いた物体追跡においては、しばしばオンライン学習が用いられる。非特許文献1では、ニューラルネットワークを用いた物体追跡の手法が開示されている。非特許文献1に開示の手法では、識別モデルのパラメータの一部を、毎フレームの推論の結果を用いて更新する。これにより、様々な特徴を有する物体について、1種類の識別モデルで追跡を行うことを可能にしている。
【0004】
一方で、実際に物体追跡を行う過程で、フレーム期間の途中で処理が中断される場合がある。特許文献1では、被写体の追跡にオンライン学習を利用するマルチカメラシステムが開示されている。特許文献1に開示されているカメラシステムでは、ユーザの操作によりリセットが行われ、システムは初期状態に戻る。特許文献2では、機械学習を用いた物体認識においてオンライン学習を行うための方法が開示されている。特許文献2に開示されている方法では、外れ値となる入力データを受け取った場合等にオンライン学習が中断され、復帰後は中断前の最新の学習結果を用いて処理を再開する。
【先行技術文献】
【特許文献】
【0005】
特開2017-139725号公報
特表2018-509712号公報
【非特許文献】
【0006】
“Discriminative and Robust Online Learning for Siamese Visual Tracking”, J. Zhou et al., Vol 34 No 07: AAAI-20 Technical Tracks 7(2020)
【発明の概要】
【発明が解決しようとする課題】
【0007】
アプリケーションによっては、中断からの復帰後も対象の追跡状態を維持することが求められる。例えば監視カメラに、追跡対象の特定の動作を認識した場合に静止画を記録する機能が搭載されている場合を考える。このような場合、追跡処理よりも優先度の高い、静止画記録処理による割り込みが発生する。これによりフレーム期間の途中で追跡処理が中断されるが、対象の追跡状態は次のフレーム以降も維持することが望ましい。
【0008】
対象の追跡状態を維持するためには、識別モデルのパラメータを最新の状態に保つことが重要である。画像中の追跡対象は、向きやサイズが変動し続けるため、1フレーム毎に特徴が少しずつ変化していく。この特徴の変化によりフレーム毎の推論による追跡対象の検出が失敗すると、追跡状態が解除される。これを防ぐため、毎フレーム学習を行い、最新の特徴を反映した学習パラメータを用いて推論を行うことが必要である。
【0009】
しかしながら、特許文献1に開示されているカメラシステムでは、システムが初期状態に戻るため、中断前と同じ物体を追跡するためには、再度オンライン学習をやり直す必要がある。特許文献2に開示されている方法では、中断前の学習パラメータを用いて追跡を再開することができるが、中断が発生したフレーム期間でのオンライン学習の結果は反映されない。本発明では、フレームに係る推論を行うタイミングまでに、フレームに係る学習を完了させるための技術を提供する。
【課題を解決するための手段】
【0010】
本発明の一様態は、各フレームに対応するフレーム期間において、該フレームに係る推論と、該フレームに係る学習と、を実行する処理手段を備え、前記処理手段は、第1フレームに対応する第1フレーム期間において、該第1フレームに係る推論は完了しているが、該第1フレームに係る学習は完了していない場合には、該第1フレームの次の第2フレームに対応する第2フレーム期間において、該第1フレームに係る学習と、該第2フレームに係る推論および学習と、を実行することを特徴とする。
【発明の効果】
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
キヤノン株式会社
撮像装置
5日前
キヤノン株式会社
現像装置
9日前
キヤノン株式会社
現像装置
9日前
キヤノン株式会社
記録装置
5日前
キヤノン株式会社
撮像装置
5日前
キヤノン株式会社
通信装置
2日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
画像形成装置
6日前
キヤノン株式会社
画像形成装置
6日前
キヤノン株式会社
画像形成装置
5日前
キヤノン株式会社
有機発光素子
5日前
キヤノン株式会社
光電変換装置
4日前
キヤノン株式会社
光電変換装置
3日前
キヤノン株式会社
画像形成装置
2日前
キヤノン株式会社
画像形成装置
2日前
キヤノン株式会社
光電変換装置
2日前
キヤノン株式会社
タンパク質架橋剤
6日前
キヤノン株式会社
情報処理システム
4日前
キヤノン株式会社
放射線撮影システム
3日前
キヤノン株式会社
半導体装置及び機器
6日前
キヤノン株式会社
タンパク質の修飾剤
6日前
キヤノン株式会社
発光装置および組立体
4日前
キヤノン株式会社
記録装置とその制御方法
4日前
キヤノン株式会社
レンズ装置、及び撮像装置
4日前
キヤノン株式会社
レンズ装置および撮像装置
2日前
キヤノン株式会社
光学装置及び撮像システム
6日前
キヤノン株式会社
情報処理装置、情報処理方法
3日前
キヤノン株式会社
画像処理装置、画像処理方法
3日前
キヤノン株式会社
現像剤補給容器及び画像形成装置
9日前
キヤノン株式会社
光電変換装置及び光電変換システム
2日前
キヤノン株式会社
画像処理装置、方法及びプログラム
5日前
キヤノン株式会社
振動型アクチュエータ及び駆動機器
5日前
キヤノン株式会社
印刷装置、制御方法及びプログラム
9日前
キヤノン株式会社
印刷装置、及び印刷装置の制御方法
2日前
キヤノン株式会社
光学系、表示装置、および撮像装置
6日前
キヤノン株式会社
通信装置、制御方法及びプログラム
5日前
続きを見る
他の特許を見る