特許ウォッチ

公開番号2024172950
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023091032
出願日2023-06-01
発明の名称演算装置、演算方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/08 20230101AFI20241205BHJP(計算;計数)
要約【課題】ニューラルネットワークの演算とオンライン学習とを並列に実行可能な技術を提供すること。
【解決手段】ニューラルネットワークのオンライン学習において更新対象ではない第1係数を用いて、該ニューラルネットワークの演算を行って第1特徴を取得する(第1処理)。第1特徴と、オンライン学習において更新対象となる第2係数と、を用いてニューラルネットワークの演算を行って第2特徴を取得する。第2係数と過去に取得した第2特徴とを用いてオンライン学習を行うことで該第2係数を更新する。第1処理と更新とは並列に実行される。
【選択図】図5
特許請求の範囲【請求項１】
ニューラルネットワークのオンライン学習において更新対象ではない第１係数を用いて、該ニューラルネットワークの演算を行って第１特徴を取得する第１処理手段と、
前記第１特徴と、前記オンライン学習において更新対象となる第２係数と、を用いて前記ニューラルネットワークの演算を行って第２特徴を取得する第２処理手段と、
前記第２係数と、前記第２処理手段が過去に取得した第２特徴と、を用いて前記オンライン学習を行うことで該第２係数を更新する更新手段と
を備え、
前記第１処理手段による処理と前記更新手段による処理とは並列に実行される
ことを特徴とする演算装置。
続きを表示（約 2,000 文字）【請求項２】
前記第１処理手段は、フレームと前記第１係数とを用いて該フレームの第１特徴を取得し、
前記第２処理手段は、前記フレームの第１特徴と、前記第２係数と、を用いて前記フレームの第２特徴を取得する
ことを特徴とする請求項１に記載の演算装置。
【請求項３】
前記第１処理手段は、第２フレームの第１特徴を取得し、
前記更新手段は、前記第２係数と、前記第２フレームよりも過去に入力された第１フレームの第２特徴と、を用いて前記オンライン学習を行うことで該第２係数を更新し、
前記第２処理手段は、前記第２フレームの第１特徴と、前記更新手段により更新された第２係数と、を用いて前記第２フレームの第２特徴を取得する
ことを特徴とする請求項２に記載の演算装置。
【請求項４】
さらに、
前記第１係数を保持する第１メモリと、
前記第２係数を保持する第２メモリと
を備え、
前記第１処理手段は、前記第１特徴を前記第１メモリに格納し、
前記第２処理手段は、前記第２特徴を前記第２メモリに格納する
ことを特徴とする請求項１に記載の演算装置。
【請求項５】
さらに、
前記第２特徴と、前記ニューラルネットワークにおける第３係数と、を用いて前記ニューラルネットワークの演算を行って第３特徴を取得する第３処理手段を備えることを特徴とする請求項１に記載の演算装置。
【請求項６】
ニューラルネットワークのオンライン学習において更新対象ではない第１係数を用いて、該ニューラルネットワークの演算を行って第１特徴を取得する第１処理手段と、
前記第１特徴と、前記オンライン学習において更新対象となる第２係数と、を用いて前記ニューラルネットワークの演算を行って第２特徴を取得する第２処理手段と、
前記第２特徴と、前記ニューラルネットワークにおける第３係数と、を用いて前記ニューラルネットワークの演算を行って第３特徴を取得する第３処理手段と、
前記第２係数と前記第１特徴とに基づいて前記オンライン学習を行うことで該第２係数を更新する更新手段と
を備え、
前記第３処理手段による処理と前記更新手段による処理とは並列に実行される
ことを特徴とする演算装置。
【請求項７】
前記更新手段は、
前記第２係数と前記第１特徴とを用いて前記第２処理手段による演算と等価の演算を行って得られる特徴と、該第２係数と、を用いて該第２係数を更新する
ことを特徴とする請求項６に記載の演算装置。
【請求項８】
前記演算装置は組み込み機器であることを特徴とする請求項１に記載の演算装置。
【請求項９】
演算装置による演算方法であって、
前記演算装置の第１処理手段が、ニューラルネットワークのオンライン学習において更新対象ではない第１係数を用いて、該ニューラルネットワークの演算を行って第１特徴を取得する第１処理工程と、
前記演算装置の第２処理手段が、前記第１特徴と、前記オンライン学習において更新対象となる第２係数と、を用いて前記ニューラルネットワークの演算を行って第２特徴を取得する第２処理工程と、
前記演算装置の更新手段が、前記第２係数と、前記第２処理工程で過去に取得した第２特徴と、を用いて前記オンライン学習を行うことで該第２係数を更新する更新工程と
を備え、
前記第１処理工程と前記更新工程とは並列に実行される
ことを特徴とする演算方法。
【請求項１０】
演算装置による演算方法であって、
前記演算装置の第１処理手段が、ニューラルネットワークのオンライン学習において更新対象ではない第１係数を用いて、該ニューラルネットワークの演算を行って第１特徴を取得する第１処理工程と、
前記演算装置の第２処理手段が、前記第１特徴と、前記オンライン学習において更新対象となる第２係数と、を用いて前記ニューラルネットワークの演算を行って第２特徴を取得する第２処理工程と、
前記演算装置の第３処理手段が、前記第２特徴と、前記ニューラルネットワークにおける第３係数と、を用いて前記ニューラルネットワークの演算を行って第３特徴を取得する第３処理工程と、
前記演算装置の更新手段が、前記第２係数と前記第１特徴とに基づいて前記オンライン学習を行うことで該第２係数を更新する更新工程と
を備え、
前記第３処理工程と前記更新工程とは並列に実行される
ことを特徴とする演算方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワークの演算とオンライン学習を実行するための技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
画像中の物体を検出する手法として、ニューラルネットワークを用いた物体検出処理がある。また、動画像において、ある時刻の画像（フレーム）中の検出された物体を、以降その物体が動画像中に存在する間検出し続ける技術である、物体追跡を必要とするシステムがある。検出された追跡対象の物体は、同じ種類の物体でも撮影環境や、物体そのものにより特徴が少しずつ異なる。特徴の差異が物体追跡の精度低下を招く場合がある。
【０００３】
物体追跡の精度向上のために、オンライン学習が用いられる。非特許文献１では、ニューラルネットワークを用いた物体追跡の手法が開示されている。オンライン学習は、ニューラルネットワークによる推論結果を用いて、その重み係数の一部を更新する処理である。
【０００４】
一方、デジタルカメラなどの組み込み撮像機器は、限られた演算性能とメモリ容量で必要とされる処理を実現しなければならない。特許文献１に開示の演算装置は、畳み込み演算部とＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によってニューラルネットワーク演算とその後の後処理を効率的に実行している。これに加えて、オンライン学習処理を加えた場合においても、ニューラルネットワーク演算の性能低下を抑制しつつオンライン学習処理を実行できる演算装置が要望される。
【先行技術文献】
【特許文献】
【０００５】
特開2021-9566号公報
【非特許文献】
【０００６】
“Discriminative and Robust Online Learning for Siamese Visual Tracking”, J. Zhou et al., Vol 34 No 07: AAAI-20 Technical Tracks 7（2020）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
オンライン学習では、ニューラルネットワークの重み係数を更新するために推論結果を利用する。したがって、オンライン学習では、推論の結果を取得後、該結果を利用してニューラルネットワークの重み係数の更新処理を実行しなければならない。この場合、１フレームあたりの処理時間は、推論時間とオンライン学習の処理時間の総和となる。オンライン学習を適用することで、適用しない場合と比較して１フレームあたりの処理時間が増加し、物体追跡のフレームレートが悪化する。よって、処理時間の増大を抑制しつつ推論とオンライン学習を実行可能な演算技術が望まれる。本発明は、ニューラルネットワークの演算とオンライン学習とを並列に実行可能な技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一様態は、ニューラルネットワークのオンライン学習において更新対象ではない第１係数を用いて、該ニューラルネットワークの演算を行って第１特徴を取得する第１処理手段と、前記第１特徴と、前記オンライン学習において更新対象となる第２係数と、を用いて前記ニューラルネットワークの演算を行って第２特徴を取得する第２処理手段と、前記第２係数と、前記第２処理手段が過去に取得した第２特徴と、を用いて前記オンライン学習を行うことで該第２係数を更新する更新手段とを備え、前記第１処理手段による処理と前記更新手段による処理とは並列に実行されることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ニューラルネットワークの演算とオンライン学習とを並列に実行可能な技術を提供することができる。
【図面の簡単な説明】
【００１０】
ニューラルネットワークの演算とオンライン学習の概要を示すブロック図。
ニューラルネットワークタスクとオンライン学習タスクを実行するための従来の演算装置の構成例を示すブロック図。
ニューラルネットワークタスクおよびオンライン学習タスクを実行する場合におけるＣＰＵ２０３およびＣＮＮ処理部２０１のそれぞれの動作の一例を示す図。
演算装置の構成例を示すブロック図。
ＣＮＮ処理部４０１およびＣＰＵ４０３により実行される処理構成を示すブロック図。
メモリ４０２およびメモリ４０６に格納するデータを示す図。
演算装置により実行されるニューラルネットワークタスクおよびオンライン学習タスクを説明するための図。
ＣＰＵ４０３の動作を示すフローチャート。
ＣＮＮ処理部４０１およびＣＰＵ４０３により実行される処理構成を示すブロック図。
メモリ４０２およびメモリ４０６に格納するデータを示す図。
演算装置により実行されるニューラルネットワークタスクおよびオンライン学習タスクを説明するための図。
ＣＮＮ処理部４０１およびＣＰＵ４０３により実行される処理構成を示すブロック図。
メモリ４０２およびメモリ４０６に格納するデータを示す図。
演算装置により実行されるニューラルネットワークタスクおよびオンライン学習タスクを説明するための図。
ＣＰＵ４０３の動作を示すフローチャート。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許