特許ウォッチ

公開番号2024165937
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023082541
出願日2023-05-18
発明の名称画像認識装置および機器
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類H04N 23/60 20230101AFI20241121BHJP(電気通信技術)
要約【課題】イベントデータを使って認識処理を行う場合に、高精度に認識処理を行う画像認識装置を提供する。
【解決手段】本開示に係る画像認識装置は、画素の光量の変化を示すイベントデータを取得するイベントデータ取得部と、認識対象物の位置に関するメタデータを取得するメタデータ取得部と、前記イベントデータを用いて前記認識対象物の認識処理を行う処理部と、を有し、前記処理部は、取得された前記メタデータに応じて、前記認識処理における前記イベントデータの参照時間を制御する。
【選択図】図2
特許請求の範囲【請求項１】
画素の光量の変化を示すイベントデータを取得するイベントデータ取得部と、
認識対象物の位置に関するメタデータを取得するメタデータ取得部と、
前記イベントデータを用いて前記認識対象物の認識処理を行う処理部と、
を有し、
前記処理部は、取得された前記メタデータに応じて、前記認識処理における前記イベントデータの参照時間を制御する
ことを特徴とする画像認識装置。
続きを表示（約 1,200 文字）【請求項２】
前記認識処理は、固定サイズのデータを入力として受け付ける学習モデルに基づくアルゴリズムを用いた処理であり、
前記処理部は、取得された前記メタデータに応じて、前記イベントデータのサイズを前記アルゴリズムの入力のために調整する、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記処理部は、前記イベントデータの時間方向のサイズを前記アルゴリズムの入力のために調整することで前記固定サイズの前記データを生成する
ことを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記認識処理は、スパイキングニューラルネットワークに基づくアルゴリズムを用いた処理であり、
前記処理部は、取得された前記メタデータに応じて、前記イベントデータを処理する前記スパイキングニューラルネットワークの時定数を変更する
ことを特徴とする請求項１に記載の画像認識装置。
【請求項５】
前記メタデータは、前記認識対象物の測距結果を示すデータを含み、
前記処理部は、前記測距結果に基づいて、前記認識対象物までの距離が長いほど前記イベントデータの前記参照時間を長くする
ことを特徴とする請求項１に記載の画像認識装置。
【請求項６】
前記画素は、１つのマイクロレンズと複数の撮像素子からなるユニットを有し、
前記画像認識装置は、前記複数の撮像素子のそれぞれの撮像素子から得られる前記認識対象物の情報の差異に基づいて、前記認識対象物までの距離を推定する推定部をさらに有し、
前記メタデータ取得部は、前記推定部による前記認識対象物までの距離の推定結果を、前記メタデータとして取得する
ことを特徴とする請求項１に記載の画像認識装置。
【請求項７】
前記メタデータは、前記画素の光量の変化の発生頻度を示すデータを含むことを特徴とする請求項１に記載の画像認識装置。
【請求項８】
前記メタデータは、少なくとも前記認識対象物の認識精度と認識速度を含む優先度に関するデータを含むことを特徴とする請求項１に記載の画像認識装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像認識装置を備える機器であって、
前記画像認識装置に対応した光学装置、
前記画像認識装置を制御する制御装置、
前記画像認識装置から出力された信号を処理する処理装置、
前記画像認識装置で得られた情報を表示する表示装置、
前記画像認識装置で得られた情報を記憶する記憶装置、および、
前記画像認識装置で得られた情報に基づいて動作する機械装置、の少なくともいずれかをさらに備えることを特徴とする機器。

発明の詳細な説明【技術分野】
【０００１】
本開示の技術は、画像認識装置および機器に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年のＩｏＴやＡＩ、自動運転などの普及に伴い、より低消費電力かつ高速なイメージセンサが求められている。非特許文献１には、２次元アレイ状に配された各画素で光量の変化を監視し、変化を検知した場合に信号を出力するイベントベースセンサが示されている。非特許文献１に示すように、イベントベースセンサは、光量の変化が発生したときにだけ信号を出力するため、低消費電力かつ高速な動作が可能になる。また、非特許文献２にはイベントベースセンサの出力信号をニューラルネットワークへ入力し、画像認識処理を行う技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
フィナテウ（Finateu）、外１３名、「４．８６μｍピクセル、１．０６６ＧＥＰＳ読み出し、プログラマブルイベントレートコントローラ、および、圧縮データフォーマットパイプラインを備えた１２８０×７２０裏面照射型積層時間コントラストイベントベースビジョンセンサ（A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensor with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline）」、２０２０ＩＥＥＥ国際半導体回路会議（2020 IEEE International Solid-State Circuits Conference）、（米国）、２０２０年２月、ｐ．１１２－１１４
Gehrig、外３名、「End-to-End Learning of Representations for Asynchronous Event-Based Data」、ICCV 2019 IEEE International Solid-State Circuits Conference
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献に開示の技術では、イベントベースセンサによって得られたデータ（以降、イベントデータ）に対して所定の処理を施した後、所定の時間間隔でサンプリングすることでニューラルネットワークへの入力データ（テンソル）を形成している。この場合、テンソルに対して影響を及ぼすイベントデータの時間方向の範囲は、画像内のどの領域でも一様である。しかしながら、例えば認識対象となる被写体までの距離などによって、発生するイベントデータの量は異なるため、特に被写体までの距離が遠い場合などは認識に十分な情報が得られず、認識精度の低下を招き得る。
【０００５】
本開示の技術は上記課題に鑑みてなされたものであり、その目的は、イベントデータを使って認識処理を行う場合に、高精度に認識処理を行う技術を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本開示に係る画像認識装置は、画素の光量の変化を示すイベントデータを取得するイベントデータ取得部と、認識対象物の位置に関するメタデータを取得するメタデータ取得部と、前記イベントデータを用いて前記認識対象物の認識処理を行う処理部と、を有し、前記処理部は、取得された前記メタデータに応じて、前記認識処理における前記イベントデータの参照時間を制御することを特徴とする画像認識装置を含む。
【０００７】
また、上記目的を達成するために、本開示に係る機器は、上記の画像認識装置を備える機器であって、前記画像認識装置に対応した光学装置、前記画像認識装置を制御する制御装置、前記画像認識装置から出力された信号を処理する処理装置、前記画像認識装置で得られた情報を表示する表示装置、前記画像認識装置で得られた情報を記憶する記憶装置、および、前記画像認識装置で得られた情報に基づいて動作する機械装置、の少なくともいずれかをさらに備えることを特徴とする機器を含む。
【発明の効果】
【０００８】
本開示の技術によれば、イベントデータを使って認識処理を行う場合に、高精度に認識処理を行うことができる。
【図面の簡単な説明】
【０００９】
第１実施形態に係る認識システムの構成例を示す図である。
第１実施形態に係る画像認識装置の構成例を示す図である。
第１実施形態に係る認識処理部の構成例を示す図である。
第２実施形態に係る認識システムの構成例を示す図である。
第３実施形態に係る認識システムの構成例を示す図である。
第４実施形態に係る認識システムの構成例を示す図である。
第５実施形態に係る認識システムの構成例を示す図である。
第６実施形態に係る半導体装置を備えた機器の構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて本発明の実施形態を詳細に説明する。なお、以下の説明では、必要に応じて特定の方向や位置を示す用語（例えば、「上」、「下」、「右」、「左」および、それらの用語を含む別の用語）を用いる。それらの用語の使用は図面を参照した実施形態の理解を容易にするためであって、それらの用語の意味によって本発明の技術的範囲が限定されるものではない。また、それらの用語の使用は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各実施形態の構成要素は、別の実施形態に付加したり、別の実施形態の構成要素と置換したりすることができる。また、各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。
（【００１１】以降は省略されています）

関連特許