特許ウォッチ

公開番号2025088892
公報種別公開特許公報(A)
公開日2025-06-12
出願番号2023203692
出願日2023-12-01
発明の名称畳み込み処理用データ処理装置
出願人株式会社メガチップス
代理人個人,個人
主分類G06F 17/10 20060101AFI20250605BHJP(計算;計数)
要約【課題】特徴量データを読み出す処理の実行回数を低減し、特徴量データの読み出し処理を含めた全体の畳み込み処理に要する時間を短縮できる、高性能、かつ、高速なCNNモデルを実現するためのデータ処理を行うことができる畳み込み処理用データ処理装置を実現する。
【解決手段】畳み込み処理用データ処理装置では、(1)メモリ部22の複数のバンク用メモリTmem_kのそれぞれに、複数のアクセスバスが設けられており、複数チャンネル分のデータに同時に(並列に)アクセスでき、かつ、(2)畳み込み処理対象領域(カーネルと畳み込み演算する対象の領域)の高さ方向ごとに、異なる(独立の)バンク用メモリTmem_kを割り当てているので、高さ方向が異なる複数のデータに同時に(並列に)アクセスできる。
【選択図】図2

特許請求の範囲【請求項１】
畳み込みニューラルネットワークモデルに用いられる畳み込み処理用データ処理装置であって、
特徴量データを記憶するための複数のバンク用メモリと、
前記複数のバンク用メモリのデータ書き込み、および／または、データ読み出し制御を行うアクセス制御部と、
を備え、
前記特徴量データは、幅方向の位置、高さ方向の位置、チャンネル方向の位置により特定される３次元データであり、
前記複数のバンク用メモリのそれぞれは、並列にデータにアクセスできるように複数のアクセスバスを有しており、
前記アクセス制御部は、高さ方向の位置が第１の値である前記特徴量データが、前記複数のバンク用メモリの中の前記第１の値に割り当てられたバンク用メモリに記憶されるようにデータ書き込み制御を行い、さらに、幅方向の位置が同一であって、チャンネル方向の位置が連続する複数の前記特徴量データを、前記複数のバスで並列にアクセスできるアドレスのメモリ領域に記憶する、
畳み込み処理用データ処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記アクセス制御部は、
読み出し単位期間において、幅方向の位置が同一であり、かつ、高さ方向の位置が連続する前記特徴量データを、複数チャンネル分読み出すように、前記複数のバンク用メモリに対してデータ読み出し制御を行う、
請求項１に記載の畳み込み処理用データ処理装置。
【請求項３】
前記複数のバンク用メモリから、幅方向の位置が同一であり、かつ、高さ方向の位置が連続する前記特徴量データを、複数チャンネル分読み出すことで取得されるデータ群を、複数チャンネルｈ×１データ群とすると、
前記アクセス制御部は、
畳み込み処理対象領域の位置に応じて、同一の読み出し単位期間で、重複する前記複数チャンネルｈ×１データ群の数を、出力系統数として、取得し、取得した前記出力系統数分の前記複数チャンネルｈ×１データ群が、前記複数のバンク用メモリから出力されるように、前記複数のバンク用メモリを制御する、
請求項１または２に記載の畳み込み処理用データ処理装置。
【請求項４】
アドレス指定によりデータを記憶することができるレジスタ部をさらに備え、
前記レジスタ部は、
前記複数のバンク用メモリから出力される前記複数チャンネルｈ×１データ群を入力し、当該複数チャンネルｈ×１データ群に施す畳み込み処理のカーネルの幅方向のサイズをオフセット値とし、前記複数チャンネルｈ×１データ群に含まれる高さ方向の位置が連続する特徴量データを、逐次、前記オフセット値によりオフセットされた前記レジスタ部のアドレスのメモリ領域に書き込む、
請求項３に記載の畳み込み処理用データ処理装置。
【請求項５】
前記レジスタ部は、
前記カーネルによる畳み込み処理の対象となる領域の特徴量データが、前記レジスタ部の連続したアドレスのメモリ領域に記憶されている状態となった後、当該連続したアドレスのメモリ領域に記憶されている特徴量データを出力する、
請求項４に記載の畳み込み処理用データ処理装置。
【請求項６】
前記レジスタ部は、
前記連続したアドレスのメモリ領域に記憶されている特徴量データを、一括で、または、前記連続したアドレス順に、出力する、
請求項５に記載の畳み込み処理用データ処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、畳み込みニューラルネットワーク用のデータ処理技術に関し、特に、畳み込みニューラルネットワークで用いられる特徴量データの処理（畳み込み処理用データ処理装置）についての技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、多種多様なアプリケーションを高精度に実現するニューラルネットワークモデルを用いた技術が注目されている。ニューラルネットワークモデルを用いた技術では、学習用データを用いて、ニューラルネットワークモデルの学習処理を行い、学習済みモデルを取得し、取得した学習済みモデルを用いて予測処理（推測処理）を行う。これにより、ニューラルネットワークモデルを用いた技術では、多種多様なアプリケーションを高精度に実現することが可能となる。画像認識等の分野において高価値を実現しているニューラルネットワークモデルを用いた技術として、畳み込みニューラルネットワークモデル（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いた技術が注目されている。
【０００３】
さらに、畳み込みニューラルネットワークモデルを、計算資源を潤沢に有しない携帯端末等でも利用できるようにするための軽量化技術が開発されている。このような技術として、例えば、Ｍｏｂｉｌｅｎｅｔと呼ばれる技術（ＣＮＮモデルの軽量化技術）が開発されている（例えば、非特許文献１を参照）。
【０００４】
Ｍｏｂｉｌｅｎｅｔと呼ばれる技術（ＣＮＮモデルの軽量化技術）では、Depthwise separable convolutionと呼ばれる、通常の畳み込み処理を（１）Depthwise convolution（空間方向の畳み込み処理）、および、（２）Pointwise convolution（チャンネル方向の畳み込み処理）の２つに分ける手法を採用することで、ＣＮＮモデルのパラメータ数を削減している。これにより、計算資源を潤沢に有しない携帯端末等にも搭載可能な軽量かつ高性能なＣＮＮモデルを実現することができる。
【先行技術文献】
【非特許文献】
【０００５】
Howard, Andrew G., et al. "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications." arXiv preprint arXiv:1704.04861 (2017).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の技術（Ｍｏｂｉｌｅｎｅｔ）では、特徴量データを頻繁に読み出す処理を行う必要があり、畳み込み処理のための積和計算にかかる時間よりも、特徴量データの読み出し処理にかかる時間の方が長くなってしまい、その結果、ＣＮＮ処理を実行する時間が長くなってしまう。つまり、上記従来の技術（Ｍｏｂｉｌｅｎｅｔ）では、ＣＮＮの演算自体の処理（畳み込み処理）を高速化したとしても、特徴量データの読み出し処理にかかる時間がボトルネック（クリティカルパス）となり、特徴量データの読み出し処理も含めたトータルの処理（ＣＮＮ処理）に要する時間を短縮するのが困難である。
【０００７】
本発明は、上記課題に鑑み、特徴量データを読み出す処理の実行回数を低減し、特徴量データの読み出し処理を含めた全体の畳み込み処理に要する時間を短縮できる、高性能、かつ、高速なＣＮＮモデルを実現するためのデータ処理を行うことができる畳み込み処理用データ処理装置を実現することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、第１の発明は、畳み込みニューラルネットワークモデルに用いられる畳み込み処理用データ処理装置であって、特徴量データを記憶するための複数のバンク用メモリと、複数のバンク用メモリのデータ書き込み、および／または、データ読み出し制御を行うアクセス制御部と、を備える。
【０００９】
特徴量データは、幅方向の位置、高さ方向の位置、チャンネル方向の位置により特定される３次元データである。
【００１０】
複数のバンク用メモリのそれぞれは、並列にデータにアクセスできるように複数のアクセスバスを有している。
（【００１１】以降は省略されています）

関連特許