特許ウォッチ

公開番号2024100383
公報種別公開特許公報(A)
公開日2024-07-26
出願番号2023004343
出願日2023-01-16
発明の名称演算装置およびデータの圧縮方法、データの圧縮プログラム
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類G06N 3/0495 20230101AFI20240719BHJP(計算;計数)
要約【課題】アクセス時間が長くなることを抑制できる技術を提供する。
【解決手段】演算装置100、100Bは、ニューラルネットワークモデルを実行して演算処理を行う演算部11と、演算部が用いるデータが格納されるキャッシュ部12と、演算部が用いるデータがキャッシュ部に格納されている割合であるヒット率を算出する算出部31と、ヒット率と予め定められた目標ヒット率とに応じて圧縮率を定める決定部32と、キャッシュ部に格納されるデータを圧縮率で圧縮する圧縮部33と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
演算装置（１００、１００Ｂ）であって、
ニューラルネットワークモデルを実行して演算処理を行う演算部（１１）と、
前記演算部が用いるデータが格納されるキャッシュ部（１２）と、
前記演算部が用いるデータが前記キャッシュ部に格納されている割合であるヒット率を算出する算出部（３１）と、
前記ヒット率と予め定められた目標ヒット率とに応じて圧縮率を定める決定部（３２）と、
前記キャッシュ部に格納されるデータを前記圧縮率で圧縮する圧縮部（３３）と、を備える、演算装置。
続きを表示（約 770 文字）【請求項２】
請求項１に記載の演算装置であって、更に、
前記演算部が前記演算処理に用いるデータの取得に要するアクセス時間を計測する計測部（３４）を備え、
前記目標ヒット率は、予め定めた目標アクセス時間に応じて定められる、演算装置。
【請求項３】
請求項２に記載の演算装置であって、
前記決定部は、前記アクセス時間が予め定めた閾値アクセス時間以上になった場合に、前記ヒット率と前記目標ヒット率とに応じて前記圧縮率を定める、演算装置。
【請求項４】
演算装置が実行するデータの圧縮方法であって、
ニューラルネットワークモデルを実行して演算処理を行う演算工程と、
前記演算工程において用いるデータをキャッシュ部に格納する格納工程と、
前記演算工程において用いるデータが前記キャッシュ部に格納されている割合であるヒット率を算出する算出工程と、
前記ヒット率と予め定められた目標ヒット率とに応じて圧縮率を定める決定工程と、
前記格納工程において格納されるデータを前記圧縮率で圧縮する圧縮工程と、を含む、圧縮方法。
【請求項５】
データの圧縮プログラムであって、
ニューラルネットワークモデルを実行して演算処理を行う演算機能と、
前記演算機能において用いるデータをキャッシュ部に格納する格納機能と、
前記演算機能において用いるデータが前記キャッシュ部に格納されている割合であるヒット率を算出する算出機能と、
前記ヒット率と予め定められた目標ヒット率とに応じて圧縮率を定める決定機能と、
前記格納機能によって格納されるデータを前記圧縮率で圧縮する圧縮機能と、をコンピュータに実現させる、圧縮プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、演算装置およびデータの圧縮方法、データの圧縮プログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
ニューラルネットワークモデルを圧縮する技術が知られている。特許文献１には、ニューラルネットワークモデルの重みのテンソルデータを、タッカー分解を用いて圧縮する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特表２０２２－５３７７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ニューラルネットワークモデルを実行する演算処理において、キャッシュメモリに格納されているニューラルネットワークモデルの中間層のデータを参照する場合がある。キャッシュメモリの容量は小さいため、中間層のデータがキャッシュメモリに格納されていない場合、アクセス時間が長くなる。そのため、アクセス時間が長くなることを抑制できる技術が望まれていた。
【課題を解決するための手段】
【０００５】
本開示の一形態によれば、演算装置（１００、１００Ｂ）が提供される。演算装置は、ニューラルネットワークモデルを実行して演算処理を行う演算部（１１）と、前記演算部が用いるデータが格納されるキャッシュ部（１２）と、前記演算部が用いるデータが前記キャッシュ部に格納されている割合であるヒット率を算出する算出部（３１）と、前記ヒット率と予め定められた目標ヒット率とに応じて圧縮率を定める決定部（３２）と、前記キャッシュ部に格納されるデータを前記圧縮率で圧縮する圧縮部（３３）と、を備える。
【０００６】
この形態の演算装置によれば、ヒット率と目標ヒット率とに応じて圧縮率を定めて圧縮を行うため、ヒット率を目標ヒット率に近似できる蓋然性が高い。そのため、ヒット率が低下することを抑制できるため、アクセス時間が長くなることを抑制できる。
【図面の簡単な説明】
【０００７】
演算装置の構成の概要を示す説明図である。
ニューラルネットワークモデルによる演算処理についての説明図である。
演算処理の一例を示したフローチャートである。
第２実施形態における演算装置の構成の概要を示す説明図である。
第２実施形態における演算処理の一例を示したフローチャートである。
第３実施形態における演算処理の一例を示したフローチャートである。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
図１に示すように、演算装置１００は、ＣＰＵ１０と、メモリ２０と、制御回路部３０とを備える。本実施形態において、演算装置１００は、ニューラルネットワークモデルを実行して演算処理を行う装置である。演算装置１００は、例えば、車両に搭載され、画像解析のための演算処理を行う。演算装置１００は、クラウド上に実装されていてもよい。
ＣＰＵ１０は、メモリ２０にインストールされたプログラムを実行することによって、演算部１１の機能を実現し、キャッシュ部１２に格納されたデータを用いて演算処理を行う。制御回路部３０は、ＣＰＵや、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、ＲＡＭやＲＯＭ、メモリ２０に予めインストールされたプログラムをマイクロコンピュータが実行することによって、算出部３１や決定部３２、圧縮部３３の機能を実現し、メモリ２０の管理を行う。
【０００９】
演算部１１は、ニューラルネットワークモデルを実行して演算処理を行う。図２に示すように、ニューラルネットワークは、入力層Ｌ１と、複数の中間層Ｌ２と、出力層Ｌ３とを備える。中間層Ｌ２の数は任意に定める事ができる。入力層Ｌ１は、情報が入力される層である。中間層Ｌ２は、入力層Ｌ１から伝達される情報に基づいて特徴量の算出を行う層である。出力層Ｌ３は、中間層Ｌ２から伝達される情報に基づいて結果を出力する層である。各層には、複数のノードが含まれる。隣接する層のノードとノードとを繋ぐエッジは、重み付けされている。演算部１１は、例えば、ノードＮ１に重みＷ１１を掛け合わせ、ノードＮ２に重みＷ１２を掛け合わせ、ノードＮ３に重みＷ１３を掛け合わせ、これらを足し合わせてノードＮ４の値を求める積和演算を含む演算を行う。
【００１０】
キャッシュ部１２（図１参照）には、演算部１１が演算処理に用いるデータが格納される。より具体的には、ニューラルネットワークモデルにおける、入力層や中間層、出力層のノードに入力される値に乗算される重みや、中間層のノードの値を一時的に記憶する。キャッシュ部１２に演算部１１が演算処理に用いるデータを格納する処理を「格納工程」ともいう。
（【００１１】以降は省略されています）

関連特許