特許ウォッチ

公開番号2024126731
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023035307
出願日2023-03-08
発明の名称演算処理装置
出願人株式会社デンソー
代理人個人,個人
主分類G06N 3/063 20230101AFI20240912BHJP(計算;計数)
要約【課題】本発明は、演算処理装置を提供することを目的とする。
【解決手段】ニューラルネットワークを実行するモデルを用いて推論を行う演算処理装置であって、演算処理装置は、入力を受け付けたデータを、モデルに入力して推論処理を実行する推論処理部(11)と、推論した出力値の精度が所定の条件を充足しているかを判定する判定処理部(12)と、判定処理部において所定の条件を充足していると判定した場合に、演算処理の精度を変更する変更処理部(13)と、を有する演算処理装置である。
【選択図】図1
特許請求の範囲【請求項１】
ニューラルネットワークを実行するモデルを用いて推論を行う演算処理装置（１）であって、
前記演算処理装置は、
入力を受け付けたデータを、前記モデルに入力して推論処理を実行する推論処理部（１１）と、
前記推論した出力値の精度が所定の条件を充足しているかを判定する判定処理部（１２）と、
前記判定処理部において所定の条件を充足していると判定した場合に、演算処理の精度を変更する変更処理部（１３）と、
を有する演算処理装置。
続きを表示（約 900 文字）【請求項２】
前記判定処理部は、
前記推論処理部における推論処理において異常を検出した場合には、前記所定の条件を充足したと判定する、
請求項１に記載の演算処理装置。
【請求項３】
前記判定処理部は、
前記推論処理部における推論処理においてオーバーフローまたはエラーを検出した場合には、前記所定の条件を充足したと判定する、
請求項２に記載の演算処理装置。
【請求項４】
前記判定処理部は、
前記出力値が、過去の所定回数分の出力値のダイナミックレンジまたは分散と比較して異常であると判定する場合には、前記所定の条件を充足したと判定する、
請求項１に記載の演算処理装置。
【請求項５】
前記変更処理部は、
量子化パラメータを変更することで、前記演算処理の精度を変更する、
請求項１に記載の演算処理装置。
【請求項６】
前記推論処理部は、
複数の演算精度のレイヤにより推論処理を実行し、
前記変更処理部は、
前記判定処理部において前記所定の条件を充足していると判定した演算精度のレイヤの出力値よりも、高い演算精度のレイヤの出力値を用いる、
請求項１に記載の演算処理装置。
【請求項７】
前記推論処理部は、
前記判定処理部において、前記推論した出力値の精度が所定の条件を充足していない、と判定した場合には、他の演算精度のレイヤの推論処理を中止する、
請求項６に記載の演算処理装置。
【請求項８】
ニューラルネットワークを実行するモデルを用いて推論を行う演算処理装置における制御方法であって、
前記演算処理装置は、
入力を受け付けたデータを、前記モデルに入力して推論処理を実行し、
前記推論した出力値の精度が所定の条件を充足しているかを判定し、
前記判定において所定の条件を充足していると判定した場合に、演算処理の精度を変更する、
演算処理装置の制御方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、演算処理装置に関する。
続きを表示（約 1,000 文字）【背景技術】
【０００２】
ニューラルネットワークを実行するモデルを、何らかの装置に組み込んで実行する場合に、そのモデルを小さくすることが求められている。このモデルを小さくすることは量子化として知られている。
【０００３】
事前に想定した入力値を用いて量子化したモデルでは、実際のデータを入力したニューラルネットワークでの推論において、オーバーフローやＳ／Ｎ比の悪化により、推論精度が落ちてしまう場合がある。
【０００４】
そこで、想定する入力値を何セットか用意しておき量子化したモデルを、事前に複数作成しておく方法がある。しかし、実際の入力データに対して推論結果が適切かどうかは保証できない。
【０００５】
別の方法として、実際の入力データに応じて動的に量子化を行う方法がある（下記特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
特開２０２２－１１７８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
入力データに応じて動的に量子化を行う方法では、処理時間が必要となるため、入力が急激に変化した場合にそれに追従して処理を行うことが難しい。
【課題を解決するための手段】
【０００８】
そこで本発明者は上記課題に鑑み、入力データに応じて動的に量子化を行う場合に、処理時間の増加を抑えつつ、推論の精度向上を行うことができる演算処理装置を発明した。
【０００９】
本発明は、上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。
【００１０】
本発明の演算処理装置は、ニューラルネットワークを実行するモデルを用いて推論を行う演算処理装置（１）であって、前記演算処理装置は、入力を受け付けたデータを、前記モデルに入力して推論処理を実行する推論処理部（１１）と、前記推論した出力値の精度が所定の条件を充足しているかを判定する判定処理部（１２）と、前記判定処理部において所定の条件を充足していると判定した場合に、演算処理の精度を変更する変更処理部（１３）と、を有する。
（【００１１】以降は省略されています）

関連特許