特許ウォッチ

公開番号2025006731
公報種別公開特許公報(A)
公開日2025-01-17
出願番号2023107706
出願日2023-06-30
発明の名称推論モデル生成装置及び推論モデル生成方法
出願人三菱電機エンジニアリング株式会社,国立大学法人熊本大学
代理人弁理士法人山王内外特許事務所
主分類G06F 8/51 20180101AFI20250109BHJP(計算;計数)
要約【課題】推論モデルの推論精度の劣化を抑えつつ、推論速度を高めることができる推論モデル生成装置を得ることを目的とする。
【解決手段】浮動小数点型の重みパラメータを含んでいる推論モデルである浮動小数点型推論モデル1bの重みパラメータを量子化済みのPosit型の重みパラメータに変換することによって、量子化済みのPosit型の重みパラメータを含んでいる推論モデルであるPosit型推論モデル1dを生成する推論モデル生成部1と、推論モデル生成部1により生成されたPosit型推論モデル1dのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されているソースコードに変換する言語変換部2とを備えるように、推論モデル生成装置を構成した。
【選択図】図1
特許請求の範囲【請求項１】
浮動小数点型の重みパラメータを含んでいる推論モデルである浮動小数点型推論モデルの前記重みパラメータを量子化済みのＰｏｓｉｔ型の重みパラメータに変換することによって、前記量子化済みのＰｏｓｉｔ型の重みパラメータを含んでいる推論モデルであるＰｏｓｉｔ型推論モデルを生成する推論モデル生成部と、
前記推論モデル生成部により生成されたＰｏｓｉｔ型推論モデルのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されているソースコードに変換する言語変換部と
を備えた推論モデル生成装置。
続きを表示（約 1,100 文字）【請求項２】
前記推論モデル生成部は、
学習データを浮動小数点型のディープラーニングフレームワークに与えることによって、前記ディープラーニングフレームワークから、前記浮動小数点型推論モデルを取得することを特徴とする請求項１記載の推論モデル生成装置。
【請求項３】
学習データをＰｏｓｉｔ型のディープラーニングフレームワークに与えることによって、前記Ｐｏｓｉｔ型のディープラーニングフレームワークから、前記量子化済みのＰｏｓｉｔ型の重みパラメータを含んでいる推論モデルであるＰｏｓｉｔ型推論モデルを取得する推論モデル生成部と、
前記推論モデル生成部により取得されたＰｏｓｉｔ型推論モデルのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されているソースコードに変換する言語変換部と
を備えた推論モデル生成装置。
【請求項４】
前記言語変換部は、
前記Ｐｏｓｉｔ型推論モデルのアルゴリズムを示すソースコードを、高位合成言語によって表現されているソースコードに変換し、ソースコード変換後の推論モデルを出力する第１の言語変換処理部と、
前記第１の言語変換処理部から出力された推論モデルのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されたソースコードに変換する第２の言語変換処理部と
を備えていることを特徴とする請求項１から請求項３のうちのいずれか１項記載の推論モデル生成装置。
【請求項５】
推論モデル生成部が、浮動小数点型の重みパラメータを含んでいる推論モデルである浮動小数点型推論モデルの前記重みパラメータを量子化済みのＰｏｓｉｔ型の重みパラメータに変換することによって、前記量子化済みのＰｏｓｉｔ型の重みパラメータを含んでいる推論モデルであるＰｏｓｉｔ型推論モデルを生成し、
言語変換部が、前記推論モデル生成部により生成されたＰｏｓｉｔ型推論モデルのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されているソースコードに変換する
推論モデル生成方法。
【請求項６】
推論モデル生成部が、学習データをＰｏｓｉｔ型のディープラーニングフレームワークに与えることによって、前記Ｐｏｓｉｔ型のディープラーニングフレームワークから、量子化済みのＰｏｓｉｔ型の重みパラメータを含んでいる推論モデルであるＰｏｓｉｔ型推論モデルを取得し、
言語変換部が、前記推論モデル生成部により取得されたＰｏｓｉｔ型推論モデルのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されているソースコードに変換する
推論モデル生成方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、推論モデル生成装置及び推論モデル生成方法に関するものである。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
推論モデルのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されているソースコードに変換する推論モデル生成装置がある。
このような推論モデル生成装置として、例えば、特許文献１には、学習モデルのアルゴリズムを示すソースコードの記述言語をＣ言語等のプログラム言語からハードウェア記述言語に変換する装置が開示されている。Ｃ言語等のプログラム言語からハードウェア記述言語に変換されることによって、学習モデルの推論速度が高速化される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１６４９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されている装置は、記述言語の変換に伴う推論速度の高速化とは別個に、推論速度を更に高速化させることができないという課題があった。
【０００５】
本開示は、上記のような課題を解決するためになされたもので、推論モデルの推論精度の劣化を抑えつつ、推論速度を高めることができる推論モデル生成装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る推論モデル生成装置は、浮動小数点型の重みパラメータを含んでいる推論モデルである浮動小数点型推論モデルの重みパラメータを量子化済みのＰｏｓｉｔ型の重みパラメータに変換することによって、量子化済みのＰｏｓｉｔ型の重みパラメータを含んでいる推論モデルであるＰｏｓｉｔ型推論モデルを生成する推論モデル生成部と、推論モデル生成部により生成されたＰｏｓｉｔ型推論モデルのアルゴリズムを示すソースコードを、ハードウェア記述言語によって表現されているソースコードに変換する言語変換部とを備えたものである。
【発明の効果】
【０００７】
本開示によれば、推論モデルの推論精度の劣化を抑えつつ、推論速度を高めることができる。
【図面の簡単な説明】
【０００８】
実施の形態１に係る推論モデル生成装置を示す構成図である。
実施の形態１に係る推論モデル生成装置のハードウェアを示すハードウェア構成図である。
推論モデル生成装置が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
推論モデル生成装置の処理手順である推論モデル生成方法を示すフローチャートである。
ディープラーニングフレームワーク１ａによる浮動小数点型推論モデル１ｂの生成例を示す説明図である。
Ｐｏｓｉｔの表現形式を示す説明図である。
記述変換ツール３ａによる推論モデルの変換アルゴリズムを示す説明図である。
高位合成に含まれている処理の１つであるカウンタの処理を示すビヘイビア記述の一例を示す説明図である。
高位合成に含まれている処理の１つであるカウンタの処理を示すＨＤＬ記述の一例を示す説明図である。
高位合成ツール４ａによる高位合成を示す説明図である。
実施の形態２に係る推論モデル生成装置を示す構成図である。
実施の形態２に係る推論モデル生成装置のハードウェアを示すハードウェア構成図である。
Ｐｏｓｉｔ型のディープラーニングフレームワーク１ｅによるＰｏｓｉｔ型推論モデル１ｄの生成例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
【００１０】
実施の形態１．
図１は、実施の形態１に係る推論モデル生成装置を示す構成図である。
図２は、実施の形態１に係る推論モデル生成装置のハードウェアを示すハードウェア構成図である。
図１に示す推論モデル生成装置は、推論モデル生成部１及び言語変換部２を備えている。
（【００１１】以降は省略されています）

関連特許