特許ウォッチ

公開番号2025084650
公報種別公開特許公報(A)
公開日2025-06-03
出願番号2024006426
出願日2024-01-18
発明の名称ソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワーク
出願人耐能智慧股ふん有限公司,Kneron (Taiwan) Co., Ltd.
代理人個人
主分類G06N 3/048 20230101AFI20250527BHJP(計算;計数)
要約【課題】計算時間を縮減でき、エネルギーの消耗を減少できるソフトマックス関数計算の近似法及びニューラルネットワークを提供する。
【解決手段】ソフトマックス関数計算の近似法は、k次元ベクトルの入力値をm次元ベクトルの出力値に変換させ、指数近似計算順序、加法計算順序及び除法計算順序と、を含む。指数近似計算順序は、k次元ベクトルの入力値を漏洩正規化線形ユニット(漏洩ReLU)計算を行うことによって正規化関数計算値を得た後、この正規化関数計算値に基づいて所定次数の多項式関数計算を行って指数近似値を得、さらにもう一つの入力値をその指数近似計算順序を繰り返すことによりもう一つの指数近似値を得る。加法計算順序は、指数近似値ともう一つの指数近似値を足した合計値を得る。除法計算順序は、指数近似計算順序で得られた指数近似値の中に少なくとも一つの指数近似値を合計値で割ってm次元ベクトルの出力値を得る。
【選択図】図7
特許請求の範囲【請求項１】
ｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換させるソフトマックス関数計算の近似法であって、
前記ｋ次元ベクトルの入力値を漏洩正規化線形ユニット関数（ＬｅａｋｙＲｅＬＵｆｕｎｃｔｉｏｎ）計算を行うことによって正規化関数計算値を得た後、前記正規化関数計算値に基づいて一定次数の多項式関数計算を行って指数近似値を得、さらにｋ次元ベクトルのもう一つの入力値を以上の順序を繰り返すことによりもう一つの指数近似値が得られる指数近似計算順序と、前記指数近似値と前記もう一つの指数近似値を足した合計値が得られる加法計算順序と、前記指数近似計算順序で得られた前記指数近似値の中に少なくとも一つの指数近似値を前記合計値で割ってｍ次元ベクトルの出力値が得られる除法計算順序と、を備えるソフトマックス関数計算の近似法。
続きを表示（約 1,300 文字）【請求項２】
前記指数近似計算順序において、入力値を先にクランプ関数計算を行った後、さらに前記漏洩正規化線形ユニット関数計算を行うことを特徴とする請求項１のソフトマックス関数計算の近似法。
【請求項３】
前記加法計算順序において、前記合計値はさらに保護値を足して、前記合計値の絶対値がゼロより大きいことを確保することを特徴とする請求項２のソフトマックス関数計算の近似法。
【請求項４】
一定次数の多項式関数計算は２次から５次の多項式計算であることを特徴とする請求項１のソフトマックス関数計算の近似法。
【請求項５】
前記指数近似計算順序は、各入力値が前記漏洩正規化線形ユニット関数計算を経て各正規化関数計算値を得た後、さらに前記各正規化関数計算値によって一定次数の多項式関数計算を行って前記各入力値に対応する指数近似値を得るまで繰り返され；加法計算順序は、すべての指数近似値を足した合計値が得られ；除法計算順序は、指数近似計算順序で得られた指数近似値のすべての指数近似値を前記合計値で割って複数のｋ次元ベクトルに対応するｍ次元ベクトルの出力値が得られることを特徴とする請求項１のソフトマックス関数計算の近似法。
【請求項６】
前記入力値は整数型の数値であることを特徴とする請求項１のソフトマックス関数計算の近似法。
【請求項７】
ニューラルネットワークであって、
前記ニューラルネットワークの分類マシンにｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換させるソフトマックス関数計算モジュールを備え、
前記ソフトマックス関数計算モジュールは、
前記ｋ次元ベクトルの入力値を漏洩正規化線形ユニット関数計算を行うことによって正規化関数計算値を得、そして前記正規化関数計算値に基づいて一定次数の多項式関数計算を行って指数近似値を得た後、さらにもう一つの入力値を前記漏洩正規化線形ユニット関数計算と前記一定次数の多項式関数計算を繰り返すことによりもう一つの指数近似値が得られる指数近似計算ユニットと、前記指数近似値ともう一つの指数近似値を足した合計値が得られる加法計算ユニットと、指数近似計算ユニットで得たそれらの指数近似値の少なくとも一つの指数近似値を合計値で割ってｍ次元ベクトルの出力値が得られる除法計算ユニットと、を備えることを特徴とするニューラルネットワーク。
【請求項８】
前記指数近似計算順序では先に入力値をクランプ関数計算を行った後、さらに前記漏洩正規化線形ユニット関数計算を行うことを特徴とする請求項７のニューラルネットワーク。
【請求項９】
前記合計値はさらに保護値を足して、前記合計値の絶対値がゼロより大きいことを確保することを特徴とする請求項８のニューラルネットワーク。
【請求項１０】
前記一定次数の多項式計算は２次から５次の多項式計算であることを特徴とする請求項７のニューラルネットワーク。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明はソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワークに関し、特に人工知能ディープラーニングモデルの分類マシンに使用されるソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワークに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
人工知能（ＡＩ）は通常、普通のコンピュータープログラムによって人間の知的能力を表す技術である。ＡＩの最も主要な一環は、機械学習と認知科学領域において、生物のニューラルネットワークの構造と機能を模した数学モデルまたは計算モデルであり、さらに関数に対して推算する近似の人工ニューラルネットワークである。よく見られるニューラルネットワークモデルは例えば畳み込みニューラルネットワークと再帰型ニューラルネットワーク（ＣＮＮとＲＮＮ）があり、近年はＴｒａｎｓｆｏｒｍｅｒモデルが開発され、Ｔｒａｎｓｆｏｒｍｅｒモデルは徐々に畳み込みニューラルネットワークと再帰型ニューラルネットワーク（ＣＮＮとＲＮＮ）の代わりになる傾向が見受けられ、最も人気なディープラーニングモデルとなりつつある。
【０００３】
図１に示すように、上記のニューラルモデルのいずれにしても、そのほとんどは少なくとも特徴学習マシン（ｆｅａｔｕｒｅｌｅａｒｎｉｎｇ）８１と、分類マシン（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）８２とを含む。ニューラルモデルの分類マシン８２において通常はソフトマックス関数（ｓｏｆｔｍａｘｆｕｎｃｔｉｏｎ）８２１が採用され、０～１の間にある少なくとも一つの出力値を出力する。
【０００４】
従来のソフトマックス関数の展開式は数式１である。
【０００５】
TIFF
2025084650000002.tif
43
147
【０００６】
一般的に、ソフトマックス関数（数式１）による計算はｉ次元ベクトルの入力値をｊ次元ベクトルの出力値に変換させられ、ｊ次元ベクトルの各出力値は通常０～１の間にある数値であり、その数値の合計が１である。
【０００７】
さらに、市販されるＧＰＵ（例えば、Ｎｖｉｄｉａ社）に関わるソフトマックス関数計算のほとんどは数式１のｓｏｆｔｍａｘ関数を採用し、入力値はｆｌｏａｔ３２形式によりソフトマックス関数の計算を実現させる。しかし、実際に指数関数の計算をする時に多項式の次数が多く、また入力値はｆｌｏａｔ３２形式を採用しているため、分類マシンの計算過程において大量な数値計算を処理する必要があり、時間とエネルギーが消耗される問題がある。そのため、簡単なｓｏｆｔｍａｘ関数計算を提供するとともに、ニューラルネットワークの分類マシンの計算過程を時短に、省エネできるようにすることは実に重要な課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、計算時間を削減できるとともに、エネルギー消費も削減できるソフトマックス関数計算の近似法を提供する。また、本発明におけるもう一つの目的は、計算時間を削減できるとともに、エネルギー消費も削減できるこのソフトマックス関数計算の近似法を応用したニューラルネットワークを提供する。
【課題を解決するための手段】
【０００９】
上述の目的を達成するために、本発明のソフトマックス関数計算の近似法に基づき、ｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換させる。ソフトマックス関数計算の近似法は、ｋ次元ベクトルの入力値を漏洩正規化線形ユニット計算（漏洩ＲｅＬＵ）を行うことによって正規化関数計算値を得、そしてこの正規化関数計算値に基づいて一定次数の多項式関数計算を行って指数近似値を得た後、さらにもう一つの入力値でその順序を繰り返すことによりもう一つの指数近似値が得られる指数近似計算順序と、その指数近似値ともう一つの指数近似値を足した合計値が得られる加法計算順序と、指数近似計算順序で得られた指数近似値の中に少なくとも一つの指数近似値を合計値で割ってｍ次元ベクトルの出力値が得られる除法計算順序と、を備える。
【００１０】
一実施例において、指数近似計算順序において、入力値を先にクランプ関数（ｃｌａｍｐｆｕｎｃｔｉｏｎ）計算を行った後、さらに漏洩ＲｅＬＵ計算を行う。
（【００１１】以降は省略されています）

関連特許