特許ウォッチ

公開番号2025014032
公報種別公開特許公報(A)
公開日2025-01-28
出願番号2024190377,2022562943
出願日2024-10-30,2021-04-13
発明の名称ニューラルネットワークパラメーターの表現の改良された概念
出願人フラウンホーファー‐ゲゼルシャフトツアフェルデルングデアアンゲヴァンテンフォルシュングアインゲトラーゲナーフェライン
代理人個人,個人
主分類G06N 3/0495 20230101AFI20250121BHJP(計算;計数)
要約【課題】ニューラルネットワークパラメーターの効率的な符号化及び/又は復号化をサポートする。
【解決手段】量子化パラメーター142から乗数144及びビットシフト数146が導出可能であるように、NNパラメーターの量子化パラメーター及び量子化値152を決定することによって、NNパラメーターを量子化された値に量子化するNN表現を生成する装置100であって、NNパラメーターの量子化パラメーター及び量子化値の決定は、NNパラメーターの量子化された値が、量子化値と乗数に依存する因数148との積であり、ビットシフト数に依存するビット数だけビットシフトされた積に対応するように実行される。
【選択図】図2
特許請求の範囲【請求項１】
ＮＮ表現（１１０）を生成する装置（１００）であって、前記装置（１００）は、
量子化パラメーター（１４２）から、
前記量子化パラメーター（１４２）によって導出された被除数と精度パラメーター（１４５）によって導出された除数との間の除算の剰余に基づく乗数（１４４）と、
前記除算の商の丸めに基づくビットシフト数（１４６）と、
が導出可能であるように、ＮＮパラメーター（１２０）の前記量子化パラメーター（１４２）及び量子化値（１５２）を決定（１４０）することによって、前記ＮＮパラメーター（１２０）を量子化された値（１３０）に量子化するように構成され、
それにより、前記ＮＮパラメーター（１２０）の前記量子化された値（１３０）は、前記量子化値（１５２）と前記乗数（１４４）に依存する因数（１４８）との間の積であって、前記ビットシフト数（１４６）に依存するビット数だけビットシフトされた積に対応する、装置。
続きを表示（約 3,500 文字）【請求項２】
請求項１に記載の装置（１００）であって、前記精度パラメーター（１４５）を前記ＮＮ表現（１１０）に符号化するように更に構成されている、装置。
【請求項３】
請求項１又は２に記載の装置（１００）であって、前記ＮＮパラメーター（１２０）は、
一対のニューロン（１０）間のニューロン間活性化フィードフォワード（１２）に重み付けする重みパラメーター、
ニューラルネットワーク層のアフィン変換をパラメーター化するバッチノルムパラメーター、及び
所定のニューラルネットワークニューロン（１０）のインバウンドニューロン間活性化フィードフォワード（１２）の和にバイアスをかけるバイアス、
のうちの１つである、装置。
【請求項４】
請求項１～３のいずれか一項に記載の装置（１００）であって、
前記ＮＮパラメーター（１２０）は、ＮＮ（２０）の複数のニューロン間活性化フィードフォワード（１２２）のうちの単一のニューロン間活性化フィードフォワード（１２）に関して前記ＮＮ（２０）をパラメーター化し、前記複数のニューロン間活性化フィードフォワード（１２２）の各々について、対応するＮＮパラメーター（１２０）が、前記ＮＮ表現（１１０）に含まれ、
前記装置（１００）は、前記複数のニューロン間活性化フィードフォワード（１２２）の各々について、
前記それぞれのニューロン間活性化フィードフォワード（１２）に関連付けられた関連量子化パラメーター（１４２）と、前記それぞれのニューロン間活性化フィードフォワード（１２）に関連付けられた関連量子化値（１５２）と、を決定することによって、
前記対応するＮＮパラメーター（１２０）を対応する量子化された値（１３０）に量子化するように構成され、
それにより、前記関連量子化パラメーター（１４２）から、
前記関連量子化パラメーター（１４２）によって導出された被除数と、前記それぞれのニューロン間活性化フィードフォワード（１２）に関連付けられた関連精度パラメーター（１４５）によって導出された除数との間の除算の剰余に基づいて、前記それぞれのニューロン間活性化フィードフォワード（１２）に関連付けられた関連乗数（１４４）と、
前記除算の商の丸めに基づいて、前記それぞれのニューロン間活性化フィードフォワード（１２）に関連付けられた関連ビットシフト数（１４６）と、が導出可能であり、
それにより、前記それぞれのニューロン間活性化フィードフォワード（１２）の前記対応するＮＮパラメーター（１２０）の前記対応する量子化された値（１３０）は、前記関連量子化値（１５２）と前記関連乗数（１４４）に依存する因数（１４８）との間の積であって、前記関連ビットシフト数（１４６）に依存するビット数だけビットシフトされた積に対応する、装置。
【請求項５】
請求項１～３のいずれか一項に記載の装置（１００）であって、
前記装置（１００）は、ＮＮの複数のニューロン間活性化フィードフォワード（１２２）をニューロン間活性化フィードフォワードのサブグループ（１２２ａ、１２２ｂ）に細分するように構成され、それにより、各サブグループ（１２２ａ、１２２ｂ）が、前記ＮＮ（２０）の関連する一対のＮＮ層に関連付けられ、前記関連する一対のＮＮ層の間のニューロン間活性化フィードフォワード（１２）を含み、前記関連する一対の層以外の更なる一対のＮＮ層の間のニューロン間活性化フィードフォワード（１２）を除外し、２つ以上のサブグループ（１２２ａ、１２２ｂ）が、所定のＮＮ層に関連付けられ、
前記ＮＮパラメーター（１２０）は、前記ＮＮの前記複数のニューロン間活性化フィードフォワード（１２２）のうちの単一のニューロン間活性化フィードフォワード（１２）に関して前記ＮＮ（２０）をパラメーター化し、前記複数のニューロン間活性化フィードフォワード（１２２）の各々について、対応するＮＮパラメーター（１２０）が、前記ＮＮ表現（１１０）に含まれ、前記装置（１００）は、
ニューロン間活性化フィードフォワードの各サブグループ（１２２ａ、１２２ｂ）について、
前記ＮＮ表現（１１０）から前記それぞれのサブグループ（１２２ａ、１２２ｂ）に関連付けられた関連量子化パラメーター（１４２）を決定することであって、それにより、
前記関連量子化パラメーター（１４２）から、
前記関連量子化パラメーター（１４２）によって導出された被除数と、前記それぞれのサブグループ（１２２ａ、１２２ｂ）に関連付けられた関連精度パラメーター（１４５）によって導出された除数との間の除算の剰余に基づいて、前記それぞれのサブグループ（１２２ａ、１２２ｂ）に関連付けられた関連乗数（１４４）と、
前記除算の商の丸めに基づいて、前記それぞれのサブグループ（１２２ａ、１２２ｂ）に関連付けられた関連ビットシフト数（１４６）と、が導出可能であることと、
前記複数のニューロン間活性化フィードフォワード（１２２）の各々について、
前記ＮＮ表現（１１０）から前記それぞれのニューロン間活性化フィードフォワード（１２）に関連付けられた関連量子化値（１５２）を決定すること
によって、前記対応するＮＮパラメーター（１２０）を対応する量子化された値（１３０）に量子化することと、を行うように構成され、
前記それぞれのニューロン間活性化フィードフォワード（１２）の前記対応するＮＮパラメーター（１２０）は、前記それぞれのニューロン間活性化フィードフォワード（１２）が含まれる前記サブグループ（１２２ａ、１２２ｂ）に関連付けられた、前記関連量子化値（１５２）と前記関連乗数（１４４）に依存する因数（１４８）との間の積であって、前記それぞれのニューロン間活性化フィードフォワード（１２）が含まれる前記サブグループ（１２２ａ、１２２ｂ）の前記関連ビットシフト数（１４６）に依存するビット数だけビットシフトされた積に対応する、装置。
【請求項６】
請求項４又は５に記載の装置（１００）であって、前記関連精度パラメーター（１４５）は、前記ＮＮ（２０）にわたって又は各ＮＮ層（１１４、１１６）内でグローバルに等しく評価される、装置。
【請求項７】
請求項４～６のいずれか一項に記載の装置（１００）であって、前記関連精度パラメーター（１４５）を前記ＮＮ表現（１１０）に符号化するように構成されている、装置。
【請求項８】
請求項４～７のいずれか一項に記載の装置（１００）であって、前記関連量子化パラメーター（１４２）を、基準量子化パラメーターとの差分の形態で前記ＮＮ表現（１１０）に符号化するように構成されている、装置。
【請求項９】
請求項１～８のいずれか一項に記載の装置（１００）であって、
前記乗数（１４４）及び前記ビットシフト数（１４６）は、前記量子化パラメーター（１４２）から、
ｍｕｌ＝ｋ＋ＱＰ％ｋ
TIFF
2025014032000077.tif
10
40
に従って導出可能であり、式中、ｍｕｌは、前記乗数（１４４）であり、ｓｈｉｆｔは、前記ビットシフト数（１４６）であり、ＱＰは、前記量子化パラメーター（１４２）であり、ｋは、前記精度パラメーター（１４５）であり、
TIFF
2025014032000078.tif
10
21
は、そのオペランド以下の最大の整数を生成するフロア演算子であり、％は、ｘ％ｙに対して
TIFF
2025014032000079.tif
10
31
を生成するモジュロ演算子であり、それにより、前記ＮＮパラメーター（１３０）は、
（ｍｕｌ／ｋ）・２
ｓｈｉｆｔ
・Ｐ
であり、式中、Ｐは、前記量子化値（１５２）である、装置。
【請求項１０】
請求項１～９のいずれか一項に記載の装置（１００）であって、前記精度パラメーター（１４５）は、２の累乗である、装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明による実施形態は、ニューラルネットワークパラメーターの表現の改善された概念を使用して、ニューラルネットワークパラメーターを符号化又は復号化する装置及び方法に関する。推論及び／又は記憶ビットレート最適化に関する改善を達成することができる。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
ニューラルネットワークは、その最も基本的な形態において、一連のアフィン変換とそれに続く要素ごとの非線形関数とを構成する。図１に示すように、それらは有向非巡回グラフとして表すことができる。各ノードは、エッジのそれぞれの重み値との乗算によって次のノードに順方向伝搬される特定の値を伴う。次に、全ての入力値が単純に集約される。
【０００３】
図１は、フィードフォワードニューラルネットワークのグラフ表現の例を示している。具体的には、この２層ニューラルネットワークは、４次元入力ベクトルを実線に写像する非線形関数である。
【０００４】
数学的には、図１のニューラルネットワークは次の方法で出力を算出する。
ｏｕｔｐｕｔ＝Ｌ
２
（Ｌ
１
（ｉｎｐｕｔ））
ここで、
Ｌ
ｉ
（Ｘ）＝Ｎ
ｉ
（Ｂ
ｉ
（Ｘ））
であり、式中、Ｂ
ｉ
は層ｉのアフィン変換であり、Ｎ
ｉ
は層ｉの何らかの非線形関数である。
【０００５】
バイアス層
いわゆる「バイアス層」の場合、Ｂ
ｉ
は、層ｉに関連する重みパラメーター（エッジ重み）Ｗ
ｉ
と層ｉの入力Ｘ
ｉ
との行列乗算と、それに続くバイアスｂ
ｉ
との和である。
Ｂ
ｉ
（Ｘ）＝Ｗ
ｉ
＊Ｘ
ｉ
＋ｂ
ｉ
Ｗ
ｉ
は、次元ｎ
ｉ
×ｋ
ｉ
を有する重み行列であり、Ｘ
ｉ
は、次元ｋ
ｉ
×ｍ
ｉ
を有する入力行列である。バイアスｂ
ｉ
は、長さｎ
ｉ
の転置ベクトルである。演算子＊は、行列乗算を示すものとする。バイアスｂ
ｉ
との和は、行列の列に対する要素ごとの演算である。より正確には、Ｗ
ｉ
＊Ｘ
ｉ
＋ｂ
ｉ
は、ｂ
ｉ
がＷ
ｉ
＊Ｘ
ｉ
の各列に追加されることを意味する。
【０００６】
いわゆる畳み込み層は、非特許文献１に記載されているように、それらを行列－行列積としてキャストすることによって使用することもできる。
【０００７】
以降、所与の入力から出力を算出する手順を推論と称する。また、中間結果を、隠れ層又は隠れ活性化値と称し、これは、例えば上記の第１の内積＋非線形性の算出等、線形変換＋要素ごとの非線形性を構成する。
【０００８】
通常、ニューラルネットワークは、数百万のパラメーターを含むため、その表現のために数百メガバイトを必要とし得る。したがって、その推論手順には、大きな行列間の多くの内積演算の計算が含まれるため、その実行には高い計算リソースが必要となる。したがって、これらの内積を実行する複雑性を低減することが非常に重要である。
【０００９】
バッチノルム層
ニューラルネットワーク層のアフィン変換のより洗練された変形例として、以下のような、いわゆるバイアス及びバッチノルム演算が挙げられる。
式１：
TIFF
2025014032000002.tif
25
103
ここで、μ、σ
２
、γ、及びβは、バッチノルムパラメーターを示す。なお、層インデックスｉはここでは無視する。Ｗは、次元ｎ×ｋを有する重み行列であり、Ｘは、次元ｋ×ｍを有する入力行列である。バイアスｂ及びバッチノルムパラメーターμ、σ
２
、γ、及びβは、長さｎの転置ベクトルである。演算子＊は、行列乗算を示す。ベクトルを有する行列に対する他の全ての演算（加算、乗算、除算）は、行列の列に対する要素ごとの演算であることに留意されたい。例えば、Ｘ・γは、Ｘの各列がγと要素ごとに乗算されることを意味する。εは、０による除算を避けるために必要な小さなスカラー数（０．００１等）である。ただし、０であってもよい。
【００１０】
ｂの全てのベクトル要素が０に等しい場合、式１はバッチノルム層を指す。
対照的に、ε並びにμ及びβの全てのベクトル要素が０に設定され、γ及びσ
２
の全ての要素が１に設定される場合、バッチノルムのない層（バイアスのみ）が処理される。
（【００１１】以降は省略されています）

関連特許