特許ウォッチ

公開番号2025016517
公報種別公開特許公報(A)
公開日2025-02-04
出願番号2024179366,2022538077
出願日2024-10-11,2020-12-21
発明の名称ニューラルネットワークのパラメータを符号化するための概念
出願人フラウンホッファー-ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー.ファオ
代理人個人
主分類H04N 19/463 20140101AFI20250128BHJP(電気通信技術)
要約【課題】ニューラルネットワークパラメータを効率的に圧縮する符号化及び復号装置を提供する。
【解決手段】復号装置は、以前の又はそれぞれ以前に符号化されたニューラルネットワークパラメータのデータストリームから復号されたか又はそれぞれデータストリームに符号化された量子化インデックスに応じて、再構成レベルセットを選択することによって、ニューラルネットワークパラメータを復号することと、再構成層においてニューラルネットワークパラメータを組み合わせることと、を含む。
【選択図】図20
特許請求の範囲【請求項１】
ニューラルネットワーク（１０）を定義するニューラルネットワークパラメータ（１３）をデータストリーム（１４）から復号化するための装置であって、
現在のニューラルネットワークパラメータ（１３'）について、以前のニューラルネットワークパラメータについての前記データストリーム（１４）から復号化された量子化インデックス（５８）に対応して、複数（５０）の再構成レベルセット（５２）のうちの再構成レベルセット（４８）を選択（５４）し、
前記データストリーム（１４）から前記現在のニューラルネットワークパラメータ（１３'）に対する量子化インデックス（５６）を復号化し、ここで前記量子化インデックス（５６）は、前記現在のニューラルネットワークパラメータについての前記選択された再構成レベルセット（４８）のうちの１つの再構成レベルを示し、
前記現在のニューラルネットワークパラメータ（１３'）を、前記現在のニューラルネットワークパラメータについての前記量子化インデックス（５６）によって示される前記選択された再構成レベルセット（４８）のうちの前記１つの再構成レベルに逆量子化（６２）することにより、前記ニューラルネットワークパラメータ（１３）を順次復号化するように構成される、装置。
続きを表示（約 2,400 文字）【請求項２】
前記ニューラルネットワークパラメータ（１３）が、前記ニューラルネットワーク（１０）のニューロン相互接続（１１）の重みに関連する、請求項１に記載の装置。
【請求項３】
前記複数（５０）の再構成レベルセット（５２）のうちの前記再構成レベルセット（５２）の数は２である、請求項１又は２に記載の装置。
【請求項４】
前記複数（５０）の再構成レベルセット（５２）を前記所定の量子化ステップサイズ（ＱＰ）によりパラメータ化（６０）し、前記データストリーム（１４）から前記所定の量子化ステップサイズに関する情報を導出するように構成される、請求項１乃至３のいずれかに記載の装置。
【請求項５】
前記ニューラルネットワークが１つ以上のＮＮ層を含み、前記装置は、
それぞれのＮＮ層（ｐ；ｐ－１）について、前記データストリーム（１４）から前記それぞれのＮＮ層についての所定の量子化ステップサイズに関する情報を導出し、
前記それぞれのＮＮ層について、前記それぞれのＮＮ層に属する前記ニューラルネットワークパラメータを逆量子化するために使用されるように、前記それぞれのＮＮ層について導出された前記所定の量子化ステップサイズを使用して前記複数（５０）の再構成レベルセット（５２）をパラメータ化するように構成されている、請求項１乃至４のいずれかに記載の装置。
【請求項６】
前記複数（５０）の再構成レベルセット（５２）のうちの再構成レベルセット（５２）の数は２であり、前記複数の再構成レベルセットは、
ゼロと所定の量子化ステップサイズの偶数倍とを含む第１の再構成レベルセット（セット０）と、
ゼロと所定の量子化ステップサイズの奇数倍とを含む第２の再構成レベルセット（セット１）とを備える、請求項１乃至５のいずれかに記載の装置。
【請求項７】
すべての再構成レベルセットのすべての再構成レベルは、所定の量子化ステップサイズの整数倍を表し、前記装置は、
それぞれのニューラルネットワークパラメータについて、前記それぞれのニューラルネットワークパラメータについての前記選択された再構成レベルセットと、前記それぞれのニューラルネットワークパラメータについての前記エントロピー復号化後の量子化インデックスとに応じて中間整数値を導出し、及び、
それぞれのニューラルネットワークパラメータについて、前記それぞれのニューラルネットワークパラメータについての前記中間値を、前記それぞれのニューラルネットワークパラメータについての前記所定の量子化ステップサイズで乗算することにより、前記ニューラルネットワークパラメータを逆量子化するように構成される、請求項１乃至６のいずれかに記載の装置。
【請求項８】
前記複数（５０）の再構成レベルセット（５２）のうちの再構成レベルセット（５２）の前記数は２であり、前記装置は、
前記それぞれのニューラルネットワークパラメータについての前記選択された再構成レベルセットが第１のセットである場合、前記それぞれのニューラルネットワークパラメータについての前記量子化インデックスを２倍して、前記それぞれのニューラルネットワークパラメータについての前記中間値を得て、及び、
それぞれのニューラルネットワークパラメータについての前記選択された再構成レベルセットが第２のセットであり、かつ前記それぞれのニューラルネットワークパラメータについての前記量子化インデックスがゼロに等しい場合、前記それぞれのサンプルについての前記中間値をゼロに等しく設定し、及び、
それぞれのニューラルネットワークパラメータについての前記選択された再構成レベルセットが第２のセットであり、かつ前記それぞれのニューラルネットワークパラメータについての前記量子化インデックスがゼロより大きい場合、前記それぞれのニューラルネットワークパラメータについての前記量子化インデックスを２倍し、該乗算の結果から１を引いて前記それぞれのニューラルネットワークパラメータについての前記中間値を得て、及び、
現在のニューラルネットワークパラメータについての前記選択された再構成レベルセットが第２のセットであり、前記それぞれのニューラルネットワークパラメータについての前記量子化インデックスがゼロより小さい場合、前記それぞれのニューラルネットワークパラメータについての前記量子化インデックスを２倍し、該乗算の結果に１を加えて、前記それぞれのニューラルネットワークパラメータについての前記中間値を得ることにより、それぞれのニューラルネットワークパラメータについての前記中間値を導出するように構成される、請求項７に記載の装置。
【請求項９】
前記現在のニューラルネットワークパラメータ（１３'）について、以前に復号化されたニューラルネットワークパラメータについての前記データストリーム（１４）から復号化された前記量子化インデックス（５８）を２値化したもののＬＳＢ部分又は以前に復号化されたビンに応じて、前記複数（５０）の再構成レベルセット（５２）のうちの前記再構成レベルセット（４８）を選択する（５４）ように構成される、請求項１乃至８のいずれかに記載の装置。
【請求項１０】
前記現在のニューラルネットワークパラメータ（１３'）について、以前に復号化されたニューラルネットワークパラメータについての前記データストリーム（１４）から復号化された前記量子化インデックス（５８）の２値関数の結果に応じて、前記複数（５０）の再構成レベルセット（５２）のうちの前記再構成レベルセット（４８）を選択する（５４）ように構成される、請求項１乃至８のいずれかに記載の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本願発明による実施形態は、ニューラルネットワークパラメータの符号化概念に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
ニューラルネットワークの最も基本的な形態は、ニューラルネットワークはアフィン変換の連鎖を構成し、要素ごとの非線形関数が続く。図１に示すように、有向非巡回グラフ（ｄｉｒｅｃｔｅｄａｃｙｃｌｉｃｇｒａｐｈ）として表現することができる。図１は、ニューラルネットワークの一例を示す模式図であり、ここでは例示的に２層フィードフォワードニューラルネットワークを示す。換言すれば、図１は、フィードフォワードニューラルネットワークをグラフで表現したものである。具体的には、この２層構造のニューラルネットワークは、４次元の入力ベクトルを実線にマッピングする非線型関数である。このニューラルネットワークは、ニューラルネットワークの入力となる入力層（Ｉｎｐｕｔｌａｙｅｒ）における４次元の入力ベクトルに応じた４つのニューロン１０ｃと、隠れ層（Ｈｉｄｄｅｎｌａｙｅｒ）における５つのニューロン１０ｃと、ニューラルネットワークの出力を形成する出力層（Ｏｕｔｐｕｔｌａｙｅｒ）における１つのニューロン１０ｃとを含む。ニューラルネットワークは、異なる－又は後続の－層のニューロンを接続する、ニューロン相互接続１１をさらに含む。ニューロン相互接続１１は、重みを関連付けてもよく、重みは、互いに接続されたニューロン１０ｃの間の関係に関連付けられる。特に、重みは、後続の層に転送されるとき、ある層のニューロンの活性化を重み付けし、順次、その後続の層の各ニューロンでインバウンドの重み付き活性化の合計が形成され－線形関数に対応する－続いて、後続の層の各ニューロン／ノードで形成される重み付け合計に非線形スカラー関数が適用され－非線形関数に対応する。したがって、各ノード、例えばニューロン１０ｃは、特定の値を伴い、この値は、エッジ、例えばニューロン相互接続１１のそれぞれの重み値との乗算によって次のノードに順方向に伝播される。その後、すべての受信値は単純に集計される。
【０００３】
TIFF
2025016517000002.tif
66
151
【発明の概要】
【発明が解決しようとする課題】
【０００４】
通常、ニューラルネットワークは数百万個のパラメータを持ち、その表現には数百ＭＢ（例：メガバイト）が必要とされることがある。結果として、それらの推論手順には大きな行列間の多数のドット積演算の計算が含まれるため、実行には高い計算資源が必要となる。そのため、ドット積演算の複雑さを軽減することは非常に重要である。
【０００５】
また、上記の問題点に加えて、ニューラルネットワークの膨大なパラメータを保存する必要があり、例えばサーバからクライアントへ送信する必要がある場合もある。さらに、例えば連合学習環境（ｆｅｄｅｒａｔｅｄｌｅａｒｎｉｎｇｅｎｖｉｒｏｎｍｅｎｔ）において、または特定の受信者が支払った、または推論にニューラルネットワークを使用するときに対処することができる品質の異なる段階でニューラルネットワークのパラメータ化を提供する場合に、ニューラルネットワークのパラメータ化に関する情報を徐々にエンティティに提供することができることが有利である場合もある。
【０００６】
したがって、例えば圧縮の観点からより効率的な、ニューラルネットワークパラメータの効率的な符号化のための概念を提供することが望まれている。さらに、または代替的に、ニューラルネットワークパラメータのためのビットストリーム、ひいては信号化コストを低減することが望まれる。
【０００７】
この目的は、本願の独立請求項の主題によって達成される。
【０００８】
本願発明によるさらなる実施形態は、本願の従属請求項の主題によって定義される。
【課題を解決するための手段】
【０００９】
本願発明の第１の側面による実施形態は、ニューラルネットワークを定義するニューラルネットワークパラメータをデータストリームから復号化する装置であって、現在のニューラルネットワークパラメータについて、以前のニューラルネットワークパラメータについてデータストリームから復号化された量子化インデックスに応じて複数の再構成レベルセットから再構成レベルセットを選択することによって、ニューラルネットワークパラメータを順次復号化するように構成されている、装置である。さらに、装置は、データストリームから現在のニューラルネットワークパラメータについての量子化インデックスを復号化することによって、ここで量子化インデックスは、現在のニューラルネットワークパラメータについての選択された再構成レベルセットのうちの１つの再構成レベルを示し、及び、現在のニューラルネットワークパラメータについての量子化インデックスによって示される、選択された再構成レベルセットのうちの１つの再構成レベル上に現在のニューラルネットワークパラメータを逆量子化することによって、ニューラルネットワークパラメータを順次復号化するように構成される。
【００１０】
本願発明の第１の側面によるさらなる実施形態は、ニューラルネットワークを定義するニューラルネットワークパラメータをデータストリームに符号化する装置であって、現在のニューラルネットワークパラメータについて、以前に符号化されたニューラルネットワークパラメータについてデータストリームに符号化された量子化インデックスに応じて複数の再構成レベルセットの中から再構成レベルセットを選択することによって、ニューラルネットワークパラメータを順次符号化するように構成されている、装置である。さらに、装置は、選択された再構成レベルセットのうちの１つの再構成レベルに現在のニューラルネットワークパラメータを量子化することによって、及び、現在のニューラルネットワークパラメータについての量子化インデックスが量子化される１つの再構成レベルを示す現在のニューラルネットワークパラメータについての量子化インデックスをデータストリームに符号化することにより、ニューラルネットワークパラメータを順次符号化するよう構成される。
（【００１１】以降は省略されています）

関連特許