特許ウォッチ

公開番号2025166194
公報種別公開特許公報(A)
公開日2025-11-05
出願番号2025135483,2023563233
出願日2025-08-15,2022-04-14
発明の名称ノード情報を使用してニューラルネットワークパラメーターを更新するデコーダー、エンコーダー、コントローラー、方法及びコンピュータープログラム
出願人フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
代理人個人,個人
主分類G06N 3/098 20230101AFI20251028BHJP(計算;計数)
要約【課題】学習又は更新プロセスのニューラルネットワークパラメーターの効率的な表現及び伝送を可能にするデコーダー、エンコーダー、ニューラルネットワークコントローラー及び方法を提供する。
【解決手段】ニューラルネットワークのパラメーターを復号化するデコーダーは、符号化ビットストリームに基づいて、ニューラルネットワークの複数のニューラルネットワークパラメーターを取得し1010、符号化ビットストリームから、パラメーター更新ツリーのノードを記述するノード情報を取得する1020。ノード情報は、親ノード識別子及びパラメーター更新情報を含む。デコーダーはまた、親ノード識別子によって識別される親ノードのパラメーター情報を使用して、かつ、パラメーター更新情報を使用して、1つ以上のニューラルネットワークパラメーターを導出する1030。
【選択図】図10
特許請求の範囲【請求項１】
ニューラルネットワークのパラメーターを復号化するデコーダー（１００、１００ｂ）であって、
前記デコーダーは、符号化ビットストリームに基づいて、前記ニューラルネットワークの複数のニューラルネットワークパラメーター（１０４、１０４ｂ、２０４、３０４、５１２、５２２、５３２、５４２、５５２、５６２、５７２、５８２、５９２、６０２、６１２、６２２、６５２、７２０、７４０、８１２）を取得するように構成され、
前記デコーダーは、パラメーター更新ツリーのノードを記述するノード情報（１１２、１１２ｂ）を取得するように構成され、
前記ノード情報は、親ノード識別子（１１４、５２４、５３４、５４４、５５４、５６４、５７４、５８４、５９４、６０４、６１４、６２４）を含み、
前記ノード情報は、パラメーター更新情報（１１６、５２６、５３６、５４６、５５６、５６６、５７６、５８６、５９６、６０６、６１６、６２６）を含み、
前記デコーダーは、前記親ノード識別子によって識別される親ノードのパラメーター情報を使用して、かつ前記パラメーター更新情報を使用して、１つ以上のニューラルネットワークパラメーター（１０４、１０４ｂ、２０４、３０４、５１２、５２２、５３２、５４２、５５２、５６２、５７２、５８２、５９２、６０２、６１２、６２２、６５２、７２０、７４０、８１２）を導出するように構成されている、
デコーダー。
続きを表示（約 2,100 文字）【請求項２】
請求項１に記載のデコーダー（１００、１００ｂ）であって、
前記デコーダーは、前記親ノード識別子（１１４、５２４、５３４、５４４、５５４、５６４、５７４、５８４、５９４、６０４、６１４、６２４）によって識別される前記親ノードによって定義される１つ以上のニューラルネットワークパラメーターを、前記パラメーター更新情報（１１６、５２６、５３６、５４６、５５６、５６６、５７６、５８６、５９６、６０６、６１６、６２６）を使用して修正するように構成されている、デコーダー。
【請求項３】
請求項１又は２に記載のデコーダー（１００、１００ｂ）であって、
前記デコーダーは、パラメーター更新ツリー（５００）を設定するように構成され、異なるパラメーター更新情報（１１６、５２６、５３６、５４６、５５６、５６６、５７６、５８６、５９６、６０６、６１６、６２６）を含む複数の子ノードが、共通の親ノード（５１０）に関連付けられる、デコーダー。
【請求項４】
請求項３に記載のデコーダー（１００、１００ｂ）であって、
前記デコーダーは、現在考慮されているノードに関連付けられた前記パラメーター更新情報（１１６、５２６、５３６、５４６、５５６、５６６、５７６、５８６、５９６、６０６、６１６、６２６）を使用して、ルートノード（５１０）に関連付けられたパラメーター情報（５１２）を使用して、かつ前記更新ツリーにおいて前記ルートノードと前記現在考慮されているノードとの間にある１つ以上の中間ノードに関連付けられたパラメーター更新情報を使用して、前記現在考慮されているノードに関連付けられた１つ以上のニューラルネットワークパラメーターを取得するように構成されている、デコーダー。
【請求項５】
請求項３又は４に記載のデコーダー（１００、１００ｂ）であって、
前記デコーダーは、ルートノード（５１０）から現在考慮されているノードまで前記パラメーター更新ツリー（５００）をトラバースするように構成され、
前記デコーダーは、前記現在考慮されているノードに関連付けられた１つ以上のニューラルネットワークパラメーターを取得するために、訪問先ノードの更新命令を１つ以上の初期ニューラルネットワークパラメーターに適用するように構成されている、
デコーダー。
【請求項６】
請求項３～５のいずれか一項に記載のデコーダー（１００、１００ｂ）であって、
前記デコーダーは、
前記パラメーター更新ツリーの複数の連続するノード（５２０、５５０）、及び／又は
前記パラメーター更新ツリーの１つ以上の連続するノード（５２０、５５０）及び前記パラメーター更新情報、
を集約するように構成されている、
デコーダー。
【請求項７】
請求項３～６のいずれか一項に記載のデコーダー（１００、１００ｂ）であって、
前記デコーダーは、前記ノード情報（１１２、１１２ｂ）に基づいて前記パラメーター更新ツリー（５００）を更新するように構成されている、デコーダー。
【請求項８】
請求項１～７のいずれか一項に記載のデコーダー（１００、１００ｂ）であって、
前記デコーダーは、ルートノード（５１０）に関連付けられたニューラルネットワークパラメーター（５１２）を選定し、又は前記ルートノードの前記子孫ノードのうちの１つに関連付けられたニューラルネットワークパラメーターを選定することを決定するように構成されている、デコーダー。
【請求項９】
請求項１～８のいずれか一項に記載のデコーダー（１００、１００ｂ）であって、
前記パラメーター更新情報（１１６、５２６、５３６、５４６、５５６、５６６、５７６、５８６、５９６、６０６、６１６、６２６）は、現在考慮されているノード（５７０）の親ノード（５３０）に関連付けられた１つ以上のパラメーター値（５３２）のスケーリングを定義する更新命令（５７６）を含み、
前記デコーダーは、前記現在考慮されているノードに関連付けられた１つ以上のニューラルネットワークパラメーター（５７２）を取得するために、前記更新命令（５７６）によって定義されたスケーリングを適用するように構成されている、
デコーダー。
【請求項１０】
請求項１～９のいずれか一項に記載のデコーダー（１００、１００ｂ）であって、
現在考慮されているノードに関連付けられた複数のニューラルネットワークパラメーターが、パラメーターテンソルによって表され、
前記デコーダーは、前記現在考慮されているノードに関連付けられた前記パラメーターテンソル（５９２）を取得するために、積テンソル（５９６）をパラメーターテンソル（５４２）に適用するように構成されている、
デコーダー。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明による実施形態は、ノード情報を使用してニューラルネットワークパラメーターを更新するデコーダー、エンコーダー、コントローラー、方法、及びコンピュータープログラムに関する。
続きを表示（約 1,800 文字）【０００２】
本発明による更なる実施形態は、分配型シナリオにおけるニューラルネットワーク更新の効率的なシグナリングに関する。
【背景技術】
【０００３】
ニューラルネットワーク（ＮＮ）、例えばニューラルネットは、様々な応用分野で使用されている。良好な性能を提供するために、例えば複雑で計算コストの高い訓練技術が開発されてきた。専用の訓練デバイス上でかかる訓練プロセスを実行するために、ニューラルネットワークパラメーターは、例えば、エンドユーザーデバイスから訓練デバイスへ、及びその逆に伝送する必要がある場合がある。さらに、効率的なニューラルネットワークパラメーター表現及びパラメーター伝送技術は、複数のデバイスがニューラルネットワークを訓練し、それぞれの訓練プロセスの更新されたパラメーターが中央サーバーを使用して集約され得る分配型学習シナリオにおいて、更に重要になる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、学習又は更新プロセスのニューラルネットワークパラメーターの効率的な表現及び伝送を可能にする概念を得ることが望まれている。
【課題を解決するための手段】
【０００５】
これは、本出願の独立請求項の主題によって達成される。
【０００６】
本発明による更なる実施の形態は、本出願の従属請求項の主題によって定義される。
【０００７】
本発明による実施の形態は、ニューラルネットワークのパラメーターを復号化するデコーダーを含み、デコーダーは、符号化ビットストリームに基づいて、ニューラルネットワークの複数のニューラルネットワークパラメーターを取得するように構成される。さらに、デコーダーは、符号化ビットストリームから、パラメーター更新ツリーのノードを記述するノード情報を取得し、例えば受信し、例えば抽出するように構成され、ノード情報は、例えば一意の親ノード識別子である親ノード識別子、例えば整数、文字列、及び／又は暗号ハッシュを含み、ノード情報は、パラメーター更新情報、例えば１つ以上の更新命令、例えば初期ニューラルネットワークパラメーターと、例えば更新ツリーの子ノードに対応するそのより新しいバージョンとの間の差分信号を含む。
【０００８】
さらに、デコーダーは、親ノード識別子によって識別される親ノードのパラメーター情報（パラメーター情報は、例えば、親ノードのノード情報を含み、ノード情報は、例えば、１つ以上のニューラルネットワークパラメーターの再帰的再構成又は再帰的決定又は再帰的計算又は再帰的導出のために、例えば、パラメーター更新情報及び親ノードの親ノード識別子を含み、及び／又は、例えば、親ノードのノードパラメーター、例えば、親ノードに関連付けられたニューラルネットワークパラメーター、例えば、親ノードのノード情報によって暗黙的に定義されたニューラルネットワークパラメーターを含む）を使用して、かつ、例えば、ノード情報に含まれ得るパラメーター更新情報を使用して、１つ以上のニューラルネットワークパラメーターを導出するように構成される。
【０００９】
本発明による実施の形態は、パラメーター更新ツリーに基づいてニューラルネットワークパラメーターの効率的な表現を提供するという主要な概念に基づく。
【００１０】
本発明者らは、ニューラルネットワークを更新又は改変するために、ニューラルネットワークの全てのパラメーターを伝送／受信することが必要でない場合があることを認識した。これに代えて、更新情報、すなわち（ニューラルネットワーク）パラメーター更新情報のみを符号化／復号化して伝送／受信することができる。かかる、例えば差分情報又は例えば差異情報を利用するために、例えば変更値を含む更新情報を使用して適応される参照パラメーターの集合に関する情報を提供することができる。本発明者らは、ノード情報を使用してかかる情報を表すことができ、ノード情報は、パラメーター更新情報と、例えば、調整される参照パラメーターの集合へのポインターとして機能し得る親ノード識別子とを含むことを認識した。
（【００１１】以降は省略されています）

関連特許