特許ウォッチ

公開番号2025097908
公報種別公開特許公報(A)
公開日2025-07-01
出願番号2024197870
出願日2024-11-13
発明の名称ニューラルネットワークモデルの並列トレーニング方法及び装置
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人弁理士法人ITOH
主分類G06N 3/045 20230101AFI20250624BHJP(計算;計数)
要約【課題】ニューラルネットワークモデルの並列トレーニング方法及び装を提供する。
【解決手段】その方法は、ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて前記ニューラルネットワークモデル及びトレーニングデータセットを分割し、前記ニューラルネットワークモデルの部分モデル及び前記トレーニングデータセットの部分データセットを決定し、前記部分モデルの逆伝播のグラジエントを算出するために利用するための、前記部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーを前記パイプラインステージで処理される前記部分データセットの対応データセットに関して個別的に選択し、前記保管ポリシーに基づいて、前記ニューラルネットワークモデルの前記並列トレーニングのための戦略を生成するステップを含む。
【選択図】図4

特許請求の範囲【請求項１】
ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、前記ニューラルネットワークモデル及びトレーニングデータセットを分割して前記ニューラルネットワークモデルの部分モデル及び前記トレーニングデータセットの部分データセットを決定するステップと、
前記部分モデルの逆伝播のグラジエントを算出するために利用するための、前記部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーを前記パイプラインステージで処理される前記部分データセットの対応データセットに関して個別的に選択するステップと、
前記保管ポリシーに基づいて前記ニューラルネットワークモデルの前記並列トレーニングのための戦略を生成するステップと、
を含む、並列トレーニング方法。
続きを表示（約 1,600 文字）【請求項２】
前記パイプラインステージの第１パイプラインステージで前記部分データセットの第１部分データセットの対応データセットをトレーニングするために前記保管ポリシーの第１保管ポリシーが利用され、
前記第１パイプラインステージで前記部分データセットの第２部分データセットの対応データセットをトレーニングするために、前記第１保管ポリシーとは異なる前記保管ポリシーの第２保管ポリシーが使用される、請求項１に記載の並列トレーニング方法。
【請求項３】
前記保管ポリシーを選択するステップは、メモリ使用状態に基づいて前記保管ポリシーを選択するステップを含む、請求項１に記載の並列トレーニング方法。
【請求項４】
前記メモリ使用状態に基づいて前記保管ポリシーを選択するステップは、利用可能なメモリ容量内でメモリ使用が最大化されるように前記保管ポリシーを選択するステップを含む、請求項３に記載の並列トレーニング方法。
【請求項５】
前記保管ポリシーは、
前記アクティベーションの保管なしに前記逆伝播時に再演算を行って前記アクティベーションを生成する完全再演算ポリシーと、
前記アクティベーションのいずれか一部を保管し、前記逆伝播時に部分再演算を行って前記アクティベーションの残りの一部を生成する部分再演算ポリシーと、
前記アクティベーションを保管して前記逆伝播時に前記再演算及び前記部分再演算を行わない非再演算ポリシーと、
の１つ以上を含む、請求項１に記載の並列トレーニング方法。
【請求項６】
前記保管ポリシーを選択するステップは、前記保管ポリシーの優先順位に基づいて前記保管ポリシーを選択するステップを含む、請求項５に記載の並列トレーニング方法。
【請求項７】
前記非再演算ポリシーは前記部分再演算ポリシーに比べて高い優先順位を有し、前記部分再演算ポリシーは前記完全再演算ポリシーに比べて高い優先順位を有する、請求項６に記載の並列トレーニング方法。
【請求項８】
前記パイプラインステージの前記対応データセットのトレーニング作業の間に前記優先順位による競争がある場合、前記優先順位は、
前記対応データセットのうち、最終データセットに近い対応データセットであるほど先に適用される、請求項６に記載の並列トレーニング方法。
【請求項９】
前記対応データセットのうち、最終データセットと前記対応データセットのうち前記最終データセットでない他のデータセットのうちの１つに前記非再演算ポリシーが適用される場合、前記最終データセットに前記非再演算ポリシーが優先的に適用される、請求項６に記載の並列トレーニング方法。
【請求項１０】
電子装置であって、
プロセッサと、
命令語を格納するメモリと、
を含み、
前記命令語が前記プロセッサによって行われるとき、前記電子装置により、
ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、前記ニューラルネットワークモデル及びトレーニングデータセットを分割して前記ニューラルネットワークモデルの部分モデル及び前記トレーニングデータセットの部分データセットを決定し、
前記部分モデルの逆伝播のグラジエントを算出するために利用するための、前記部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーを前記パイプラインステージで処理される前記部分データセットの対応データセットに関して個別的に選択し、
前記保管ポリシーに基づいて前記ニューラルネットワークモデルの前記並列トレーニングのための戦略が生成される、電子装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
以下の実施形態は、ニューラルネットワークモデルの並列トレーニング方法及び装置に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
認識プロセスの技術的な自動化は、例えば、特殊な算出構造としてプロセッサで具現されたニューラルネットワークモデルを介して具現され、これは相当な訓練後に入力パターンと出力パターンとの間で算出上の直観的なマッピングを提供する。このようなマッピングを生成する訓練された能力は、神経網の学習能力といえる。しかも、特化された訓練により、そのように特化して訓練された神経網は、例えば、訓練していない入力パターンに対して比較的に正確な出力を生成する一般化能力を有する。このようなニューラルネットワークモデルのトレーニング及び推論（ｉｎｆｅｒｅｎｃｅ）に関する動作を処理しようとするとき、より迅速に結果へ収斂できる方案として、モデル並列化及び／又はデータ並列化のような方案を使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、ニューラルネットワークモデルの並列トレーニング方法及び装置を提供することにある。
【課題を解決するための手段】
【０００４】
一実施形態によれば、並列トレーニング方法は、ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、ニューラルネットワークモデル及びトレーニングデータセットを分割してニューラルネットワークモデルの部分モデル及びトレーニングデータセットの部分データセットを決定するステップと、部分モデルの逆伝播のグラジエントを算出するために利用するための、部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーをパイプラインステージで処理される部分データセットの対応データセットに関して個別的に選択するステップと、保管ポリシーに基づいてニューラルネットワークモデルの並列トレーニングのための戦略を生成するステップとを含む。
【０００５】
一実施形態に係る電子装置は、プロセッサと、命令語を格納するメモリと、を含み、命令語がプロセッサによって行われるとき、電子装置により、ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、ニューラルネットワークモデル及びトレーニングデータセットを分割してニューラルネットワークモデルの部分モデル及びトレーニングデータセットの部分データセットを決定し、部分モデルの逆伝播のグラジエントを算出するために利用するための、部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーをパイプラインステージで処理される部分データセットの対応データセットに関して個別的に選択し、保管ポリシーに基づいてニューラルネットワークモデルの並列トレーニングのための戦略が生成されることができる。
【０００６】
一実施形態に係るニューラルネットワークモデルのトレーニング方法は、第１部分データセットに基づいてニューラルネットワークモデルの第１パイプラインステージで第１値を算出するステップと、第１パイプラインステージ及び第１部分データセットに基づいた第１保管ポリシーに応じて第１値を処理するステップと、第２部分データセットに基づいてニューラルネットワークモデルの第１パイプラインステージで第２値を算出するステップと、第１パイプラインステージ及び第２部分データセットに基づいた第２保管ポリシーに応じて第２値を処理するステップと、第１部分データセットに基づいてニューラルネットワークモデルの第２パイプラインステージで第３値を算出するステップと、第２パイプラインステージ及び第１部分データセットに基づいた第３保管ポリシーに応じて第３値を処理するステップと、第２部分データセットに基づいてニューラルネットワークモデルの第２パイプラインステージで第４値を算出するステップと、第２パイプラインステージ及び第２部分データセットに基づいた第４保管ポリシーに応じて第４値を処理するステップとを含む。
【発明の効果】
【０００７】
本発明によると、ニューラルネットワークモデルの並列トレーニング方法及び装置を提供することができる。
【図面の簡単な説明】
【０００８】
一実施形態に係る再演算のないパイプライン並列化動作を例示的に示す図である。
一実施形態に係るグラジエントを用いたニューラルネットワークモデルのトレーニング過程を示す図である。
一実施形態に係る再演算のない場合、各パイプラインステージのメモリ使用を例示的に示すグラフである。
一実施形態に係るアクティベーションの保管ポリシーを例示的に示す図である。
一実施形態に係るニューラルネットワークモデルの構造を例示的に示す図である。
一実施形態に係る再演算を含むパイプライン並列化動作を例示的に示す図である。
一実施形態に係る優先順位を利用した保管ポリシーの選択過程を例示的に示すフローチャートである。
一実施形態に係る保管ポリシーの優先順位の適用例を示す図である。
一実施形態に係る並列トレーニング方法を例示的に示すフローチャートである。
一実施形態に係る電子装置の構成を例示的に示すブロック図である。
【発明を実施するための形態】
【０００９】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【００１０】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。
（【００１１】以降は省略されています）

関連特許