TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2025097908
公報種別
公開特許公報(A)
公開日
2025-07-01
出願番号
2024197870
出願日
2024-11-13
発明の名称
ニューラルネットワークモデルの並列トレーニング方法及び装置
出願人
三星電子株式会社
,
Samsung Electronics Co.,Ltd.
代理人
弁理士法人ITOH
主分類
G06N
3/045 20230101AFI20250624BHJP(計算;計数)
要約
【課題】ニューラルネットワークモデルの並列トレーニング方法及び装を提供する。
【解決手段】その方法は、ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて前記ニューラルネットワークモデル及びトレーニングデータセットを分割し、前記ニューラルネットワークモデルの部分モデル及び前記トレーニングデータセットの部分データセットを決定し、前記部分モデルの逆伝播のグラジエントを算出するために利用するための、前記部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーを前記パイプラインステージで処理される前記部分データセットの対応データセットに関して個別的に選択し、前記保管ポリシーに基づいて、前記ニューラルネットワークモデルの前記並列トレーニングのための戦略を生成するステップを含む。
【選択図】図4
特許請求の範囲
【請求項1】
ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、前記ニューラルネットワークモデル及びトレーニングデータセットを分割して前記ニューラルネットワークモデルの部分モデル及び前記トレーニングデータセットの部分データセットを決定するステップと、
前記部分モデルの逆伝播のグラジエントを算出するために利用するための、前記部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーを前記パイプラインステージで処理される前記部分データセットの対応データセットに関して個別的に選択するステップと、
前記保管ポリシーに基づいて前記ニューラルネットワークモデルの前記並列トレーニングのための戦略を生成するステップと、
を含む、並列トレーニング方法。
続きを表示(約 1,600 文字)
【請求項2】
前記パイプラインステージの第1パイプラインステージで前記部分データセットの第1部分データセットの対応データセットをトレーニングするために前記保管ポリシーの第1保管ポリシーが利用され、
前記第1パイプラインステージで前記部分データセットの第2部分データセットの対応データセットをトレーニングするために、前記第1保管ポリシーとは異なる前記保管ポリシーの第2保管ポリシーが使用される、請求項1に記載の並列トレーニング方法。
【請求項3】
前記保管ポリシーを選択するステップは、メモリ使用状態に基づいて前記保管ポリシーを選択するステップを含む、請求項1に記載の並列トレーニング方法。
【請求項4】
前記メモリ使用状態に基づいて前記保管ポリシーを選択するステップは、利用可能なメモリ容量内でメモリ使用が最大化されるように前記保管ポリシーを選択するステップを含む、請求項3に記載の並列トレーニング方法。
【請求項5】
前記保管ポリシーは、
前記アクティベーションの保管なしに前記逆伝播時に再演算を行って前記アクティベーションを生成する完全再演算ポリシーと、
前記アクティベーションのいずれか一部を保管し、前記逆伝播時に部分再演算を行って前記アクティベーションの残りの一部を生成する部分再演算ポリシーと、
前記アクティベーションを保管して前記逆伝播時に前記再演算及び前記部分再演算を行わない非再演算ポリシーと、
の1つ以上を含む、請求項1に記載の並列トレーニング方法。
【請求項6】
前記保管ポリシーを選択するステップは、前記保管ポリシーの優先順位に基づいて前記保管ポリシーを選択するステップを含む、請求項5に記載の並列トレーニング方法。
【請求項7】
前記非再演算ポリシーは前記部分再演算ポリシーに比べて高い優先順位を有し、前記部分再演算ポリシーは前記完全再演算ポリシーに比べて高い優先順位を有する、請求項6に記載の並列トレーニング方法。
【請求項8】
前記パイプラインステージの前記対応データセットのトレーニング作業の間に前記優先順位による競争がある場合、前記優先順位は、
前記対応データセットのうち、最終データセットに近い対応データセットであるほど先に適用される、請求項6に記載の並列トレーニング方法。
【請求項9】
前記対応データセットのうち、最終データセットと前記対応データセットのうち前記最終データセットでない他のデータセットのうちの1つに前記非再演算ポリシーが適用される場合、前記最終データセットに前記非再演算ポリシーが優先的に適用される、請求項6に記載の並列トレーニング方法。
【請求項10】
電子装置であって、
プロセッサと、
命令語を格納するメモリと、
を含み、
前記命令語が前記プロセッサによって行われるとき、前記電子装置により、
ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、前記ニューラルネットワークモデル及びトレーニングデータセットを分割して前記ニューラルネットワークモデルの部分モデル及び前記トレーニングデータセットの部分データセットを決定し、
前記部分モデルの逆伝播のグラジエントを算出するために利用するための、前記部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーを前記パイプラインステージで処理される前記部分データセットの対応データセットに関して個別的に選択し、
前記保管ポリシーに基づいて前記ニューラルネットワークモデルの前記並列トレーニングのための戦略が生成される、電子装置。
(【請求項11】以降は省略されています)
発明の詳細な説明
【技術分野】
【0001】
以下の実施形態は、ニューラルネットワークモデルの並列トレーニング方法及び装置に関する。
続きを表示(約 2,500 文字)
【背景技術】
【0002】
認識プロセスの技術的な自動化は、例えば、特殊な算出構造としてプロセッサで具現されたニューラルネットワークモデルを介して具現され、これは相当な訓練後に入力パターンと出力パターンとの間で算出上の直観的なマッピングを提供する。このようなマッピングを生成する訓練された能力は、神経網の学習能力といえる。しかも、特化された訓練により、そのように特化して訓練された神経網は、例えば、訓練していない入力パターンに対して比較的に正確な出力を生成する一般化能力を有する。このようなニューラルネットワークモデルのトレーニング及び推論(inference)に関する動作を処理しようとするとき、より迅速に結果へ収斂できる方案として、モデル並列化及び/又はデータ並列化のような方案を使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、ニューラルネットワークモデルの並列トレーニング方法及び装置を提供することにある。
【課題を解決するための手段】
【0004】
一実施形態によれば、並列トレーニング方法は、ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、ニューラルネットワークモデル及びトレーニングデータセットを分割してニューラルネットワークモデルの部分モデル及びトレーニングデータセットの部分データセットを決定するステップと、部分モデルの逆伝播のグラジエントを算出するために利用するための、部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーをパイプラインステージで処理される部分データセットの対応データセットに関して個別的に選択するステップと、保管ポリシーに基づいてニューラルネットワークモデルの並列トレーニングのための戦略を生成するステップとを含む。
【0005】
一実施形態に係る電子装置は、プロセッサと、命令語を格納するメモリと、を含み、命令語がプロセッサによって行われるとき、電子装置により、ニューラルネットワークモデルの並列トレーニングのためのパイプラインステージに基づいて、ニューラルネットワークモデル及びトレーニングデータセットを分割してニューラルネットワークモデルの部分モデル及びトレーニングデータセットの部分データセットを決定し、部分モデルの逆伝播のグラジエントを算出するために利用するための、部分モデルの順伝播によって生成されたアクティベーションの保管ポリシーをパイプラインステージで処理される部分データセットの対応データセットに関して個別的に選択し、保管ポリシーに基づいてニューラルネットワークモデルの並列トレーニングのための戦略が生成されることができる。
【0006】
一実施形態に係るニューラルネットワークモデルのトレーニング方法は、第1部分データセットに基づいてニューラルネットワークモデルの第1パイプラインステージで第1値を算出するステップと、第1パイプラインステージ及び第1部分データセットに基づいた第1保管ポリシーに応じて第1値を処理するステップと、第2部分データセットに基づいてニューラルネットワークモデルの第1パイプラインステージで第2値を算出するステップと、第1パイプラインステージ及び第2部分データセットに基づいた第2保管ポリシーに応じて第2値を処理するステップと、第1部分データセットに基づいてニューラルネットワークモデルの第2パイプラインステージで第3値を算出するステップと、第2パイプラインステージ及び第1部分データセットに基づいた第3保管ポリシーに応じて第3値を処理するステップと、第2部分データセットに基づいてニューラルネットワークモデルの第2パイプラインステージで第4値を算出するステップと、第2パイプラインステージ及び第2部分データセットに基づいた第4保管ポリシーに応じて第4値を処理するステップとを含む。
【発明の効果】
【0007】
本発明によると、ニューラルネットワークモデルの並列トレーニング方法及び装置を提供することができる。
【図面の簡単な説明】
【0008】
一実施形態に係る再演算のないパイプライン並列化動作を例示的に示す図である。
一実施形態に係るグラジエントを用いたニューラルネットワークモデルのトレーニング過程を示す図である。
一実施形態に係る再演算のない場合、各パイプラインステージのメモリ使用を例示的に示すグラフである。
一実施形態に係るアクティベーションの保管ポリシーを例示的に示す図である。
一実施形態に係るニューラルネットワークモデルの構造を例示的に示す図である。
一実施形態に係る再演算を含むパイプライン並列化動作を例示的に示す図である。
一実施形態に係る優先順位を利用した保管ポリシーの選択過程を例示的に示すフローチャートである。
一実施形態に係る保管ポリシーの優先順位の適用例を示す図である。
一実施形態に係る並列トレーニング方法を例示的に示すフローチャートである。
一実施形態に係る電子装置の構成を例示的に示すブロック図である。
【発明を実施するための形態】
【0009】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【0010】
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に、第2構成要素は第1構成要素にも命名することができる。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
三星電子株式会社
ミニファンモータ
3日前
三星電子株式会社
自律走行型のロボット掃除機
1日前
三星電子株式会社
脱臭触媒、脱臭被膜及び脱臭フィルタ
1日前
三星電子株式会社
半導体素子及び半導体素子の製造方法
2日前
三星電子株式会社
発光素子及び前記発光素子を含む電子装置
1日前
三星電子株式会社
キャリア基板、及びそれを利用した半導体パッケージの製造方法
3日前
三星電子株式会社
偏波調整畳み込み(PAC)符号の簡略化された逐次消去リスト復号化のための方法及び装置
1日前
三星電子株式会社
エッチング組成物、それを利用した金属含有膜エッチング方法、及びそれを利用した半導体素子の製造方法
1日前
個人
対話装置
29日前
個人
情報処理装置
29日前
個人
情報処理システム
1日前
個人
記入設定プラグイン
17日前
個人
検査システム
3日前
個人
情報処理装置
25日前
キヤノン電子株式会社
携帯装置
2日前
株式会社サタケ
籾摺・調製設備
2日前
個人
情報入力装置
29日前
個人
不動産売買システム
9日前
個人
物価スライド機能付生命保険
29日前
個人
備蓄品の管理方法
1日前
個人
マイホーム非電子入札システム
29日前
キヤノン株式会社
情報処理装置
2日前
キヤノン株式会社
情報処理装置
2日前
株式会社BONNOU
管理装置
22日前
サクサ株式会社
中継装置
2日前
個人
決済手数料0%のクレジットカード
1か月前
株式会社ワコム
電子消去具
9日前
東洋電装株式会社
操作装置
2日前
株式会社東芝
電子機器
10日前
ホシデン株式会社
タッチ入力装置
9日前
アスエネ株式会社
排水量管理方法
2日前
キヤノン電子株式会社
名刺管理システム
3日前
サクサ株式会社
カードの制動構造
1か月前
東洋電装株式会社
操作装置
2日前
トヨタ自動車株式会社
情報処理装置
1か月前
個人
パターン抽出方法及び通信多重化方法
8日前
続きを見る
他の特許を見る