特許ウォッチ

公開番号2025017346
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2024117515
出願日2024-07-23
発明の名称機械学習システムを事後トレーニングするための方法及び装置
出願人ローベルトボツシユゲゼルシヤフトミツトベシユレンクテルハフツング,ROBERT BOSCH GMBH
代理人アインゼル・フェリックス=ラインハルト,個人,個人,個人,個人
主分類G06N 20/00 20190101AFI20250129BHJP(計算;計数)
要約【課題】目標タスクに関して非公開トレーニングデータ(T)を用いて機械学習システム(60)を勾配に基づいて事後トレーニングするための方法に関する。
【解決手段】本方法は、事前トレーニングされた機械学習システム(60)にさらなるパラメータ(θ)を追加するステップ(S1)と、追加されたさらなるパラメータ(θ)を、差分プライベート逆伝播法により非公開トレーニングデータ(T)を用いて適合化するステップであって、追加されたパラメータ(θ)は、目標タスクに関して適合化される、ステップ(S2)と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
目標タスクに関して非公開トレーニングデータ（Ｔ）を用いて機械学習システム（６０）を勾配に基づいて事後トレーニングするためのコンピュータ実装された方法であって、
前記機械学習システム（Ｔ）のパラメータは、事前トレーニングにおいて基本タスクに適合化されたものであり、
前記方法は、以下のステップ、すなわち、
－事前トレーニングされた前記機械学習システム（６０）にさらなるパラメータ（θ）を追加するステップ（Ｓ１）であって、
前記さらなるパラメータ（θ）は、前記学習システムのアーキテクチャに、前記さらなるパラメータ（θ）を用いてパラメータ化された少なくとも１つの付加的な層を挿入することによって追加され、及び／又は、
前記さらなるパラメータ（θ）は、事後トレーニングにおいて適合化すべき少なくとも１つの重み行列を、前記機械学習システムの層において事前トレーニングされた重み行列と、事後トレーニングで追加されるさらなる加数とからの合計に分解することによって追加され、
前記さらなる加数は、２つのさらなる行列の行列積によって与えられ、
前記２つのさらなる行列は、前記さらなるパラメータ（θ）を用いてパラメータ化され、
前記事前トレーニングされた重み行列のパラメータは、事前トレーニングにおいて適合化されたものであって、事後トレーニングにおいて保持され、
前記２つのさらなる行列のランクは、それぞれ、前記事前トレーニングされた重み行列のランクよりも低いものである、ステップ（Ｓ１）と、
－追加された前記さらなるパラメータ（θ）を、差分プライベート逆伝播法により非公開トレーニングデータ（Ｔ）を用いて適合化するステップ（Ｓ２）であって、前記追加されたパラメータ（θ）は、目標タスクに関して適合化される、ステップ（Ｓ２）と、
を含む、方法。
続きを表示（約 2,000 文字）【請求項２】
前記差分プライベート逆伝播法には、コスト関数の段階的な最小化が含まれ、
前記逆伝播法の１つのステップにおいて、それぞれ、平均化されかつノイズを含む、コスト関数の勾配が求められ、
平均化されかつノイズを含む前記勾配は、
－前記コスト関数の勾配に対する個々の非公開トレーニングデータの勾配の大きさに関して限定された寄与に関する加重和を含み、
－付加的なノイズ項が印加される、請求項１に記載の方法。
【請求項３】
事前トレーニングされた前記機械学習システム（６０）の前記アーキテクチャにおいて、少なくとも最後のＬ個の変換器ブロックにそれぞれ２つのアダプタ層が挿入され、
前記アダプタ層の挿入によって追加されたパラメータ（θ）は、前記差分プライベート逆伝播法により適合化される、請求項１又は２に記載の方法。
【請求項４】
前記機械学習システム（６０）には、少なくとも最後のＬ個の変換器ブロックにそれぞれ長さＫの接頭部が前置され、
変換器ブロックのセルフアテンション層におけるキーベクトル及び値ベクトルは、それぞれ、所属する前記変換器ブロックの接頭部によって修正可能であり、
スカラーパラメータを有する付加的なゲーティング機構が導入され、
前記接頭部に結び付けられたパラメータ及び前記ゲーティング機構の前記スカラーパラメータは、追加されたパラメータ（θ）であり、前記追加されたパラメータ（θ）は、差分プライベート逆伝播法を用いて適合化される、請求項１又は２に記載の方法。
【請求項５】
前記さらなるパラメータ（θ）は、前記機械学習システムの層における事後トレーニングにおいて適合化すべき重み行列Ｗ
ｉ
を、事前トレーニングされた重み行列Ｗ
ｉ，０
と、それぞれ前記重み行列Ｗ
ｉ，０
のランクよりも低いランクを有する２つのさらなる行列の積とからの合計Ｗ
ｉ
＝Ｗ
ｉ，０
＋Ｗ
ｉ，Ａ
・Ｗ
ｉ，Ｂ
に分解することによって追加され、
前記２つのさらなる行列の要素は、それぞれ追加される、事後トレーニングにおいて適合化すべきパラメータ（θ）であり、
ここで、
Ｗ
ｉ，０
は、それらのエントリが事前トレーニングにおいて適合化されたものでありかつ変更されない、層に対応する、前記機械学習システムのＡｘＢ重み行列を表し、
Ｗ
ｉ，Ａ
は、Ａ×ｒ行列を表し、Ｗ
ｉ，Ｂ
は、ｒ×Ｂ行列を表し、それらのエントリは、追加されたパラメータであり、前記追加されたパラメータは、差分プライベート逆伝播法により目標タスクに関して適合化され、
ｒは、自由に選択可能でありかつ前記行列Ｗ
ｉ，Ａ
，Ｗ
ｉ，Ｂ
のランクを決定するハイパーパラメータである、請求項１又は２に記載の方法。
【請求項６】
最初に、ハイパーパラメータｒが、以下の方法ステップ、すなわち、
前記ハイパーパラメータｒのそれぞれ異なる事前設定された値と公開トレーニングデータとを用いて、請求項５に記載の方法を複数回実施するステップであって、それによって、適合化された追加されたパラメータを有する機械学習システムがそれぞれ得られる、ステップと、
所属の性能メトリックをそれぞれ求めることにより、得られた前記機械学習システムを公開検証データ上で検証するステップと、
最良の性能メトリックを有する前記得られた学習システムに対する当該ハイパーパラメータｒを選択するステップと、
選択された前記ハイパーパラメータｒを有する非公開トレーニングデータを有する前記機械学習システムの前記追加されたパラメータ（θ）を適合化させるために、請求項５に記載の方法ステップを実施するステップと、
に従って求められる、請求項５に記載の方法。
【請求項７】
請求項１乃至６のいずれか一項に記載の方法を実施するように構成された装置（１４０）。
【請求項８】
コンピュータプログラムであって、当該コンピュータプログラムがプロセッサ（１４５）によって実行されるときに、請求項１乃至６のいずれか一項に記載の方法を実施するように構成された、コンピュータプログラム。
【請求項９】
機械可読記憶媒体（１４６）であって、当該機械可読記憶媒体（１４６）上に請求項８に記載のコンピュータプログラムが格納されている、機械可読記憶媒体（１４６）。

発明の詳細な説明【技術分野】
【０００１】
本発明は、目標タスクに関して非公開トレーニングデータを用いて機械学習システムを勾配に基づいて事後トレーニングするための方法に関する。本発明はまた、上記の方法において実装されるコンピュータプログラム、そのようなコンピュータプログラムを有する機械可読データ担体、及び、上記の方法を実施するように構成されたコンピュータに関する。
続きを表示（約 6,400 文字）【背景技術】
【０００２】
従来技術
機械学習システム（英語:machine learning (ML) model）においては、一般に、トレーニングデータに含まれる情報を「覚える」傾向が示されている。このことは、機械学習システムが、推論において、トレーニングデータからの情報を、例えば、学習システムがトレーニングされたデータセットからの文章／特定の文字列、又は、画像の画像部分／画像区分の形態において再現するような態様として出現する可能性がある。トレーニングにおいて非公開データが使用される場合、推論において、場合によっては例えば個人に関するデータ又は企業の「内部」データからの機密情報が開示される可能性がある。
【０００３】
ａｒＸｉｖ：１６０７．００１３３［ｓｔａｔ．ＭＬ］及びａｒＸｉｖ：１９１１．１１６０７［ｃｓ．ＬＧ］では、機械学習システムのための差分プライベート（英語表記：differentially private）トレーニング方法が提案されている。この方法においては、トレーニング日付による情報取得と、トレーニング日付からの偶発的なプライバシー情報を保護するための情報開示の制限との間でバランスをとることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明の利点
本発明の好適な態様は、機械学習システムの事後トレーニングにおける、非公開トレーニングデータを事後トレーニングにおいて使用する場合の、機械学習システムのわずかな数のパラメータの適合化に関する。なぜなら、このことが、少数のトレーニングステップによる適合化の収束に結び付く可能性があるからである。そのような収束時間の低減は、有利である。なぜなら、より短いトレーニングの場合、使用される非公開（すなわち、プライベート）トレーニングデータに関する少ない「情報」しかパラメータの適合化に流入できないからである。さらに、差分プライバシー確率的勾配降下法（英語表記：differentially private stochastic gradient descent method、ａｒＸｉｖ：１６０７．００１３３［ｓｔａｔ．ＭＬ］も参照）のもとで、事前設定されたプライバシーバジェットに依存して実施することができる、最大のトレーニング反復回数が存在する。本発明による事後トレーニングにおける、機械学習システムの少数ではあるが場合によっては特に関連性のあるパラメータの適合化の場合、事後トレーニングにおいて適合化すべき少数のパラメータが最大のトレーニング反復回数内で、機械学習システムが推論においてより良好に汎化されるように適合化される確率がより高くなる。すなわち、本発明に従ってトレーニングされた機械学習システムは、同様に事前設定されたプライバシーバジェットのもとで、事後トレーニングにおいてより多大な数のパラメータが適合化された機械学習システムよりも良好な性能を有することが可能である。プライバシーバジェットとは、ここでは、トレーニング日付による情報取得が、プライバシーを保護するためにどの程度制限されるかを計るものであり、特に、（ε，δ）差分プライバシー（これについては、https://doi.org/10.1007/11681878_14も参照）の場合、パラメータε及びδの事前設定によって確定されてよい。非公開情報に基づいて所期の少数のパラメータを適合化することにより、当該非公開情報はコンパクトになり、機械学習システムに全面的に含まれるわけではないため、これにより「覚える」ことを低減することができる。
【課題を解決するための手段】
【０００５】
発明の開示
第１の態様においては、本発明は、目標タスクに関して機械学習システムを勾配に基づいて事後トレーニングするためのコンピュータ実装された方法に関する。事後トレーニングは、例えば、画像プロセッサ／画像分類器をトレーニングするための合成データ、例えば画像データの生成に学習システムを適合化させるために用いることができる。画像分類器は、ここでは、画像、特に画像内の対象物を分類若しくはセグメント化することができ、及び／又は、対象物を視覚的に強調することができる。本明細書で説明する方法において使用されるトレーニングデータは、非公開である（以下においては、「プライベート」とも称する）。したがって、トレーニングデータには、個人に関する情報又は企業内部情報などの機密情報が含まれる可能性がある。例えば、トレーニングデータには、医療診断からの患者に関する撮像を含めることができる。トレーニングデータには、例えば、自立的な走行からの走行状況を伴う企業固有の非公開撮像又は工作部品の自動光学検査からの撮像などを含めることもできる。また、トレーニングデータには、新規の、場合によっては特別に適合化されたカメラセンサを用いて記録された撮像が含まれる場合もある。また、トレーニングデータには、例えば、レーダセンサ又はＬｉＤＡＲセンサを用いて記録されたデータなど、さらなるモダリティの音声データ又は他のセンサデータが含まれることも想定される。機械学習システムは、本明細書において説明する方法に従って事前トレーニングされたモデルとして提供され、すなわち、機械学習システムのパラメータは、事前トレーニングにおける基本タスクに適合化されたものである。基本タスクは、例えば、一般に、そのコンテキスト又はコンテンツが設定可能であるが特定のコンテンツの表現に限定されないものとし得る画像の生成に本質があり得るが、一方、目標タスクは、この場合、特定のコンテンツの特徴を備えた特定の画像の生成に本質があり得る。代替的に、基本タスクには、共通の表現空間への異なるモダリティの埋め込み、例えば、画像及び所属のテキストの埋め込みが含まれる可能性があり、すなわち、基本タスクは、共通の表現空間への例えば画像及びテキストの両方（すなわち、一般的には、異なるモダリティのデータ）の適当な写像を求めることに本質がある。したがって、対応する目標タスクには、例えば、テキスト入力に基づく画像データの分類を含めることができる。事前トレーニングされた機械学習システムは、特に基礎モデル（英語表記：foundation model, FM）であるものとしてよい。基礎モデルには、基礎モデルの基本タスクの実行に関して、事前トレーニングで多数の公開基礎トレーニングデータを用いて適合化される多数のパラメータが含まれる。基礎モデルの事前トレーニングにおいては、パラメータの適合化は、特に、自己監視方式で、すなわち、ラベル付けのないトレーニングデータを用いて行うことができる。事後トレーニングにおいては、よりわずかな数のトレーニングデータが使用され、この場合、事後トレーニングのトレーニングデータは、特定の目標タスクに適合化されている。ここ及び以下において説明する方法によれば、事後トレーニングにおけるトレーニングデータは、非公開、すなわち、プライベートトレーニングデータである。事後トレーニングにおいては、事前トレーニングされたパラメータにより、基礎モデルが後調整される可能性があり、すなわち、事後トレーニングによって、基礎モデルの事前トレーニングされたパラメータは、それぞれ基礎トレーニングから得られた値から小さい偏差を伴って印加される可能性がある。事後トレーニングにおいては、モデルのパラメータの適合化を監視すること、すなわち、ラベル付けされたトレーニングデータを用いて行うことができるが、この場合は、事後トレーニングについて自己監視トレーニングも可能である。事後トレーニングにおいては、基礎モデルの事前トレーニングされたパラメータの一部又は大部分が保持／フリーズされる場合があり、保持されていないパラメータのみが適合化される。
【０００６】
ここ及び以下において提案される方法の１つのステップにおいては、事前トレーニングされた機械学習システムにさらなるパラメータが追加される。これらのさらなるパラメータは、機械学習システムのアーキテクチャへの少なくとも１つの付加的な層の挿入によって追加することができる。代替的に又は付加的に、事後トレーニングにおいて適合化すべき少なくとも１つの重み行列を、機械学習システムの層において２つの加数による合計に分解することによって、さらなるパラメータを機械学習システムに追加することができる。第１の加数は、ここでは、所属する事前トレーニングされた重み行列、すなわち、そのパラメータが事前トレーニングにおいて適合化され、事後トレーニングにおいて特に保持される重み行列によって与えられる。第２の加数は、２つのさらなる行列の行列積を含み、この場合、これらの２つのさらなる行列は、事後トレーニングにおいて適合化すべきさらなるパラメータを用いてパラメータ化される。これらの２つのさらなる行列のランクは、それぞれ、第１の加数における事前トレーニングされた重み行列のランクよりも低い。
【０００７】
上述したように、事後トレーニングにおいて２つのさらなる行列の行列積によって与えられる、適合化すべきさらなる項が加算される、事前トレーニングされた重み行列とは、例えば、変換器層における重み行列、特に変換器層の（セルフ）アテンションヘッド内の重み行列であり得る。さらなる方法ステップにおいては、追加されたさらなるパラメータが、差分プライベート逆伝播法により非公開トレーニングデータで目標タスクに関して適合化される。ここで説明する方法においては、特に、追加された追加パラメータのみ、すなわち、もっぱら、追加された追加パラメータが事後トレーニングにおいて適合化され得る。
【０００８】
ここ及び以下において提案する方法の利点は、機械学習システムが非公開トレーニングデータで効率的に、すなわち、場合によっては特別にカットされたトレーニングデータの比較的小さいセットで、ひいてはより短い時間で技術的な目標タスクに適合化できることにある。なぜなら、非公開トレーニングデータには、例えば、場合によってはもっぱら、目標タスクに関連する特定の事例又は状況に関連する画像データが含まれるからである。例えば、安全上重要な特定の状況、例えば歩行者を伴う状況などを示す走行環境を含む非公開画像データは，自立的な走行のために使用することができる。工作部品検査からの、例えば、工作部品の特定のまれな欠陥を示す非公開画像データを使用することも可能である。
【０００９】
本方法の好適な実施形態によれば、差分プライベート逆伝播法には、コスト関数の段階的な最小化が含まれる。一般に、機械学習システムは、入力データを受信し、これらを、機械学習システムの複数の層において、又は、多くの場合には多数の層において数学的演算により出力データに写像するように構成されている。機械学習システムの（事前／事後）トレーニングにおいては、この場合、コスト関数により、学習システムによって求められた出力データが、対応する事前設定された出力データとどの程度良好に一致しているかを計ることができる。
【００１０】
差分プライベート逆伝播法の１つのステップにおいては、それぞれコスト関数の平均化されかつノイズを含む勾配を求めることができる。ここでは、平均化されかつノイズを含む勾配は、コスト関数の勾配に対して個々の非公開トレーニングデータの勾配の大きさに関して限定された寄与に関する加重和を含み、付加的にノイズ項を印加することができる。差分プライベート逆伝播法を用いた機械学習システムの（事後）トレーニングは、一般に、トレーニングエポックとも称される複数のステップにおいて行うことができる。１つのステップ内又は１つの（トレーニング）エポック内においては、それぞれ、トレーニングデータのバッチとも称されるサブセットが学習システムによって受信され得る。バッチからの各トレーニング日付に対して、学習システムは、さらにトレーニングタスクに応じて出力日付を求めることができる。学習システムに追加されたパラメータを、差分プライベート逆伝播法を用いて適合化するための機械学習システムの事後トレーニングのエポックにおいては、例えば、非公開トレーニングデータ｛ｘ
１
，ｘ
２
，…，ｘ
Ｎ
｝のバッチが与えられるものとしてよい。学習システムの適合化されるパラメータをθで表すならば、逆伝播法の過程で考察されるコスト関数（損失関数（英語表記：loss function）とも称される）は、対応するトレーニングエポックにおいて、以下の式、
TIFF
2025017346000002.tif
8
169
として示すことができる。この場合、適合化すべきパラメータはθで表される。すなわち、θは、例えば、追加されたさらなるパラメータのみを含み得るものであり、それに対して、事前トレーニングにおいて適合化された機械学習システムのパラメータは、保持／フリーズされる。適合化すべきパラメータθは、第１のトレーニングエポックにおいて例えばランダムに初期化することができる。代替的に、適合化すべきパラメータの全て又は一部を第１のトレーニングエポックにおいてゼロに設定することも可能である。エポックの各トレーニング日付ｘ
ｉ
について、さらに、対応する勾配ｇ（ｘ
ｉ
）←∇
θ
Ｌ（θ，ｘ
ｉ
）を求めることができる。この勾配を起点として、それぞれ、大きさに関して限定された勾配
TIFF
2025017346000003.tif
8
169
を求めることができ、そのノルムは、以下の式、
TIFF
2025017346000004.tif
10
169
に従って、事前設定可能な値Ｃの最大値を想定する。||ｇ（ｘ
ｉ
）||は、ここでは、例えば、勾配ｇ（ｘ
ｉ
）のＬ
２
ノルムを表す。大きさに関して限定された個々の寄与に関する加重和には、ノイズ項を追加することができ、それにより、次式、
TIFF
2025017346000005.tif
9
169
に従って平均化されかつノイズを含む勾配を得ることができる。ここで、Ｉは、単位行列を表し、σは、ノイズスケールを示す。例えば、パラメータσ及びＣの値は、σ＝３又はσ＝４、及び、Ｃ＝１に選択することができる。当業者であれば、自身の経験に従って、上記以外のパラメータσ及びＣについての値を選択することもできる。ノルムを制限し、ノイズ項を追加することにより、情報の獲得、ひいては学習システムによって記憶され得るトレーニング日付の情報内容が制限される。したがって、本明細書において提案される方法では、機械学習システムが対応する事後トレーニングから特定の情報を推論で開示することなく、機械学習システムを技術的な目標タスクに効率的に適合化させるトレーニングデータをそこに含まれる情報と共に使用することができる。
（【００１１】以降は省略されています）

関連特許