特許ウォッチ

公開番号2025014106
公報種別公開特許公報(A)
公開日2025-01-29
出願番号2024082835
出願日2024-05-21
発明の名称機械学習評価パイプラインのシステム及び方法
出願人ウーブン・バイ・トヨタ株式会社
代理人個人,個人,個人,個人,個人,個人
主分類G06N 3/0985 20230101AFI20250122BHJP(計算;計数)
要約【課題】ニューラルアーキテクチャ探索(NAS)パイプラインのための方法等の提供。
【解決手段】最適化されたニューラルアーキテクチャ探索(NAS)を行うためのニューラルアーキテクチャ探索(NAS)パイプラインのための方法、システム、及びデバイスが提供される。この方法は、ニューラルネットワークアーキテクチャのための複数の候補層を含む第1の探索空間を取得することと、第1のアーキテクチャセットを取得するために、第1の探索空間内でトレーニングなしのNASを行うことと、第1の探索空間内でトレーニングなしのNASを行って第2のアーキテクチャセットを取得することと、第2の探索空間内で勾配に基づく探索を行って第2のアーキテクチャセットを取得することと、第2のアーキテクチャセットを初期サンプルとして利用してサンプリング法探索を行うことと、サンプリング法探索の出力として出力アーキテクチャを取得することと、を含む。
【選択図】図7
特許請求の範囲【請求項１】
ニューラルアーキテクチャ探索（ＮＡＳ）を行うための方法であって、
ニューラルネットワークアーキテクチャのための複数の候補層を含む第１の探索空間を取得することと、
前記第１の探索空間内でトレーニングなしのＮＡＳを行って第１のアーキテクチャセットを取得することと、
前記第１のアーキテクチャセットに基づいて第２の探索空間を取得することと、
前記第２の探索空間内で勾配に基づく探索を行って第２のアーキテクチャセットを取得することと、
前記第２のアーキテクチャセットを初期サンプルとして利用してサンプリング法探索を行うことと、
前記サンプリング法探索の出力として出力アーキテクチャを取得すことと、
を含む方法。
続きを表示（約 970 文字）【請求項２】
前記第１の探索空間は、アーキテクチャパラメータのセットに基づいて取得される、請求項１に記載の方法。
【請求項３】
前記第２の探索空間は、前記第１のアーキテクチャセット内の１つ以上のアーキテクチャを含むサブ空間に基づいて取得される、請求項１又は２に記載の方法。
【請求項４】
前記サンプリング法探索は繰り返して行われる、請求項１又は２に記載の方法。
【請求項５】
前記サンプリング法探索は進化的探索アルゴリズムを含む、請求項４に記載の方法。
【請求項６】
前記サンプリング法探索の繰り返し回数は所定の閾値に基づく、請求項５に記載の方法。
【請求項７】
前記トレーニングなしのＮＡＳは１つ以上のメトリクスに基づいて行われる、請求項１又は２に記載の方法。
【請求項８】
ニューラルアーキテクチャ探索（ＮＡＳ）を行うための装置であって、
コンピュータ実行可能命令を記憶した少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記プロセッサは、前記コンピュータ実行可能命令を実行して、
ニューラルネットワークアーキテクチャのための複数の候補層を含む第１の探索空間を取得し、
前記第１の探索空間内でトレーニングなしのＮＡＳを行って第１のアーキテクチャセットを取得し、
前記第１のアーキテクチャセットに基づいて第２の探索空間を取得し、
前記第２の探索空間内で勾配に基づく探索を行って第２のアーキテクチャセットを取得し、
前記第２のアーキテクチャセットを初期サンプルとして利用してサンプリング法探索を行い、
前記サンプリング法探索の出力として出力アーキテクチャを取得する、ように構成されている、
装置。
【請求項９】
前記第１の探索空間は、アーキテクチャパラメータのセットに基づいて取得される、請求項８に記載の装置。
【請求項１０】
前記第２の探索空間は、前記第１のアーキテクチャセット内の１つ以上のアーキテクチャを含むサブ空間に基づいて取得される、請求項８又は９に記載の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示の例示的な実施形態によるシステム及び方法は、機械学習モデルを評価するためのパイプラインを提供することに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
関連技術では、ニューラルネットワークは概して、（１）ニューラルネットワークのアーキテクチャ、及び（２）ニューロン間で伝送される入力に適用される重み、の２つの主なパラメータによって特徴付けられ得る。典型的には、アーキテクチャはユーザによって手動、すなわち手作業で設計され、重みは、トレーニングセット及びニューラルネットワークアルゴリズムを用いてネットワークをトレーニングすることによって最適化される。よって、ニューラルネットワークの性能を最適化するには、アーキテクチャ設計は、特にニューラルネットワークが使用のためにデプロイされた後には概して静的であるので、重要な考慮事項である。図１は、関連技術のニューラルネットワークアーキテクチャの一例を示す図である。
【０００３】
図１を参照すると、関連技術のニューラルネットワークアーキテクチャ例は、接続、層のタイプ（又は動作）、層数、及び各層内のチャネル数によって定義される。層タイプには、例えば、畳み込み（畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）の場合）、活性化（例えば、ＲｅＬＵ（Rectified Linear Unit：整流線形ユニット））、プーリング（pooling）、全結合（fully connected）、バッチ正規化（batch normalization）、ドロップアウト（dropout）などが含まれ得、ネットワークのアーキテクチャ設計は、これらの層タイプのうち少なくともいくつかに対応する層の組み合わせによって具現される。
【０００４】
関連技術において、ニューラルネットワークのアーキテクチャを自動的に設計するための技法として、ＮＡＳ（Neural Architecture Search：ニューラルアーキテクチャ探索）がある。ＮＡＳを行うための関連技術の方法には、トレーニングなし（ゼロショット）ＮＡＳ、スーパーネットに基づくＮＡＳ、及び単純な繰り返し探索が含まれ得る。
【０００５】
関連技術では、トレーニングなし（ゼロショット）ＮＡＳは、ネットワークパラメータをトレーニングすることなくネットワーク性能を予測する。この方法は高速であるが、良好な精度を有さないこともある。例えば、この方法は、実際にトレーニングを行うことなく、探索空間内のメトリクス又はアーキテクチャを評価することによってなされ得る。
【０００６】
図２は、関連技術に係るスーパーネットに基づく（勾配に基づく）ＮＡＳを示す図である。図３はスーパーネットに基づくＮＡＳにおけるスーパーブロックの一例を示し、図４は関連技術に係るスーパーネットに基づくＮＡＳ法の流れの一例を示す。
【０００７】
スーパーネットに基づく（勾配に基づく）ＮＡＳは、スーパーネットを使用し得る。スーパーネットとは、全ての候補アーキテクチャからなるネットワークである。図２を参照すると、スーパーネットに基づく探索は、複数の接続したスーパーブロックを１回だけトレーニングするプロセスを介してニューラルネットワークアーキテクチャを探索し、各スーパーブロックは１つの層（及び／又は層のセット）に対応し、候補層（及び／又は層のセット）の多くの選択肢を含む。例えば、選択肢１は３×３ＣＮＮ、選択肢２は５×５ＣＮＮ、選択肢３は最大プーリング又は残差ブロック、などであってもよい。スーパーネットに基づく探索では、各スーパーブロックで最良の層が探索され、選択される。図３及び図４に示すように、各候補はθ値（又はアーキテクチャパラメータ）を有し、その値はトレーニングプロセスを介して更新される。すなわち、ある候補が損失の低減に有意に寄与したと判定されると、その候補のθ値（候補層の重要性を表す）が誤差逆伝播法（back propagation）を通して増大され、逆もまた同様である。スーパーネットに基づく探索のひとつの繰り返しにおいてアーキテクチャパラメータθが更新された後、トレーニング画像（例えば、車の画像）を使用して重みパラメータが更新される。このプロセスが、ある程度のネットワーク安定度に達する（すなわち、ある程度のレイテンシ（推論時間）又は損失に達する）まで、又は所定数の繰り返しが完了するまで反復される。トレーニングが完了すると、最終的な（最適な）ネットワークアーキテクチャを生成するために、各スーパーブロックについて最良層（すなわち、最高のθ値を有する層）が選択される。
【０００８】
図５は、関連技術に係るサンプリング法の機能ブロック図である。図５を参照すると、このサンプリング法は繰り返しプロセスであり、そのプロセスによってコントローラがサンプルアーキテクチャ候補を（例えば層のセットからなる探索空間から）生成する。サンプルアーキテクチャは、トレーニングを介して最適化され、メトリクス値（例えば、精度、レイテンシ、モデルサイズなど）を得るために評価される。コントローラは次いで、前のサンプルの評価結果に基づき、強化学習、ベイズ最適化、進化的アルゴリズムなどの方法を用いて次のサンプルアーキテクチャ候補を生成する。このプロセスが、目標性能に達するまで（例えば、目標精度、目標レイテンシ、目標モードサイズなどが得られるまで）反復して行われる。
【０００９】
図５に例示するサンプリング法は、最も正確／最適なアーキテクチャをもたらし得るが、多くのトレーニングを伴うため、大量の候補にわたって行うには非常に時間がかかる。
【００１０】
ＮＡＳを手動で行う（関連技術のシステムでは一般的であるように）と、より高品質のアーキテクチャが確実に得られる場合があるが、非常に時間がかかり、ユーザに負担をかける。よって、ＮＡＳを自動化することが望ましい。
（【００１１】以降は省略されています）

関連特許