特許ウォッチ

公開番号2025092576
公報種別公開特許公報(A)
公開日2025-06-19
出願番号2025052917
出願日2025-03-27
発明の名称大規模モデルに用いられるタスク実行方法、装置、機器、媒体及びプログラム
出願人ベイジンバイドゥネットコムサイエンステクノロジーカンパニーリミテッド,Beijing Baidu Netcom Science Technology Co., Ltd.
代理人弁理士法人深見特許事務所
主分類G06N 3/08 20230101AFI20250612BHJP(計算;計数)
要約【課題】本開示は、大規模モデルに用いられるタスク実行方法、装置、電子機器、記憶媒体及びプログラムを提供する。
【解決手段】本開示は、大規模モデルに用いられるタスク実行方法を開示し、人工知能技術分野に関し、特に深層学習技術分野及び大規模モデル技術分野に関する。具体的な実現方式は、目標処理すべき特徴に基づいて、目標計算ユニットによってモーダルルートタスクを実行し、モーダル認識結果を取得し、目標処理すべき特徴及び目標分野ゲーティングモデルパラメータに基づいて、目標計算ユニットによって分野ルートタスクを実行し、分野認識結果を取得し、目標処理すべき特徴及び目標フィードフォワードタスクモデルパラメータに基づいて、目標計算ユニットによってフィードフォワードタスクを実行し、タスク実行結果を取得する。本開示は、大規模モデルに用いられるタスク実行方法、装置、電子機器、記憶媒体及びプログラムをさらに提供する。
【選択図】図2
特許請求の範囲【請求項１】
大規模モデルに用いられるタスク実行方法であって、
目標処理すべき特徴に基づいて、目標計算ユニットによってモーダルルートタスクを実行し、モーダル認識結果を得ることと、
前記目標処理すべき特徴及び目標分野ゲーティングモデルパラメータに基づいて、前記目標計算ユニットによって分野ルートタスクを実行して、分野認識結果を得ることであって、前記目標分野ゲーティングモデルパラメータは目標記憶ユニットから読み取られた前記モーダル認識結果に対応する分野ゲーティングモデルパラメータであることと、
前記目標処理すべき特徴及び目標フィードフォワードタスクモデルパラメータに基づいて、前記目標計算ユニットによってフィードフォワードタスクを実行し、タスク実行結果を取得することであって、前記目標フィードフォワードタスクモデルパラメータは、前記目標記憶ユニットから読み取られた前記分野認識結果に対応するフィードフォワードタスクモデルパラメータであることと、を含む
タスク実行方法。
続きを表示（約 2,200 文字）【請求項２】
前記モーダル認識結果に基づいて、前記目標記憶ユニットに記憶された複数の分野ゲーティングモデルパラメータから前記目標分野ゲーティングモデルパラメータを取得することをさらに含み、ここで、前記複数の分野ゲーティングモデルパラメータ同士の対応するモーダルのタイプが異なる
請求項１に記載の方法。
【請求項３】
前記分野認識結果に基づいて、前記目標記憶ユニットに記憶された複数のフィードフォワードタスクモデルパラメータから前記目標フィードフォワードタスクモデルパラメータを取得することをさらに含み、ここで、前記複数のフィードフォワードタスクモデルパラメータ同士の対応する分野のタイプが異なる
請求項１または２に記載の方法。
【請求項４】
前記複数のフィードフォワードタスクモデルパラメータは、以下のようにして得られる：
サンプルセットと事前トレーニング大規模モデルに基づいて、複数の目標圧縮大規模モデルを取得し、前記サンプルセットは分野のタイプが異なる複数のサンプルサブセットを含み、前記事前トレーニング大規模モデルは、前記フィードフォワードタスクモデルパラメータの機能と同じ圧縮すべきモデルパラメータを含み、
前記複数の目標圧縮大規模モデルに基づいて、前記複数のフィードフォワードタスクモデルパラメータを得る
請求項１または２に記載の方法。
【請求項５】
サンプルセットと事前トレーニング大規模モデルに基づいて、複数の目標圧縮大規模モデルを取得することは、
各前記サンプルサブセットに対して、前記圧縮すべきモデルパラメータの裁断方式を指示するための裁断行列と、前記事前トレーニング大規模モデルに基づいて、圧縮大規模モデルを得ることと、
前記サンプルサブセット、前記事前トレーニング大規模モデル及び前記圧縮大規模モデルに基づいて前記目標圧縮大規模モデルを得ることと、を含む
請求項４に記載の方法。
【請求項６】
前記サンプルサブセット、前記事前トレーニング大規模モデル及び前記圧縮大規模モデルに基づいて、前記目標圧縮大規模モデルを取得することは、
前記サンプルサブセットに基づいて、前記事前トレーニング大規模モデルの参考推論能力と前記圧縮大規模モデルの検証推論能力を決定することと、
前記検証推論能力が前記参考推論能力にマッチングし、且つ前記圧縮大規模モデルのスパース度が所定のスパース度を満たす場合、前記圧縮大規模モデルに基づいて、前記目標圧縮大規模モデルを決定することと、を含む
請求項５に記載の方法。
【請求項７】
前記フィードフォワードタスクモデルパラメータは、以下のようにして得られる：
サンプルセットのサンプルデータセットと初期大規模モデルに基づいて、モデル出力結果セットを取得し、ここで、前記サンプルセットは、前記サンプルデータセットにマッチングするタグセットをさらに含み、前記サンプルデータセットは、領域タイプが異なる複数のサンプルデータサブセットを含み、前記初期大規模モデルは、前記フィードフォワードタスクモデルパラメータの機能と同じモデルパラメータを含み、
前記モデル出力結果セット、前記タグセットに基づいて、複数の損失値を取得し、前記複数の損失値は、前記複数のサンプルデータサブセットと一対一で対応し、
前記複数の損失値と前記初期大規模モデルに基づいて、前記フィードフォワードタスクモデルパラメータを得る
請求項１または２に記載の方法。
【請求項８】
前記複数の損失値と前記初期大規模モデルに基づいて、前記フィードフォワードタスクモデルパラメータを得ることは、
前記複数の損失値に基づいて、目標損失値を取得することと、
前記目標損失値と前記初期大規模モデルに基づいて、前記フィードフォワードタスクモデルパラメータを得ることと、を含む
請求項７に記載の方法。
【請求項９】
前記初期大規模モデルは、以下の方式により得られる：
事前トレーニング大規模モデル、複数の初期分野ゲーティングモデルパラメータ、複数の初期フィードフォワードタスクモデルパラメータ及び初期モーダルゲーティングモデルパラメータに基づいて、前記初期大規模モデルを取得し、ここで、前記初期モーダルゲーティングモデルパラメータは、前記モーダルルートタスクを実行するためのモデルパラメータ機能と同じであり、各前記初期分野ゲーティングモデルパラメータは、前記分野ゲーティングモデルパラメータの機能と同じであり、各前記初期フィードフォワードタスクモデルパラメータは、前記フィードフォワードタスクモデルパラメータの機能と同じである
請求項７に記載の方法。
【請求項１０】
前記モーダルのタイプは、画像、テキスト、オーディオのうちの少なくとも１つを含み、
前記分野のタイプは、翻訳、質問応答、検索、テキスト生成、意図認識のうちの少なくとも１つを含む
請求項１または２に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、人工知能技術分野に関し、特に、深層学習技術分野及び大規模モデル技術分野に関する。具体的には、大規模モデルに用いられるタスク実行方法、装置、電子機器、記憶媒体及びプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
人工知能技術は、総合学科であり、係る分野が広く、ハードウェアレベルの技術もソフトウェアレベルの技術もある。一般に、人工知能技術は、大規模モデル技術を含む。大規模モデル技術は、人工知能の様々な分野に広く適用できる。例えば、テキスト処理、語義理解、機械翻訳、マンマシンインタラクションなどである。大規模モデルによって各異なる分野のタスクを実行するには、時効、コストなどの要素を総合的に考慮する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本開示は、大規模モデルに用いられるタスク実行方法、装置、電子機器、記憶媒体及びプログラムを提供する。
【課題を解決するための手段】
【０００４】
本開示の一態様によれば、大規模モデルに用いられるタスク実行方法を提供し、前記タスク実行方法は、目標処理すべき特徴に基づいて、目標計算ユニットによってモーダルルートタスクを実行し、モーダル認識結果を得ることと、前記目標処理すべき特徴及び目標分野ゲーティングモデルパラメータに基づいて、前記目標計算ユニットによって分野ルートタスクを実行して、分野認識結果を得ることであって、前記目標分野ゲーティングモデルパラメータは目標記憶ユニットから読み取られた前記モーダル認識結果に対応する分野ゲーティングモデルパラメータ（field gating model parameter）であることと、前記目標処理すべき特徴及び目標フィードフォワードタスクモデルパラメータに基づいて、前記目標計算ユニットによってフィードフォワードタスクを実行し、タスク実行結果を取得することであって、前記目標フィードフォワードタスクモデルパラメータは、前記目標記憶ユニットから読み取られた前記分野認識結果に対応するフィードフォワードタスクモデルパラメータであることと、を含む。
【０００５】
本開示の別の態様によれば、大規模モデルに用いられるタスク実行装置を提供し、複数の分野ゲーティングモデルパラメータ及び複数のフィードフォワードタスクモデルパラメータを記憶する目標記憶ユニットと、目標計算ユニットと、を含み、前記目標計算ユニットは以下のように構成される：目標処理すべき特徴に基づいて、目標計算ユニットによってモーダルルートタスクを実行し、モーダル認識結果を取得し、前記目標処理すべき特徴及び目標分野ゲーティングモデルパラメータに基づいて、前記目標計算ユニットによって分野ルートタスクを実行して、分野認識結果を取得し、前記目標分野ゲーティングモデルパラメータは前記目標記憶ユニットから読み取られた前記モーダル認識結果に対応する分野ゲーティングモデルパラメータであり、前記目標処理すべき特徴及び目標フィードフォワードタスクモデルパラメータに基づいて、前記目標計算ユニットによってフィードフォワードタスクを実行し、タスク実行結果を取得し、前記目標フィードフォワードタスクモデルパラメータは、前記目標記憶ユニットから読み取られた前記分野認識結果に対応するフィードフォワードタスクモデルパラメータである。
【０００６】
本開示の別の態様によれば、電子機器を提供し、前記電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されたメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されて、前記少なくとも１つのプロセッサが上記の方法を実行することができる。
【０００７】
本開示の別の態様によれば、上記の方法をコンピュータに実行させるためのコンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体を提供する。
【０００８】
本開示の別の態様によれば、プロセッサによって実行されると、上記の方法を実現するコンピュータプログラムを提供する。
【０００９】
本部分に記載された内容は、本開示の実施例のキー又は重要な特徴を識別するためのものではなく、本開示の範囲を制限するものでもないことを理解されたい。本開示のその他の特徴は、以下の明細書によって容易に理解されるであろう。
【００１０】
図面は、本発明をより良く理解するためのものであり、本開示を限定するものではない。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許