特許ウォッチ

公開番号2024150733
公報種別公開特許公報(A)
公開日2024-10-23
出願番号2024125931
出願日2024-08-01
発明の名称大規模言語モデルに用いられるタスク実行方法、装置、機器及び記憶媒体
出願人ベイジンバイドゥネットコムサイエンステクノロジーカンパニーリミテッド,Beijing Baidu Netcom Science Technology Co., Ltd.
代理人個人,個人
主分類G06N 20/00 20190101AFI20241016BHJP(計算;計数)
要約【課題】大規模言語モデルに用いられるタスク実行方法、装置、機器及び記憶媒体を提供する。
【解決手段】方法は、処理すべき特徴に対応する、処理すべき特徴のマスク位置を表すスパース表現に基づいて、判定ユニットによって複数の処理すべきアテンションタスクから、処理すべき特徴の非完全マスク領域に対応するタスクである目標アテンションタスクを決定し、マスク位置は、処理すべき特徴に対応するマスク行列における少なくとも2つの互いに交差しない区間内のマスク端点位置を表し、計算ユニットによって目標アテンションタスクを実行し、アテンション特徴を取得する。
【選択図】図2
特許請求の範囲【請求項１】
処理すべき特徴に対応する、前記処理すべき特徴のマスク位置を表すスパース表現に基づいて、判定ユニットによって複数の処理すべきアテンションタスクから、前記処理すべき特徴の非完全マスク領域に対応するタスクである目標アテンションタスクを決定し、前記マスク位置は、前記処理すべき特徴に対応するマスク行列における少なくとも２つの互いに交差しない区間内のマスク端点位置を表すことと、
計算ユニットによって前記目標アテンションタスクを実行し、アテンション特徴を得ることと、を含む
大規模言語モデルに用いられるタスク実行方法。
続きを表示（約 2,200 文字）【請求項２】
処理すべき特徴に対応するスパース表現に基づいて、判定ユニットによって複数の処理すべきアテンションタスクから目標アテンションタスクを決定することは、
処理すべき特徴に対応するスパース表現に基づいて、前記複数の処理すべきアテンションタスクに対応するマスク区間を決定することと、
前記マスク区間に基づいて、前記判定ユニットにより複数の処理すべきアテンションタスクから目標アテンションタスクを決定することと、を含む
請求項１に記載の方法。
【請求項３】
処理すべき特徴に対応するスパース表現に基づいて、前記複数の処理すべきアテンションタスクに対応するマスク区間を決定することは、
処理すべきアテンションタスクごとに、処理すべき特徴に対応するスパース表現に基づいて、各処理すべきアテンションタスクに対応するマスク行列における複数のマスク端点位置を決定することと、
前記複数のマスク端点位置に基づいて、各処理すべきアテンションタスクに対応するマスク区間を決定することと、を含む
請求項２に記載の方法。
【請求項４】
前記マスク位置は、前記処理すべき特徴に対応するマスク行列における少なくとも２つの互いに交差しない区間内の各列要素の開始マスク行及び終了マスク行であり、
処理すべき特徴に対応するスパース表現に基づいて、各処理すべきアテンションタスクに対応するマスク行列におけるマスク端点位置を決定することは、
処理すべき特徴に対応するスパース表現に基づいて、各処理すべきアテンションタスクに対応するマスク行列における各列要素の開始マスク行及び終了マスク行を決定することを含む
請求項３に記載の方法。
【請求項５】
前記複数のマスク端点位置に基づいて、各処理すべきアテンションタスクに対応するマスク区間を決定することは、
前記各列要素の終了マスク行を前記マスク区間の終了位置として決定することと、
前記各列の要素の開始マスク行を前記マスク区間の開始位置として決定することと、を含む
請求項４に記載の方法。
【請求項６】
前記マスク位置は、前記処理すべき特徴に対応するマスク行列における少なくとも２つの互いに交差しない区間内の各行要素の開始マスク列及び終了マスク列であり、
処理すべき特徴に対応するスパース表現に基づいて、各処理すべきアテンションタスクに対応するマスク行列におけるマスク端点位置を決定することは、
処理すべき特徴に対応するスパース表現に基づいて、各処理すべきアテンションタスクに対応するマスク行列における各行要素の開始マスク列及び終了マスク列を決定することを含む
請求項３に記載の方法。
【請求項７】
前記複数のマスク端点位置に基づいて、各処理すべきアテンションタスクに対応するマスク区間を決定することは、
前記各行要素の終了マスク列を前記マスク区間の終了位置として決定することと、
前記各行要素の開始マスク列を前記マスク区間の開始位置として決定することと、を含む
請求項６に記載の方法。
【請求項８】
前記マスク区間に基づいて、前記判定ユニットによって複数の処理すべきアテンションタスクから目標アテンションタスクを決定することは、
処理すべきアテンションタスクに対応する中間特徴行列における要素端点位置が前記マスク区間内にないことに応答して、前記判定ユニットによって前記処理すべきアテンションタスクを前記目標アテンションタスクとして決定することを含み、
前記中間特徴行列は、前記処理すべきアテンションタスクに対応するクエリ行列及びキー行列に基づいて取得される
請求項２～５のいずれか一項に記載の方法。
【請求項９】
前記マスク区間は、マスク終止位置及びマスク開始位置を含み、
処理すべきアテンションタスクに対応する中間特徴行列における要素端点位置が前記マスク区間内にないことに応答して、前記判定ユニットにより前記処理すべきアテンションタスクを前記目標アテンションタスクとして決定することは、
処理すべきアテンションタスクに対応する中間特徴行列における要素端点位置が前記マスク終止位置より大きい又は前記マスク開始位置より小さいことに応答して、前記判定ユニットにより前記処理すべきアテンションタスクを前記目標アテンションタスクとして決定することを含む
請求項８に記載の方法。
【請求項１０】
計算ユニットによって前記目標アテンションタスクを実行し、アテンション特徴を得ることは、
計算ユニットにより、目標記憶ユニットから前記目標アテンションタスクに対応する少なくとも１つのクエリ行列、少なくとも１つのキー行列、少なくとも１つの値行列及び少なくとも１つのマスク行列を読み取ることと、
前記少なくとも１つの前記クエリ行列、前記少なくとも１つの前記キー行列、前記少なくとも１つの前記値行列及び前記少なくとも１つの前記マスク行列に基づいて、目標計算ユニットによって前記目標アテンションタスクを実行し、前記アテンション特徴を得ることと、を含む
請求項１～７のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、人工知能技術分野に関し、特に深層学習、大規模言語モデル、自然言語処理、コンピュータビジョン等の技術分野に関し、特に、大規模言語モデルに用いられるタスク実行方法、装置、機器及び記憶媒体に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
大規模言語モデル（略称：ＬＬＭ、英語：ＬａｒｇｅＬａｎｇｕａｇｅＭｏｄｅｌ）とは、大量のデータで訓練された高度な人工知能アルゴリズムを指す。１０００億以上のパラメータを超える自然言語処理システムは、コンテンツ生成、文字要約、チャットボット、プログラムコードの作成、タンパク質構造や生体分子の属性などの客観化を予測するＡＩ応用プログラムに適用できる。
【０００３】
現在の大規模言語モデルは主にＴｒａｎｓｆｏｒｍｅｒアーキテクチャを利用してアテンションメカニズムに基づく特徴処理プロセスを実現する。
【発明の概要】
【０００４】
本開示は、大規模言語モデルに用いられるタスク実行方法、装置、機器及び記憶媒体を提供する。
【０００５】
本開示の一態様によれば、大規模言語モデルに用いられるタスク実行方法を提供し、処理すべき特徴に対応する、処理すべき特徴のマスク位置を表すスパース表現に基づいて、判定ユニットによって複数の処理すべきアテンションタスクから、処理すべき特徴の非完全マスク領域に対応するタスクである目標アテンションタスクを決定し、マスク位置は、処理すべき特徴に対応するマスク行列における少なくとも２つの互いに交差しない区間内のマスク端点位置を表すことと、計算ユニットによって目標アテンションタスクを実行し、アテンション特徴を得ることと、を含む。
【０００６】
本開示の別の態様によれば、判定ユニットと計算ユニットとを含む、大規模言語モデルに用いられるタスク実行装置を提供する。判定ユニットは、処理すべき特徴に対応する、処理すべき特徴のマスク位置を表すスパース表現に基づいて、複数の処理すべきアテンションタスクから、処理すべき特徴の非完全マスク領域に対応するタスクである目標アテンションタスクを決定し、マスク位置が処理すべき特徴に対応するマスク行列における少なくとも２つの互いに交差しない区間内のマスク端点位置を表す。計算ユニットは、目標アテンションタスクを実行し、アテンション特徴を取得する。
【０００７】
本開示の別の態様によれば、大規模言語モデルに用いられるタスク実行機器が提供され、当該機器は、本開示に係る大規模言語モデルに用いられるタスク実行装置を含む。
【０００８】
本開示の別の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されるメモリとを含み、メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、命令は、少なくとも１つのプロセッサによって実行され、少なくとも１つのプロセッサが本開示に係る方法を実行できるようにする電子機器を提供する。
【０００９】
本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体を提供し、当該コンピュータ命令は、コンピュータに本開示に係る方法を実行させる。
【００１０】
本開示の別の態様によれば、プロセッサによって実行されると、本開示に係る方法を実現するコンピュータプログラムが提供される。
（【００１１】以降は省略されています）

関連特許