特許ウォッチ

公開番号2025044907
公報種別公開特許公報(A)
公開日2025-04-02
出願番号2023152727
出願日2023-09-20
発明の名称学習方法、推論方法、学習装置、推論装置及びプログラム
出願人日本電信電話株式会社,国立大学法人東京大学
代理人弁理士法人ITOH,個人,個人,個人
主分類G06F 16/33 20250101AFI20250326BHJP(計算;計数)
要約【課題】トークンの重要度についてドメインの違いに応じた値を算出可能とすること。
【解決手段】第1のドメインのテキストの集合に含まれる各トークンの出現確率を成分とする出現確率ベクトルを計算し、或るクエリに対応するテキストを前記集合から検索する場合の正解テキスト及び不正解テキストそれぞれについてベクトル系列を計算し、前記正解テキスト及び前記不正解テキストそれぞれについて、事前学習済み言語モデルにおける各トークンの重要度を成分とするスパースベクトルを、前記ベクトル系列及び前記出現確率ベクトルに基づいて計算し、前記正解テキスト及び前記不正解テキストそれぞれについて、前記スパースベクトルと前記クエリとのマッチングスコアを計算し、前記正解テキスト及び前記不正解テキストそれぞれのマッチングスコアに基づいて、前記ベクトル系列及び前記スパースベクトルの計算で用いる事前学習済み言語モデルのパラメータを更新する。
【選択図】図2
特許請求の範囲【請求項１】
第１のドメインのテキストの集合に含まれる各トークンの出現確率を成分とする出現確率ベクトルを計算するトークン確率計算手順と、
或るクエリに対応するテキストを前記集合から検索する場合の正解テキスト及び不正解テキストそれぞれについてベクトル系列を計算する言語符号化手順と、
前記正解テキスト及び前記不正解テキストそれぞれについて、事前学習済み言語モデルにおける各トークンの重要度を成分とするスパースベクトルを、前記ベクトル系列及び前記出現確率ベクトルに基づいて計算するベクトル計算手順と、
前記正解テキスト及び前記不正解テキストそれぞれについて、前記スパースベクトルと前記クエリとのマッチングスコアを計算するマッチング計算手順と、
前記正解テキスト及び前記不正解テキストそれぞれのマッチングスコアに基づいて、前記言語符号化手順及び前記ベクトル計算手順が用いる事前学習済み言語モデルのパラメータを更新するパラメータ更新手順と、
をコンピュータが実行することを特徴とする学習方法。
続きを表示（約 2,600 文字）【請求項２】
前記ベクトル計算手順は、テキストｓの前記ベクトル系列のうち前記事前学習済み言語モデルにおいてトークンｖに対応するベクトルをＨ（ｓ）
ｉ
とし、前記事前学習済み言語モデルのパラメータである前記トークンｖの単語埋め込みをｅ
ｖ
とし、前記出現確率ベクトルをｐ
ｄ
とした場合に、前記スパースベクトルのうちトークンｖに対応する成分を、
TIFF
2025044907000006.tif
29
169
に基づいて計算する、
ことを特徴とする請求項１記載の学習方法。
【請求項３】
第２のドメインのテキストの集合に含まれる各トークンの出現確率を成分とする出現確率ベクトルを計算するトークン確率計算手順と、
それぞれの前記テキストについてベクトル系列を計算する言語符号化手順と、
それぞれの前記テキストについて、事前学習済み言語モデルにおける各トークンの重要度を成分とするスパースベクトルを、前記ベクトル系列及び前記出現確率ベクトルに基づいて計算するベクトル計算手順と、
前記テキストごとの前記スパースベクトルを転置インデックステーブルに保存する転置インデックス生成手順と、
をコンピュータが実行し、
前記言語符号化手順及び前記ベクトル計算手順は、請求項１記載の学習方法によってパラメータが更新された事前学習済み言語モデルを利用する、
ことを特徴とする推論方法。
【請求項４】
入力されたクエリと、前記転置インデックステーブルに保存されたスパースベクトルとのマッチングスコアを計算するマッチング計算手順と、
前記マッチングスコアに基づいて前記スパースベクトルに対応する前記テキストを出力する検索手順と、
をコンピュータが実行することを特徴とする請求項３記載の推論方法。
【請求項５】
第１のドメインのテキストの集合に含まれる各トークンの出現確率を成分とする出現確率ベクトルを計算するように構成されているトークン確率計算部と、
或るクエリに対応するテキストを前記集合から検索する場合の正解テキスト及び不正解テキストそれぞれについてベクトル系列を計算するように構成されている言語符号化部と、
前記正解テキスト及び前記不正解テキストそれぞれについて、事前学習済み言語モデルにおける各トークンの重要度を成分とするスパースベクトルを、前記ベクトル系列及び前記出現確率ベクトルに基づいて計算するように構成されているベクトル計算部と、
前記正解テキスト及び前記不正解テキストそれぞれについて、前記スパースベクトルと前記クエリとのマッチングスコアを計算するように構成されているマッチング計算部と、
前記正解テキスト及び前記不正解テキストそれぞれのマッチングスコアに基づいて、前記言語符号化部及び前記ベクトル計算部が用いる事前学習済み言語モデルのパラメータを更新するように構成されているパラメータ更新部と、
を有することを特徴とする学習装置。
【請求項６】
第２のドメインのテキストの集合に含まれる各トークンの出現確率を成分とする出現確率ベクトルを計算するように構成されているトークン確率計算部と、
それぞれの前記テキストについてベクトル系列を計算するように構成されている言語符号化部と、
それぞれの前記テキストについて、事前学習済み言語モデルにおける各トークンの重要度を成分とするスパースベクトルを、前記ベクトル系列及び前記出現確率ベクトルに基づいて計算するように構成されているベクトル計算部と、
前記テキストごとの前記スパースベクトルを転置インデックステーブルに保存するように構成されている転置インデックス生成部と、
を有し、
前記言語符号化部及び前記ベクトル計算部は、請求項５記載の学習装置によってパラメータが更新された事前学習済み言語モデルを利用するように構成されている、
ことを特徴とする推論装置。
【請求項７】
第１のドメインのテキストの集合に含まれる各トークンの出現確率を成分とする出現確率ベクトルを計算するトークン確率計算手順と、
或るクエリに対応するテキストを前記集合から検索する場合の正解テキスト及び不正解テキストそれぞれについてベクトル系列を計算する言語符号化手順と、
前記正解テキスト及び前記不正解テキストそれぞれについて、事前学習済み言語モデルにおける各トークンの重要度を成分とするスパースベクトルを、前記ベクトル系列及び前記出現確率ベクトルに基づいて計算するベクトル計算手順と、
前記正解テキスト及び前記不正解テキストそれぞれについて、前記スパースベクトルと前記クエリとのマッチングスコアを計算するマッチング計算手順と、
前記正解テキスト及び前記不正解テキストそれぞれのマッチングスコアに基づいて、前記言語符号化手順及び前記ベクトル計算手順が用いる事前学習済み言語モデルのパラメータを更新するパラメータ更新手順と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
第２のドメインのテキストの集合に含まれる各トークンの出現確率を成分とする出現確率ベクトルを計算するトークン確率計算手順と、
それぞれの前記テキストについてベクトル系列を計算する言語符号化手順と、
それぞれの前記テキストについて、事前学習済み言語モデルにおける各トークンの重要度を成分とするスパースベクトルを、前記ベクトル系列及び前記出現確率ベクトルに基づいて計算するベクトル計算手順と、
前記テキストごとの前記スパースベクトルを転置インデックステーブルに保存する転置インデックス生成手順と、
をコンピュータに実行させ、
前記言語符号化手順及び前記ベクトル計算手順は、請求項１記載の学習方法によってパラメータが更新された事前学習済み言語モデルを利用する、
ことを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習方法、推論方法、学習装置、推論装置及びプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
自然言語でのクエリを入力とし、検索対象のテキストの集合であるコーパスからクエリに関連するテキストを規定の数だけ出力するタスクを検索タスクという。
【０００３】
非特許文献１のSPARTAは、任意の検索タスクに適用可能であり、特に訓練時と推論時のコーパスのドメイン（分野・話題など）が違う場合に注目している。訓練時にはサービスプロバイダが一般的なドメイン（ソースドメイン）のデータを用いてモデルを訓練する。モデルのユーザは、十分な訓練データを持たない、コーパスの機密性が高くモデルの訓練のためにコーパスをクラウドに置きたくない、などの理由から、モデルの訓練を行わない。ユーザが保有するコーパス（ターゲットドメイン）は推論時にのみ検索対象とされる。
【０００４】
SPARTAは、BERT（非特許文献２）を使ってコーパス中の各テキストｓをスパースなベクトルに変換する。BERTの語彙数をＶとした場合スパースベクトルはＶ次元のベクトルとなる。スパースベクトルの第ｖ成分は語彙中のｖ番目のトークンに対応する。テキストｓにおけるトークンｖの重要度がスパースベクトルの第ｖ成分の値となる。
【０００５】
スパースベクトルを転置インデックスとして保存しておくことで、クエリが与えられたときに高速に検索することが可能である。なお、転置インデックスを利用した高速検索には様々な既存研究及び実装がある。
【０００６】
ｉをテキストｓにおける位置インデックス、Ｈ（ｓ）
ｉ
をテキストｓのｉ番目のトークンについてのBERTの出力、ｖを語彙Ｖ中のトークン、ｅ
ｖ
をBERTにおけるトークンｖの単語埋め込みとすると、前述のスパースベクトルの第ｖ成分は以下の式（１）で定義できる。
【０００７】
TIFF
2025044907000002.tif
29
169
推論時はｆ（ｖ，ｓ）のうち値の大きいＫ個の成分のみを保存することでスパース性を保証する。
【０００８】
クエリｑが入力されたときのクエリｑとテキストｓのマッチングスコアは以下の式（２）で定義できる。
【０００９】
TIFF
2025044907000003.tif
33
169
式（１）はBERTの出力に基づいて計算した、テキストｓにおけるトークンｖの重要度と解釈できる。そのため、式（１）は、ソースドメインにおけるトークンｖの珍しさを反映していることになる。すなわち、式（１）は、一般的なトークン（例えば、てにをは等の頻出語）には小さい値を割り当て、珍しいトークン（例えば、固有名詞等）に対して大きい値を割り当てる。
【先行技術文献】
【非特許文献】
【００１０】
Tiancheng Zhao, Xiaopeng Lu, and Kyusong Lee、"SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval"、In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Association for Computational Linguistics, 565-575、［online］、インターネット＜ＵＲＬ：https://doi.org/10.18653/v1/2021.naaclmain.47＞
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova、"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"、In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Association for Computational Linguistics, 4171-4186、［online］、インターネット＜ＵＲＬ：https: //doi.org/10.18653/v1/N19-1423＞
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許