特許ウォッチ

公開番号2025081253
公報種別公開特許公報(A)
公開日2025-05-27
出願番号2024196434
出願日2024-11-11
発明の名称方法、システム、コンピュータプログラム(トレーニングデータ識別及びモデル選択)
出願人インターナショナル・ビジネス・マシーンズ・コーポレーション,INTERNATIONAL BUSINESS MACHINES CORPORATION
代理人個人,個人,弁理士法人RYUKA国際特許事務所
主分類G06F 40/44 20200101AFI20250520BHJP(計算;計数)
要約【課題】トレーニングデータ識別及びモデル選択のための技術が提供される。
【解決手段】一実施形態において、この技術は、第1のクエリで第1の言語学習モデルにクエリする段階、ここで第1の言語学習モデルは、第1のクエリに対するテキスト出力応答を生成する;テキスト出力応答のグルーピングを生成する段階、ここでグルーピングは、複数のn-グラムを含む;第1のトレーニングデータ及び第2のトレーニングデータに基づきグルーピングのソーススコアを生成する段階;及びソーススコアに基づき、第1のトレーニングデータを第1の言語学習モデルのトレーニングデータとして識別する段階を含む。
【選択図】図3
特許請求の範囲【請求項１】
第１のクエリで第１の言語学習モデルにクエリする段階、ここで前記第１の言語学習モデルは、前記第１のクエリに対するテキスト出力応答を生成する；
前記テキスト出力応答のグルーピングを生成する段階、ここで前記グルーピングは、複数のｎ－グラムを含む；
第１のトレーニングデータ及び第２のトレーニングデータに基づき前記グルーピングのソーススコアを生成する段階；及び
前記ソーススコアに基づき、前記第１のトレーニングデータを前記第１の言語学習モデルのトレーニングデータとして識別する段階
を備える方法。
続きを表示（約 2,400 文字）【請求項２】
クエリ、及び言語学習モデルのセットの対応する応答のレーティングに基づき、トレーニングデータのランク付けを生成する段階、ここで前記トレーニングデータのランク付けは、前記第１のトレーニングデータのランク付けを含む；
前記トレーニングデータのランク付け及び第２のクエリに基づき、前記言語学習モデルのセットのうちの第２の言語学習モデルを選択する段階；及び
前記第２の言語学習モデルに基づき、前記第２のクエリに対する応答を生成する段階
をさらに備える、請求項１に記載の方法。
【請求項３】
前記ソーススコアは、前記第１の言語学習モデルをトレーニングするために前記第１のトレーニングデータが使用された可能性を表し、前記ソーススコアを生成する段階は、
前記第１のトレーニングデータに基づき前記グルーピングの第１のスコアを生成する段階、ここで前記第１のトレーニングデータは、前記第１の言語学習モデルによって使用された前記トレーニングデータの潜在的なソースを表す；及び
前記第２のトレーニングデータに基づき前記グルーピングの第２のスコアを生成する段階、ここで前記第２のトレーニングデータは、所与の母集団の標準的な通信データを表す、
を含む、請求項１に記載の方法。
【請求項４】
前記ソーススコアは、スコアｓ＝最大（０，（スコア
１
－スコア
２
））として判断され、ここでスコア
Ｓ
は前記ソーススコアを表し、スコア
１
は前記グルーピングの前記第１のスコアを表し、スコア
２
は前記グルーピングの前記第２のスコアを表す、請求項３に記載の方法。
【請求項５】
前記第１のスコアは
JPEG
2025081253000012.jpg
51
170
として判断され、ここでスコア
１
は、前記第１のスコアを表し、ｎ－グラム
重複
は、前記ｎ－グラムのそれぞれ及び前記第１のトレーニングデータの重複の個数を表し、ｎ－グラム
一意
は、前記テキスト出力応答における一意のｎ－グラムの個数を表し、第１のトレーニングデータ
バイト
は、前記第１のトレーニングデータのサイズをバイトで表す、請求項４に記載の方法。
【請求項６】
前記第２のスコアは
JPEG
2025081253000013.jpg
51
170
として判断され、ここでスコア
２
は、前記第２のスコアを表し、ｎ－グラム
重複
は、前記ｎ－グラムのそれぞれ及び前記第２のトレーニングデータの重複の個数を表し、ｎ－グラム
一意
は、前記テキスト出力応答における一意のｎ－グラムの個数を表し、第２のトレーニングデータ
バイト
は、前記第２のトレーニングデータのサイズをバイトで表す、請求項４または５に記載の方法。
【請求項７】
プロセッサ；及び
前記プロセッサによって実行されたときに、
第１のクエリで第１の言語学習モデルにクエリする手順、ここで前記第１の言語学習モデルは、前記第１のクエリに対するテキスト出力応答を生成する；
前記テキスト出力応答のグルーピングを生成する手順、ここで前記グルーピングは、複数のｎ－グラムを含む；
第１のトレーニングデータ及び第２のトレーニングデータに基づき前記グルーピングのソーススコアを生成する手順；及び
前記ソーススコアに基づき、前記第１のトレーニングデータを前記第１の言語学習モデルのトレーニングデータとして識別する手順
を含む動作を行うアルゴリズム又はコンピュータ命令を有するメモリ又はストレージ
を備えるシステム。
【請求項８】
前記動作は、
クエリ、及び言語学習モデルのセットの対応する応答のレーティングに基づき、トレーニングデータのランク付けを生成する手順、ここで前記トレーニングデータのランク付けは、前記第１のトレーニングデータのランク付けを含む；
前記トレーニングデータのランク付け及び第２のクエリに基づき、前記言語学習モデルのセットのうちの第２の言語学習モデルを選択する手順；及び
前記第２の言語学習モデルに基づき、前記第２のクエリに対する応答を生成する手順
をさらに含む、請求項７に記載のシステム。
【請求項９】
前記ソーススコアは、前記第１の言語学習モデルをトレーニングするために前記第１のトレーニングデータが使用された可能性を表し、前記ソーススコアを生成する手順は、
前記第１のトレーニングデータに基づき前記グルーピングの第１のスコアを生成する手順、ここで前記第１のトレーニングデータは、前記第１の言語学習モデルによって使用された前記トレーニングデータの潜在的なソースを表す；及び
前記第２のトレーニングデータに基づき前記グルーピングの第２のスコアを生成する手順、ここで前記第２のトレーニングデータは、所与の母集団の標準的な通信データを表す、
を含む、請求項７に記載のシステム。
【請求項１０】
前記ソーススコアは、スコアｓ＝最大（０，（スコア
１
－スコア
２
））として判断され、ここでスコア
Ｓ
は前記ソーススコアを表し、スコア
１
は前記グルーピングの前記第１のスコアを表し、スコア
２
は前記グルーピングの前記第２のスコアを表す、請求項９に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、言語学習モデル（ｌａｎｇｕａｇｅｌｅａｒｎｉｎｇｍｏｄｅｌ：ＬＬＭ）に関し、より具体的には、ＬＬＭをトレーニングするために使用されるトレーニングデータを識別し、識別されたトレーニングデータに基づき使用するＬＬＭを選択することに関する。
続きを表示（約 2,300 文字）【発明の概要】
【発明が解決しようとする課題】
【０００２】
従来のＬＬＭは、トレーニングデータを分析して言語ベースのパターン、意味論、及びコンテキストの手がかりを学習することにより、人間の言語を理解及び再生するように設計されている。ＬＬＭは、ニューラルネットワークアーキテクチャ及び深層学習技術を用いてトレーニングデータを処理し、入力データ及び人間の言語の出力の間の相関関係又は因果関係を確立することができる。しかしＬＬＭは概して、それらがトレーニングされたデータセットを明らかにせず、それによりトレーニングデータに関連する潜在的な問題を識別する取り組みを困難にする。
【課題を解決するための手段】
【０００３】
本開示の一実施形態により、方法が提供される。
方法は、第１のクエリで第１の言語学習モデルにクエリする段階、ここで前記第１の言語学習モデルは、前記第１のクエリに対するテキスト出力応答を生成する；前記テキスト出力応答のグルーピングを生成する段階、ここで前記グルーピングは、複数のｎ－グラムを含む；第１のトレーニングデータ及び第２のトレーニングデータに基づき前記グルーピングのソーススコアを生成する段階；及び前記ソーススコアに基づき、前記第１のトレーニングデータを前記第１の言語学習モデルのトレーニングデータとして識別する段階を含む。
【０００４】
本開示の一実施形態により、システムが提供される。
システムは、プロセッサ；及び前記プロセッサによって実行されたときに、第１のクエリで第１の言語学習モデルにクエリする手順、ここで前記第１の言語学習モデルは、前記第１のクエリに対するテキスト出力応答を生成する；前記テキスト出力応答のグルーピングを生成する手順、ここで前記グルーピングは、複数のｎ－グラムを含む；第１のトレーニングデータ及び第２のトレーニングデータに基づき前記グルーピングのソーススコアを生成する手順；及び前記ソーススコアに基づき、前記第１のトレーニングデータを前記第１の言語学習モデルのトレーニングデータとして識別する手順を含む動作を行うアルゴリズム又はコンピュータ命令を有するメモリ又はストレージを含む。
【０００５】
本開示の一実施形態により、具現化されるコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードは、動作を行うために、１つ又は複数のコンピュータプロセッサによって実行可能である、コンピュータ可読記憶媒体が提供される。
動作は、第１のクエリで第１の言語学習モデルにクエリする手順、ここで前記第１の言語学習モデルは、前記第１のクエリに対するテキスト出力応答を生成する；前記テキスト出力応答のグルーピングを生成する手順、ここで前記グルーピングは、複数のｎ－グラムを含む；第１のトレーニングデータ及び第２のトレーニングデータに基づき前記グルーピングのソーススコアを生成する手順；及び前記ソーススコアに基づき、前記第１のトレーニングデータを前記第１の言語学習モデルのトレーニングデータとして識別する手順を含む。
【０００６】
本開示の一実施形態により、システムが提供される。
システムは、プロセッサ；及び前記プロセッサによって実行されたときに、ソーススコアに基づき、第１のトレーニングデータを第１の言語学習モデルのトレーニングデータとして識別する手順；クエリ、及び言語学習モデルのセットの対応する応答のレーティングに基づき、トレーニングデータのランク付けを生成する手順、ここで前記トレーニングデータのランク付けは、第１のトレーニングデータのランク付けを含む；前記トレーニングデータのランク付け及びクエリに基づき、前記言語学習モデルのセットのうちの第２の言語学習モデルを選択する手順；及び前記第２の言語学習モデルに基づき、前記クエリに対する応答を生成する手順を含む動作を行うアルゴリズム又はコンピュータ命令を有するメモリ又はストレージを備える。
【０００７】
本開示の一実施形態により、具現化されるコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードは、動作を行うために、１つ又は複数のコンピュータプロセッサによって実行可能である、コンピュータ可読記憶媒体が提供される。
動作は、ソーススコアに基づき、第１のトレーニングデータを第１の言語学習モデルのトレーニングデータとして識別する手順；クエリ、及び言語学習モデルのセットの対応する応答のレーティングに基づき、トレーニングデータのランク付けを生成する手順、ここで前記トレーニングデータのランク付けは、第１のトレーニングデータのランク付けを含む；前記トレーニングデータのランク付け及びクエリに基づき、前記言語学習モデルのセットのうちの第２の言語学習モデルを選択する手順；及び前記第２の言語学習モデルに基づき、前記クエリに対する応答を生成する手順を含む。
【図面の簡単な説明】
【０００８】
一実施形態による、コンピューティング環境を示す。
【０００９】
一実施形態による、トレーニングデータ識別及びモデル選択の環境を示す。
【００１０】
一実施形態による、言語学習モデルをトレーニングするために所与のトレーニングデータが使用されたことを判断する方法のフローチャートを示す。
（【００１１】以降は省略されています）

関連特許