特許ウォッチ

公開番号2025068869
公報種別公開特許公報(A)
公開日2025-04-30
出願番号2023178948
出願日2023-10-17
発明の名称評価装置、評価方法、およびプログラム
出願人日本電気株式会社
代理人個人,弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
主分類G06N 3/08 20230101AFI20250422BHJP(計算;計数)
要約【課題】言語処理モデルの性能が良くない場合の原因を絞り込む評価装置を提供する。
【解決手段】評価装置は、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得部と、複数の前記エンベディングのクラスタリングを行うクラスタリング部と、複数の訓練データ片のそれぞれに含まれるラベルを参照して、クラスタリングの結果を評価した評価指標を算出する算出部と、評価指標に基づいて、エンベディング層の品質を評価する評価部と、を備える。これにより、機械学習された言語処理モデルの性能を最適化することができる。
【選択図】図1
特許請求の範囲【請求項１】
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングのクラスタリングを行うクラスタリング手段と、
前記複数の訓練データ片のそれぞれに含まれるラベルを参照して、前記クラスタリングの結果を評価した評価指標を算出する算出手段と、
前記評価指標に基づいて、前記エンベディング層の品質を評価する評価手段と、
を備えている、評価装置。
続きを表示（約 1,400 文字）【請求項２】
前記クラスタリング手段は、クラスタ数を異ならせて前記クラスタリングを複数回行い、
前記評価手段は、複数回行った前記クラスタリングそれぞれの結果を評価した前記評価指標に基づいて、前記エンベディング層の品質を評価する、
請求項１に記載の評価装置。
【請求項３】
前記算出手段は、前記クラスタリングの結果が示す複数のクラスタのうち、同一のラベルを含む複数の訓練データ片から生成された複数のエンベディングにより当該クラスタが占有されているとみなすための占有条件を満たすクラスタを参照して、前記評価指標を算出する、
請求項１または２に記載の評価装置。
【請求項４】
前記算出手段は、前記クラスタリングの結果が示す複数のクラスタのそれぞれにおいて、当該クラスタから除去せず残存させるとみなすための残存条件を満たすラベルを含む複数の訓練データ片から生成された１または複数のエンベディングを参照して、前記評価指標を算出する、
請求項１または２に記載の評価装置。
【請求項５】
前記算出手段は、（１）複数の訓練データ片のうち同一のラベルを含む訓練データ片の個数と、（２）前記クラスタリングの結果が示す複数のクラスタのうち、当該ラベルを含む訓練データ片から生成されたエンベディングを少なくとも１つ含む１または複数のクラスタに含まれるエンベディングの個数と、の比較結果を参照して、前記評価指標を算出する、
請求項１または２に記載の評価装置。
【請求項６】
前記エンベディング層の品質の評価結果、前記クラスタリングの結果、および前記評価指標の一部または全部を出力する出力手段、
をさらに備えている、請求項１または２に記載の評価装置。
【請求項７】
少なくとも１つのプロセッサが、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得処理と、
前記少なくとも１つのプロセッサが、複数の前記エンベディングのクラスタリングを行うクラスタリング処理と、
前記少なくとも１つのプロセッサが、前記複数の訓練データ片のそれぞれに含まれるラベルを参照して、前記クラスタリングの結果を評価した評価指標を算出する算出処理と、
前記少なくとも１つのプロセッサが、前記評価指標に基づいて、前記エンベディング層の品質を評価する評価処理と、
を含んでいる、評価方法。
【請求項８】
評価装置としてコンピュータを機能させるプログラムであって、
前記コンピュータを、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングのクラスタリングを行うクラスタリング手段と、
前記複数の訓練データ片のそれぞれに含まれるラベルを参照して、前記クラスタリングの結果を評価した評価指標を算出する算出手段と、
前記評価指標に基づいて、前記エンベディング層の品質を評価する評価手段と、
として機能させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、言語処理モデルの性能を評価する技術に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年、汎用的な自然言語処理モデルを事前学習モデルとしてファインチューニングすることにより、所望の言語処理タスクを行う言語処理モデルを生成することが知られている。このような言語処理モデルの性能は、例えば、当該言語処理モデルの生成に用いられた訓練データ、事前学習モデル、学習アルゴリズム、当該言語処理モデルにおいて採用されるハイパーパラメータ等に影響される。このような言語処理モデルの性能の改善を目的として、例えば、ハイパーパラメータを調整するためにグリッドサーチ等の技術を用いることが知られている。また、例えば、特許文献１には、訓練データの品質を改善するための技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－１９３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、言語処理モデルの性能が良くない場合に、その主な原因が、上述したような訓練データ、事前学習モデル、学習アルゴリズム、ハイパーパラメータ等の何れであるのかを絞り込むことは難しい。特許文献１に記載された技術は、その主な原因が訓練データの品質にあることが分かっている場合には有効であるが、そうでない場合には、訓練データの品質を改善しても言語処理モデルの性能を改善できない可能性がある。そのため、言語処理モデルの性能が良くない場合の原因を絞り込むことが重要である。
【０００５】
本開示は、上記の問題に鑑みてなされたものであり、その一例示的目的は、言語処理モデルの性能が良くない場合の原因を絞り込む技術を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一例示的側面に係る評価装置は、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、複数の前記エンベディングのクラスタリングを行うクラスタリング手段と、前記複数の訓練データ片のそれぞれに含まれるラベルを参照して、前記クラスタリングの結果を評価した評価指標を算出する算出手段と、前記評価指標に基づいて、前記エンベディング層の品質を評価する評価手段と、を備えている。
【０００７】
本開示の一例示的側面に係る評価方法は、少なくとも１つのプロセッサが、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得処理と、前記少なくとも１つのプロセッサが、複数の前記エンベディングのクラスタリングを行うクラスタリング処理と、前記少なくとも１つのプロセッサが、前記複数の訓練データ片のそれぞれに含まれるラベルを参照して、前記クラスタリングの結果を評価した評価指標を算出する算出処理と、前記少なくとも１つのプロセッサが、前記評価指標に基づいて、前記エンベディング層の品質を評価する評価処理と、を含んでいる。
【０００８】
本開示の一例示的側面に係るプログラムは、評価装置としてコンピュータを機能させるプログラムであって、前記コンピュータを、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、複数の前記エンベディングのクラスタリングを行うクラスタリング手段と、前記複数の訓練データ片のそれぞれに含まれるラベルを参照して、前記クラスタリングの結果を評価した評価指標を算出する算出手段と、前記評価指標に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させる。
【発明の効果】
【０００９】
本開示の一例示的側面によれば、言語処理モデルの性能が良くない場合の原因を絞り込む技術を提供することができるという一例示的効果を奏する。
【図面の簡単な説明】
【００１０】
本開示に係る評価装置の構成を示すブロック図である。
本開示に係る評価方法の流れを示すフロー図である。
本開示に係る評価システムの構成を示すブロック図である。
本開示に係る評価方法の流れを説明するフロー図である。
本開示に係るエンベディングセットの一例を示す模式図である。
本開示に係るエンベディングセットの一例を示す散布図である。
本開示に係る複数回のクラスタリングの結果の一例を示す模式図である。
本開示に係る算出処理の詳細な一例を示すフロー図である。
本開示に係る評価指標の系列の一例を示す図である。
本開示に係る判定基準の第１の例を説明する図である。
本開示に係る判定基準の第２の例を説明する図である。
本開示に係る算出処理の詳細な一例を示すフロー図である。
本開示に係る算出処理の詳細な一例を示すフロー図である。
本開示に係るエンベディングを示す散布図である。
本開示に係る評価結果の一例を説明する図である。
本開示に係る評価結果の一例を説明する図である。
本開示に係る各装置として機能するコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許