特許ウォッチ

公開番号2024167768
公報種別公開特許公報(A)
公開日2024-12-04
出願番号2023084071
出願日2023-05-22
発明の名称評価装置、評価方法、およびプログラム
出願人日本電気株式会社
代理人弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
主分類G06F 40/216 20200101AFI20241127BHJP(計算;計数)
要約【課題】言語処理モデルの性能が良くない場合の原因を絞り込む。
【解決手段】評価装置(1)は、言語処理モデルに含まれるエンベディング層を用いて、複数の訓練データ片にそれぞれ含まれる自然言語文のエンベディングを取得する取得部(11)と、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成部(12)と、画像データの特徴を検出する検出部(13)と、画像データの特徴に基づいて、エンベディング層の品質を評価する評価部(14)と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、
を含む、評価装置。
続きを表示（約 1,700 文字）【請求項２】
前記言語処理モデルは、分類タスクを実行するモデルであり、
前記訓練データ片は、前記自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、
前記生成手段は、複数の前記エンベディングの各々を行または列として前記ラベルに基づく順に並べた前記行列から前記画像データを生成し、
前記検出手段は、前記画像データの特徴として、画素値の変化に基づく第１境界を検出し、
前記評価手段は、前記画像データにおいて前記ラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、前記第１境界との比較結果に基づいて、前記エンベディング層の品質を評価する、
請求項１に記載の評価装置。
【請求項３】
前記評価手段は、前記第２境界の個数に対する、前記第２境界に整合すると判定した前記第１境界の個数の割合を示す再現率に基づいて、前記エンベディング層の品質を評価する、
請求項２に記載の評価装置。
【請求項４】
前記評価手段は、前記第２境界の個数に対する前記第１境界の個数の割合を示す検出倍率に基づいて、前記エンベディング層の品質を評価する、
請求項２または３に記載の評価装置。
【請求項５】
前記生成手段は、前記行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から前記画像データを生成する、
請求項１または２に記載の評価装置。
【請求項６】
前記生成手段は、前記行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から前記画像データを生成する、
請求項１または２に記載の評価装置。
【請求項７】
前記言語処理モデルとして第１の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第１の評価結果とし、
前記言語処理モデルとして前記第１の言語処理モデルとは異なる第２の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第２の評価結果とし、
前記評価手段は、
同一の前記複数の訓練データ片を用いて得られた前記第１の評価結果および前記第２の評価結果が何れも所定基準を満たさない場合に、当該複数の訓練データ片の品質が基準を満たさないと評価する、
請求項１または２に記載の評価装置。
【請求項８】
前記評価手段による評価結果、および前記生成手段が生成した画像データの一方または両方を出力する出力手段をさらに含む、
請求項１または２に記載の評価装置。
【請求項９】
少なくとも１つのプロセッサが実行する評価方法であって、
前記少なくとも１つのプロセッサが、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、
前記画像データの特徴を検出することと、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、
を含む、評価方法。
【請求項１０】
コンピュータを、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、言語処理モデルの性能を評価する技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、汎用的な自然言語処理モデルを事前学習モデルとしてファインチューニングすることにより、所望の言語処理タスクを行う言語処理モデルを生成することが知られている。このような言語処理モデルの性能は、例えば、当該言語処理モデルの生成に用いられた訓練データ、事前学習モデル、学習アルゴリズム、当該言語処理モデルにおいて採用されるハイパーパラメータ等に影響される。このような言語処理モデルの性能の改善を目的として、例えば、ハイパーパラメータを調整するためにグリッドサーチ等の技術を用いることが知られている。また、例えば、特許文献１には、訓練データの品質を改善するための技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－１９３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、言語処理モデルの性能が良くない場合に、その主な原因が、上述したような訓練データ、事前学習モデル、学習アルゴリズム、ハイパーパラメータ等の何れであるのかを絞り込むことは難しい。特許文献１に記載された技術は、その主な原因が訓練データの品質にあることが分かっている場合には有効であるが、そうでない場合には、訓練データの品質を改善しても言語処理モデルの性能を改善できない可能性がある。そのため、言語処理モデルの性能が良くない場合の原因を絞り込むことが重要である。
【０００５】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、言語処理モデルの性能が良くない場合の原因を絞り込む技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る評価装置は、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、前記画像データの特徴を検出する検出手段と、前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、を含む。
本発明の一態様に係る評価方法は、少なくとも１つのプロセッサが実行する評価方法であって、前記少なくとも１つのプロセッサが、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、前記画像データの特徴を検出することと、前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、を含む。
【０００７】
本発明の一態様に係るプログラムは、コンピュータを、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、前記画像データの特徴を検出する検出手段と、前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させる。
【発明の効果】
【０００８】
本発明の一態様によれば、言語処理モデルの性能が良くない場合の原因を絞り込むことができる。
【図面の簡単な説明】
【０００９】
本発明の例示的実施形態１に係る評価装置の構成を示すブロック図である。
本発明の例示的実施形態１に係る評価方法の流れを示すフロー図である。
本発明の例示的実施形態２に係る評価装置を含む評価システムの構成を示すブロック図である。
本発明の例示的実施形態２に係る評価方法の流れを説明するフロー図である。
本発明の例示的実施形態２におけるエンベディングの一例を示す模式図である。
本発明の例示的実施形態２における生成処理の詳細な流れを示すフロー図である。
本発明の例示的実施形態２における行列の一例を示す模式図である。
本発明の例示的実施形態２における画素値の割り当ての具体例を示す模式図である。
本発明の例示的実施形態２における画像データの一例を示す模式図である。
本発明の例示的実施形態２における検出処理の詳細な流れを示すフロー図である。
本発明の例示的実施形態２における第１境界の一例を示す模式図である。
本発明の例示的実施形態２における評価処理の詳細な流れを示すフロー図である。
本発明の例示的実施形態２の具体例における画像データを示す図である。
本発明の例示的実施形態２の具体例における第１境界および第２境界を示す図である。
各例示的実施形態に係る評価装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１０】
本願発明者は、言語処理モデルの性能が良くない場合の原因を、当該言語処理モデルに含まれるエンベディング層の品質に応じて絞り込めることに着目し、エンベディング層の品質を評価する評価装置を発明した。エンベディング層の品質が良いにも関わらず言語処理モデルの性能が悪い場合は、言語処理タスク層（例えば、ハイパーパラメータ）に原因がある可能性が高い。一方で、エンベディング層の品質が良くない場合は、エンベディング層の生成過程に関わる訓練データ、事前学習モデル、または学習アルゴリズムに問題がある可能性が高い。このように、本願発明に係る評価装置を用いれば、エンベディング層の品質の評価結果に応じて言語処理モデルの性能が良くない場合の原因を絞り込むことができる。
（【００１１】以降は省略されています）

関連特許