特許ウォッチ

公開番号2025161542
公報種別公開特許公報(A)
公開日2025-10-24
出願番号2024064828
出願日2024-04-12
発明の名称定量化装置、定量化方法及び定量化プログラム
出願人KDDI株式会社
代理人個人
主分類G06F 16/90 20190101AFI20251017BHJP(計算;計数)
要約【課題】検索拡張生成及び生成言語モデルを利用したシステムにおける、応答の不確かさを定量的に評価できる定量化装置、定量化方法及び定量化プログラムを提供すること。
【解決手段】定量化装置1は、生成言語モデルへの入力に対して生成された出力の不確かさを示す、検索拡張生成における検索品質を考慮しない第1の指標を算出する第1指標算出部11と、検索拡張生成における検索品質を示す第2の指標を算出する第2指標算出部12と、第2の指標を正規化し、かつ、検索品質の出力への影響度として調整する指標調整部13と、第1の指標に対して調整された値を乗じて、検索拡張生成を用いた生成言語モデルにおける出力の不確かさを定量化した値として出力する出力部14と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
生成言語モデルへの入力に対して生成された出力の不確かさを示す、検索拡張生成における検索品質を考慮しない第１の指標を算出する第１指標算出部と、
前記検索拡張生成における検索品質を示す第２の指標を算出する第２指標算出部と、
前記第２の指標を正規化し、かつ、前記検索品質の前記出力への影響度として調整する指標調整部と、
前記第１の指標に対して前記指標調整部により調整された値を乗じて、検索拡張生成を用いた前記生成言語モデルにおける出力の不確かさを定量化した値として出力する出力部と、を備える定量化装置。
続きを表示（約 720 文字）【請求項２】
前記第２の指標は、前記入力のプロンプトと、前記検索拡張生成により外部文書から検索で得られたチャンクとの類似度に基づく請求項１に記載の定量化装置。
【請求項３】
前記第２の指標は、前記出力と、前記検索拡張生成により外部文書から検索で得られたチャンクとの類似度に基づく請求項２に記載の定量化装置。
【請求項４】
前記第２の指標は、前記入力のプロンプト及び前記出力を連結した文章と、前記検索拡張生成により外部文書から検索で得られたチャンクとの類似度に基づく請求項１に記載の定量化装置。
【請求項５】
前記指標調整部は、シグモイド関数により、前記第２の指標が閾値を超える場合の前記影響度を活性化させる請求項１から請求項４のいずれかに記載の定量化装置。
【請求項６】
コンピュータが、
第１指標算出部により、生成言語モデルへの入力に対して生成された出力の不確かさを示す、検索拡張生成における検索品質を考慮しない第１の指標を算出し、
第２指標算出部により、前記検索拡張生成における検索品質を示す第２の指標を算出し、
指標調整部により、前記第２の指標を正規化し、かつ、前記検索品質の前記出力への影響度として調整し、
出力部により、前記第１の指標に対して前記指標調整部により調整された値を乗じて、検索拡張生成を用いた前記生成言語モデルにおける出力の不確かさを定量化した値として出力する定量化方法。
【請求項７】
請求項１から請求項４のいずれかに記載の定量化装置としてコンピュータを機能させるための定量化プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、生成言語モデルを用いた検索拡張生成タスクにおいて、生成された文章の不確実性を定量化する技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
生成言語モデルは、プロンプトと呼ばれる文章の入力に対して、応答として文章を出力するモデルであり、例えば、非特許文献１で示されているGenerative Pre-trained Transformer（GPT）が挙げられる。生成言語モデルは、内部ではトークンと呼ばれる文章の最小単位で処理を行い、プロンプトの文章に続く形で、直後に続くトークンを次々に予測することで応答を生成する。大量の文章を学習した生成言語モデルは、対話や質問応答タスクにおける応答として自然な文章を出力でき、高い性能が得られる。
【０００３】
ところが、生成言語モデルでは、「ハルシネーション」と呼ばれる、真実でない内容を自然な文章で出力する現象が知られており、生成された文章だけではその内容の真偽を正しく評価することが難しい。このため、生成言語モデルの出力がどの程度妥当なのかを評価する方法が望まれている。
【０００４】
生成言語モデルの出力の不確かさを定量化する手法として、例えば非特許文献２で示されているSemantic Uncertaintyがある。この手法では、評価者は、まず１つのプロンプトに対してＮ個の応答を生成し、合わせて応答の文章の尤度を取得する。文章の尤度は、例えば予測したトークンの尤度を用いて、文章全体の幾何平均を取ることで算出できる。続いて、評価者は、応答の文章を、意味上の差異を考慮してカテゴリに分類する。例えば、「フランスの首都はどこか」というプロンプトに対し、「パリ」と「パリです。」とは同じ意味なので同一のカテゴリとなり、「ロンドン」はこれらとは別の意味なので別のカテゴリとなる。
【０００５】
ここで、生成言語モデルへのプロンプトｘに対する、あるカテゴリｃのSemantic尤度ｐ（ｃ｜ｘ）を次の式で表す。
TIFF
2025161542000002.tif
16
134
このとき、不確かさの指標であるSemantic Entropy Ｕ
ｓｅ
（ｘ）は次の式となる。
TIFF
2025161542000003.tif
16
134
ただし、Ｃはカテゴリの集合である。
【先行技術文献】
【非特許文献】
【０００６】
A. Radford et al., "Improving Language Understanding by Generative Pre-Training," 2018, [online], 2024年3月29日検索, インターネット <https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf>.
L. Kuhn et al., "Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation," International Conference on Learning Representations, 2023.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、生成言語モデルは、事前知識として大量の文書を学習しているため、そのまま利用するだけでは事前知識以外のプロンプトに対して良い応答を得られない。そこで、外部知識を参照して応答を生成する手法として、検索拡張生成（Retrieval Augmented Generation）がある。検索拡張生成では、予め外部知識がデータベースとして保管され、生成言語モデルが応答を生成する際には、このデータベースから適切な文章を検索し引用する。
【０００８】
具体的には、まず外部知識の文書を分割し、その分割片（チャンク）をベクトル化した後、チャンクとベクトルとが対応づいた形でデータベースに保管される。利用者からプロンプトが入力されると、質問文をチャンクと同様にベクトル化することで、ベクトルの類似度を指標として類似度の高いチャンクがデータベースから検索される。類似度が高いベクトルに対応するチャンクを引用して新たなプロンプトを構成し、生成言語モデルに入力することで、外部知識に基づく応答が得られる。
【０００９】
検索拡張生成は、生成言語モデルを専門的な分野のアプリケーションに利用する場合に、応用が期待される手法である。
しかしながら、従来技術における不確かさの定量化（例えば、Semantic Entropy）では、生成言語モデル単体での評価を想定しており、検索拡張生成などの応用における評価は想定されていなかった。
【００１０】
本発明は、検索拡張生成及び生成言語モデルを利用したシステムにおける、応答の不確かさを定量的に評価できる定量化装置、定量化方法及び定量化プログラムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許