特許ウォッチ

公開番号2025134103
公報種別公開特許公報(A)
公開日2025-09-17
出願番号2024031788
出願日2024-03-04
発明の名称文章生成装置およびその制御方法、情報処理システム、並びにプログラム
出願人キヤノン電子株式会社
代理人
主分類G06F 16/332 20250101AFI20250909BHJP(計算;計数)
要約【課題】生成された回答文の信頼度を容易に判断する文章生成装置、その制御方法、情報処理システム及びプログラムを提供する。
【解決手段】文章生成装置は、質問文に関連した文章を引用文章として取得する引用文章検索部と、引用文章を利用して質問文に対する回答文を生成する回答生成部と、引用文章と回答文とをもとに、回答文の信頼度を算出する信頼度算出部と、回答文と引用文章との整合性を検証し、信頼度算出部によって信頼度を算出するハルシネーション判定部と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
質問文に関連した文章を引用文章として取得する引用文章検索部と、
前記引用文章を利用して前記質問文に対する回答文を生成する回答生成部と、
前記引用文章と前記回答文とをもとに、前記回答文の信頼度を算出する信頼度算出部と、
を備えることを特徴とする文章生成装置。
続きを表示（約 1,100 文字）【請求項２】
前記文章生成装置は、さらに、ハルシネーション判定部を備え、
前記ハルシネーション判定部は、前記回答文と前記引用文章との整合性を検証し、前記信頼度算出部によって信頼度を算出することを特徴とする請求項１に記載の文章生成装置。
【請求項３】
前記文章生成装置は、前記信頼度算出部によって算出された前記回答文の信頼度を提示する表示部を備えることを特徴とする請求項１または２に記載の文章生成装置。
【請求項４】
前記ハルシネーション判定部はさらに、
前記回答文に類似する前記引用文章中の文を抽出する類似文抽出部を有し、
前記信頼度算出部は、前記回答文と前記類似文抽出部によって抽出された前記引用文章中の文とを用いて前記整合性を検証することを特徴とする請求項２に記載の文章生成装置。
【請求項５】
前記ハルシネーション判定部はさらに、
前記回答文および前記引用文章から前記質問文の回答になるキーワードを抽出する質問応答抽出部を有し、
前記信頼度算出部は、前記質問応答抽出部から抽出された前記回答文および前記引用文章のキーワードを用いて、前記整合性を検証することを特徴とする請求項２に記載の文章生成装置。
【請求項６】
前記ハルシネーション判定部はさらに、
前記回答文と前記引用文章との整合性を検証する検証プロンプトを生成する検証プロンプト生成部を有し、
前記信頼度算出部は、前記検証プロンプトを用いて前記回答文と前記引用文章の差異を取得し、前記差異を用いて前記整合性を検証することを特徴とする請求項２に記載の文章生成装置。
【請求項７】
質問文に関連した文章を引用文章として取得する引用文章検索手段と、
前記引用文章を利用して前記質問文に対する回答文を生成する回答生成手段と、
前記引用文章と前記回答文とをもとに、前記回答文の信頼度を算出する信頼度算出手段と、
を備えることを特徴とする情報処理システム。
【請求項８】
文章生成装置の制御方法であって、
質問文に関連した文章を引用文章として取得する引用文章検索方法と、
前記引用文章を利用して前記質問文に対する回答文を生成する回答生成方法と、
前記引用文章と前記回答文とをもとに、前記回答文の信頼度を算出する信頼度算出方法と、
を備えることを特徴とする文章生成装置の制御方法。
【請求項９】
コンピュータを、請求項１または２に記載の文章生成装置の各手段として機能させるためのコンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、文章生成装置およびその制御方法、情報処理システム、並びにプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年、大規模言語モデル（ＬＬＭ：ＬａｒｇｅＬａｎｇｕａｇｅＭｏｄｅｌｓ）の利活用は進んでいるが、回答の正確性について大きな課題がある。すなわち、ＬＬＭモデルが実際の情報源に基づかず、架空または誤った情報を生成するハルシネーション現象である。ハルシネーションは、特に製品情報や技術的アドバイスなどの重要な情報を提供する場面で問題となる。
【０００３】
特許文献１には、入力された質問文から別の質問文を生成し、当該入力された質問文および生成された別の質問文から算出した特徴ベクトルを用いて文章データベースを検索することにより、特徴ベクトルとの類似度について所定の条件を満たす特徴ベクトルに関連付けられた文章を、入力された質問文に対して参考情報として付加する追加文章を生成するために用いる候補文章として取得する。そして、当該取得した候補文章をもとに生成した追加文章を参考情報として質問文に付加することにより、大規模言語モデルに入力するためのプロンプトを生成することなどが開示されている。
【先行技術文献】
【特許文献】
【０００４】
特許第７３２５１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の通り、質問文に参考情報を追加して生成したプロンプトをＬＬＭに入力することは、参考情報を追加しない場合に比べて適切な回答文が得られやすくなるという点で有効だが、参考情報を追加しても適切な回答文が得られないことがある。
【０００６】
本発明の目的は、生成された回答文の信頼度を容易に判断することが可能な、文章生成装置およびその制御方法、情報処理システム、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記を鑑み、本発明に係る文章生成装置は、質問文に関連した文章を引用文章として取得する引用文章検索部と、前記引用文章を利用して前記質問文に対する回答文を生成する回答生成部と、前記引用文章と前記回答文とをもとに、前記回答文の信頼度を算出する信頼度算出部と、を備えることを特徴とする。
【発明の効果】
【０００８】
以上のように、本発明によれば、生成された回答文の信頼度を容易に判断できる。
【図面の簡単な説明】
【０００９】
本発明の実施の形態における文章生成装置の構成を示すブロック図である。
本発明の第１のハルシネーション判定手法の一例を示すブロック図である。
本発明の第２のハルシネーション判定手法の一例を示すブロック図である。
本発明の第３のハルシネーション判定手法の一例を示すブロック図である。
本発明の実施の形態における回答文と引用文章との整合性を検証するプロンプトの一例である。
本発明の実施の形態における文章生成装置の動作を示すフロー図である。
本発明の実施の形態における文章生成装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態における、情報処理装置およびその制御方法、情報処理システム、並びにプログラムについて、図１～図７を参照しながら説明する。なお、以下では、情報処理装置を文章生成装置として説明するが、これに限定されず例えば、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末などでもよい。
（【００１１】以降は省略されています）

関連特許