特許ウォッチ

公開番号2025087599
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2024194738
出願日2024-11-06
発明の名称ユーザのフィードバックを活用した回答生成方法及びシステム{METHOD AND SYSTEM FOR GENERATING ANSWER USING FEEDBACK OF USER}
出願人Allganize Japan株式会社
代理人弁理士法人秀和特許事務所
主分類G06F 16/90 20190101AFI20250603BHJP(計算;計数)
要約【課題】ユーザのフィードバックを活用した回答生成方法及びシステムを提供する。
【解決手段】方法は、ユーザの第1質問に対してRAG(Retrieval Augmented Generation)のリトリーバーを利用して回答候補を生成し、回答候補に基づいてユーザの第1の質問に対する第1の回答を生成し、ユーザが回答候補に対し第1のフィードバックの入力が可能な機能を含むユーザインタフェースをユーザに提供し、第1の質問、ユーザインタフェースを通じて入力された第1のフィードバック及び第1のフィードバックに対応する回答候補に関する情報を連携してストレージに保存し、ユーザ又は新しいユーザの第2の質問に対して、ストレージに保存した第1のフィードバック及び第1のフィードバックに対応する回答候補に関する情報を利用して第2の質問に対する回答候補を選定し、選定した候補を利用して第2の質問に対する第2の回答を生成する。
【選択図】図6
特許請求の範囲【請求項１】
少なくとも1つのプロセッサを含むコンピュータ装置の回答生成方法であって、
前記少なくとも1つのプロセッサにより、ユーザの第1の質問に対してRAG(Retrieval Augmented Generation)のリトリーバー(retriever)を利用して回答候補を生成するステップと、
前記少なくとも1つのプロセッサにより、前記回答候補に基づいて前記ユーザの第1の質問に対する第1の回答を生成するステップと、
前記少なくとも1つのプロセッサにより、前記ユーザから前記回答候補に対する第1のフィードバックの入力が可能な機能を含むユーザインタフェースを前記ユーザに提供するステップと、
前記少なくとも1つのプロセッサにより、前記第1の質問、前記ユーザインタフェースを通じて入力された第1のフィードバック及び前記第1のフィードバックに対応する回答候補に関する情報を関連付けてストレージに保存するステップと、
前記少なくとも1つのプロセッサにより、前記ユーザ又は新しいユーザの第2の質問に対して、前記ストレージに保存された第1のフィードバック及び前記第1のフィードバックに対応する回答候補に関する情報を利用して前記第2の質問に対する回答候補を選定し、前
記選定された回答候補を利用して前記第2の質問に対する第2の回答を生成するステップを含む、
回答生成方法。
続きを表示（約 2,400 文字）【請求項２】
請求項１記載の方法において、
前記保存するステップは、
前記第1質問の文埋め込み(sentence embedding)値と連携して前記第1フィードバック及び前記第1フィードバックに対応する回答候補に関する情報を保存するステップを含み、
前記第2回答を生成するステップは、
前記第2質問の文埋め込み値を通じて前記ストレージから検索される質問と連携された
第1フィードバック及び前記第1フィードバックに対応する回答候補に関する情報を利用して、前記第2質問に対して生成された回答候補のリストに前記第1フィードバックに対応する回答候補を追加するか、または前記リストから前記第1フィードバックに対応する回答
候補を除外して、前記第2質問に対する回答候補を選定するステップを含むことを特徴と
する回答生成方法。
【請求項３】
請求項２に記載の方法において、
前記第2回答を生成する段階は、
前記ストレージで検索される質問と連係された第1フィードバックが肯定的フィードバ
ックである場合、前記第1フィードバックに対応する回答候補を前記第2質問に対して生成された回答候補のリストに追加する段階；及び
前記ストレージで検索される質問と連係された第1フィードバックが否定的フィードバ
ックである場合、前記第1フィードバックに対応する回答候補を前記第2質問に対して生成された回答候補のリストから除外する段階
を含むことを特徴とする回答生成方法。
【請求項４】
請求項２に記載の方法において、
前記第1フィードバックに対応する回答候補に関する情報は、前記回答候補において前
記第1フィードバックが発生した位置に関する情報を含み、
前記第2質問に対する回答候補を選定する段階は、
前記位置の内容を含む新しい回答候補を生成して前記リストに追加するか、または前記位置の内容を含む回答候補を前記リストから除外することを特徴とする回答生成方法。
【請求項５】
請求項４に記載の方法において、
前記位置は、前記回答候補に対応する文書のページまたは前記回答候補において前記ユーザによって選択された内容の位置を含むことを特徴とする回答生成方法。
【請求項６】
請求項１に記載の方法において、
前記ユーザインタフェースは、前記第1の質問に対して生成された答案候補のリストを
表示する機能、前記リストから選択された答案候補の内容を表示する機能、及び前記表示された答案候補に対する第1のフィードバックを入力する機能を含むことを特徴とする答
案生成方法。
【請求項７】
請求項１に記載の方法において、
前記第1の答案を生成するステップは、
前記答案候補に基づいてプロンプトを生成するステップ;及び
前記生成されたプロンプトをLLM(Large Language Model)に入力して前記第1の答案を生成するステップ
を含むことを特徴とする答案生成方法。
【請求項８】
請求項７に記載の方法において、
前記ユーザインタフェースは、前記ユーザから前記第1回答に対する第2フィードバックを入力受けするための機能をさらに含み、
前記少なくとも1つのプロセッサにより、前記ユーザインタフェースを介して前記第2フィードバックとして否定的フィードバックが入力される場合、前記否定的フィードバックに基づいて新しいプロンプトを生成するステップ；及び
前記少なくとも1つのプロセッサにより、前記新しいプロンプトを前記LLMに入力して新しい第1回答を生成するステップ
をさらに含む回答生成方法。
【請求項９】
請求項７に記載の方法であって、
前記保存するステップは、
前記ユーザインタフェースを介して前記第2フィードバックとして肯定的フィードバッ
クが入力される場合、前記肯定的フィードバックに対応する回答を前記第1質問とさらに
連携して前記ストレージに保存し、
前記第2回答を生成するステップは、
前記第1質問とさらに連携して保存された回答をさらに利用して前記第2質問に対する回答候補を選定すること
を特徴とする回答生成方法。
【請求項１０】
コンピュータ装置で読み取り可能な命令を実行するように具現される少なくとも1つの
プロセッサを含み、
前記少なくとも1つのプロセッサによって、
ユーザの第1の質問に対してRAG(Retrieval Augmented Generation)のリトリーバー(retriever)を利用して答案候補を生成し、
前記答案候補に基づいて前記ユーザの第1の質問に対する第1の答えを生成し、
前記ユーザから前記答案候補に対する第1のフィードバックの入力が可能な機能を含む
ユーザインタフェースを前記ユーザに提供し、
前記第1の質問、前記ユーザインタフェースを通じて入力された第1のフィードバック及び前記第1のフィードバックに対応する答案候補に関する情報を連係してストレージに保
存し、
前記ユーザ又は新しいユーザの第2の質問に対して、前記ストレージに保存された第1のフィードバック及び前記第1のフィードバックに対応する答案候補に関する情報を利用し
て前記第2の質問に対する答案候補を選定し、前記選定された答案候補を利用して前記第2の質問に対する第2の答えを生成すること
を特徴とするコンピュータ装置。

発明の詳細な説明【技術分野】
【０００１】
下記の説明は、ユーザのフィードバックを活用した回答生成方法及びシステムに関するものである。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
大型言語モデル又は巨大言語モデル(Large Language Models、LLM)は、自然言語入力に対して人間と類似した応答を生成するために大規模テキストデータの集合で訓練された人工知能のタイプであり、膨大なパラメータ(通常、数十億ウェイト以上)を保有する人工ニューラルネットワークで構成される言語モデルである。このようなLLMは、自己教師あり
学習や半自己教師あり学習を使用してラベリングされていない相当な量のテキストで学習することができる。
【０００３】
RAG(Retrieval-Augmented Generation)は、LLMの幻覚現象と学習させていない知識を補完するために使用される技術である。LLMは、一般的な知識と文脈を把握して応答を生成
する能力を持っているが、事前学習過程で学習した知識以外には答えることができず、仮に学習された内容であっても、保存された知識を取り出して生成した回答はかなりの幻覚現象を示す。
【０００４】
RAGは、これを改善するためにLLMのプロンプトに関連のある知識を予め入れておき、この知識を基に答えさせる方式である。多様なLLMがこのような方式を通じて相当な性能向
上を成し遂げた。
【０００５】
ただし、RAGは質問に答えるために相当部分、リトリバー(retriever)の性能に依存する。当然、ユーザの質問に答えるために必要な情報が事前に与えられなければならない。広範囲の文書から回答に該当する文書を探したり、回答を探す問題は既にODQA(Open Domain
Question Answering)という問題としてよく知られている。
【先行技術文献】
【特許文献】
【０００６】
韓国登録特許第10-2551531号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ユーザのフィードバックを活用した回答生成方法及びシステムを提供する。
【課題を解決するための手段】
【０００８】
少なくとも1つのプロセッサを含むコンピュータ装置の回答生成方法において、前記少
なくとも1つのプロセッサによって、ユーザの第1質問に対してRAG(Retrieval Augmented Generation)のリトリーバー(retriever)を利用して回答候補を生成する段階; 前記少なくとも1つのプロセッサによって、前記回答候補に基づいて前記ユーザの第1質問に対する第1回答を生成する段階; 前記少なくとも1つのプロセッサによって、前記ユーザから前記回答候補に対する第1フィードバックの入力が可能な機能を含むユーザインタフェースを前
記ユーザに提供する段階; 前記少なくとも1つのプロセッサによって、前記第1質問、前記ユーザインタフェースを通じて入力された第1フィードバック及び前記第1フィードバックに対応する回答候補に関する情報を連携してストレージに保存する段階; 及び前記少なく
とも1つのプロセッサによって、前記ユーザ又は新しいユーザの第2質問に対して、前記ストレージに保存された第1フィードバック及び前記第1フィードバックに対応する回答候補に関する情報を利用して前記第2質問に対する回答候補を選定し、前記選定された回答候
補を利用して前記第2質問に対する第2回答を生成する段階を含む回答生成方法を提供する。
【０００９】
一実施形態によれば、前記記憶するステップは、前記第1質問の文埋め込み(sentence embedding)値と連携して前記第1フィードバック及び前記第1フィードバックに対応する回
答候補に関する情報を記憶するステップを含み、前記第2回答を生成するステップは、前
記第2質問の文埋め込み値を通じて前記ストレージから検索される質問と連携された第1フィードバック及び前記第1フィードバックに対応する回答候補に関する情報を利用して、
前記第2質問に対して生成された回答候補のリストに前記第1フィードバックに対応する回答候補を追加するか、又は前記リストから前記第1フィードバックに対応する回答候補を
除外して、前記第2質問に対する回答候補を選定するステップを含むことを特徴とするこ
とができる。
【００１０】
他の側面に従えば、前記第2回答を生成する段階は、前記ストレージで検索される質問
と連携された第1フィードバックが肯定フィードバックである場合、前記第1フィードバックに対応する回答候補を前記第2質問に対して生成された回答候補のリストに追加する段
階;及び前記ストレージで検索される質問と連携された第1フィードバックが否定フィードバックである場合、前記第1フィードバックに対応する回答候補を前記第2質問に対して生成された回答候補のリストから除外させる段階を含むことを特徴とすることができる。
（【００１１】以降は省略されています）

関連特許