特許ウォッチ

公開番号2024179166
公報種別公開特許公報(A)
公開日2024-12-26
出願番号2023097784
出願日2023-06-14
発明の名称生成装置、生成方法および生成プログラム
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06F 16/90 20190101AFI20241219BHJP(計算;計数)
要約【課題】質問に対する回答の正答率の向上を図るための生成装置、生成方法及び生成プログラムを提供する。
【解決手段】生成装置による応答決定処理方法は、質問に対する回答の根拠となる文書内の回答範囲と当該回答範囲の確からしさを示す信頼度とを含む1以上の回答候補を示す回答候補情報を取得し、信頼度が最大の回答範囲を選択するステップS602と、取得した回答候補情報内の回答範囲の文字に基づく長さである回答長が所定の回答長以上であるか否かを判定する第1判定結果を求めるステップS603と、第1判定結果と、信頼度に基づく指標値がしきい値以上であるか否かを判定する第2判定結果と、に基づいて、回答範囲を出力対象に決定するか否かを判定するステップS604と、決定処理によって決定された出力対象を出力するステップS605と、を含む。
【選択図】図6
特許請求の範囲【請求項１】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置であって、
前記プロセッサは、
質問に対する回答の根拠となる文書内の回答範囲と当該回答範囲の確からしさを示す信頼度とを含む１以上の回答候補を示す回答候補情報を取得する取得処理と、
前記取得処理によって取得された回答候補情報内の前記回答範囲の文字に基づく長さである回答長が所定の回答長以上であるか否かを判定する第１判定結果と、前記信頼度に基づく指標値がしきい値以上であるか否かを判定する第２判定結果と、に基づいて、前記回答範囲を出力対象に決定する決定処理と、
前記決定処理によって決定された出力対象を出力する出力処理と、
を実行することを特徴とする生成装置。
続きを表示（約 2,200 文字）【請求項２】
請求項１に記載の生成装置であって、
前記指標値は、前記信頼度であり、
前記決定処理では、前記プロセッサは、前記第１判定結果において前記回答長が所定の回答長以上であり、かつ、前記第２判定結果において前記指標値がしきい値以上である場合、前記回答範囲を前記出力対象に決定する、
ことを特徴とする生成装置。
【請求項３】
請求項１に記載の生成装置であって、
前記指標値は、前記回答候補情報内の最大信頼度に対する前記回答範囲の前記信頼度の割合であり、
前記決定処理では、前記プロセッサは、前記第１判定結果において前記回答長が所定の回答長以上であり、かつ、前記第２判定結果において前記指標値がしきい値以上である場合、前記回答範囲を前記出力対象に決定する、
ことを特徴とする生成装置。
【請求項４】
請求項１に記載の生成装置であって、
前記指標値は、前記回答候補情報内の最大信頼度から前記回答範囲の前記信頼度を引いた差分であり、
前記決定処理では、前記プロセッサは、前記第１判定結果において前記回答長が所定の回答長以上であり、かつ、前記第２判定結果において前記指標値がしきい値未満である場合、前記回答範囲を前記出力対象に決定する、
ことを特徴とする生成装置。
【請求項５】
請求項１に記載の生成装置であって、
前記出力処理では、前記プロセッサは、前記回答範囲が前記出力対象に決定されなかった場合、回答不可情報を出力する、
ことを特徴とする生成装置。
【請求項６】
請求項１に記載の生成装置であって、
前記決定処理では、前記プロセッサは、前記文書内の文節に基づいて前記所定の回答長を算出する、
ことを特徴とする生成装置。
【請求項７】
請求項１に記載の生成装置であって、
前記プロセッサは、
前記質問と前記質問に対する正しい回答を示す正解回答とを用いて学習された機械読解モデルに、前記質問および前記文書を入力すると、前記機械読解モデルから前記回答候補情報を出力する機械読解処理、
を実行することを特徴とする生成装置。
【請求項８】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置であって、
前記プロセッサは、
質問に対する回答の根拠となる文書内の回答範囲と当該回答範囲の確からしさを示す信頼度とを含む１以上の回答候補を示す回答候補情報を前記質問ごとに取得するとともに、前記質問に対する正しい回答を示す正解回答を前記質問ごとに取得する取得処理と、
前記取得処理によって取得された回答候補情報ごとに、前記回答範囲の文字に基づく長さである回答長が所定の回答長以上であるか否かを判定する第１判定結果に基づいて、特定の回答候補を収集する収集処理と、
前記信頼度に基づく指標値のしきい値の範囲を示すしきい値範囲内の複数のしきい値の各々について、前記収集処理によって前記回答候補情報ごとに収集された特定の回答候補の前記信頼度に基づく指標値が前記しきい値以上であるか否かを判定する第２判定結果に基づいて、前記特定の回答候補における特定の回答範囲を出力対象および非出力対象のいずれかに決定する決定処理と、
前記決定処理による前記しきい値ごとの決定結果に基づいて、前記出力対象の件数に対する前記出力対象と前記正解回答との一致数の割合を示す正答率と、前記出力対象の件数および前記非出力対象の件数の和に対する前記出力対象の件数の割合を示す網羅率と、を前記しきい値ごとに算出し、前記しきい値ごとの前記正答率および前記網羅率を示す可視化情報を生成する生成処理と、
前記生成処理によって生成された可視化情報を出力する出力処理と、
を実行することを特徴とする生成装置。
【請求項９】
請求項８に記載の生成装置であって、
前記プロセッサは、
前記可視化情報を出力した結果、前記しきい値の入力を受け付けて、前記記憶デバイスに登録する登録処理、
を実行することを特徴とする生成装置。
【請求項１０】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置が実行する生成方法であって、
前記プロセッサは、
質問に対する回答の根拠となる文書内の回答範囲と当該回答範囲の確からしさを示す信頼度とを含む１以上の回答候補を示す回答候補情報を取得する取得処理と、
前記取得処理によって取得された回答候補情報内の前記回答範囲の文字に基づく長さである回答長が所定の回答長以上であるか否かを判定する第１判定結果と、前記信頼度に基づく指標値がしきい値以上であるか否かを判定する第２判定結果と、に基づいて、前記回答範囲を出力対象に決定する決定処理と、
前記決定処理によって決定された出力対象を出力する出力処理と、
を実行することを特徴とする生成方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、質問に対する回答を生成する生成装置、生成方法および生成プログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来の質問応答システムでは、想定質問とその回答のペアからなる質問応答対が事前登録される。質問応答システムは、ユーザ質問が入力されると登録された質問の中から最も類似した質問を検索しその回答を返す。質問応答システムでは、事前に登録した質問応答対に関する内容の質問にしか応答できず、また質問応答対の作成に人的コストがかかっていた。
【０００３】
そこで近年、機械読解が注目されている（たとえば、下記非特許文献１を参照。）。機械読解は、ユーザ質問と文書を入力し、回答の根拠となる範囲を文書から抽出する技術であり、入力する文書を変えることで任意の内容に関する質問に応答する。機械読解に基づく質問応答システムとして、特許文献１と非特許文献２が知られている。
【０００４】
特許文献１は、極性で回答することができる質問に対して、精度よく、極性で回答する回答生成装置を開示する。この回答生成装置では、機械読解部が、入力された文章及び質問文に基づいて、当該文章における当該質問文に対する回答の根拠となる範囲を推定するための予め学習された読解モデルを用いて、当該範囲の始端及び終端を推定し、判断部が、機械読解部の処理によって得られる情報に基づいて、質問文に対する回答の極性が正か否かを判断するための予め学習された判断モデルを用いて、当該質問文に対する回答の極性を判断する。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０１９／２４４８０３号
【非特許文献】
【０００６】
Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” Proceedings of NAACL-HLT 2019, pages 4171-4186 Minneapolis, Minnesota, June 2 - June 7, 2019.
Pranav Rajpurkar, et al. “SQuAD: 100,000+ questions for machine comprehension of text,” Proc. of the Conference on Empirical Methods in Natural Language Processing, 2016, pp.2383-2392.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
機械読解は、文書中の任意の部分文字列を回答範囲として抽出できるため、０文字からなる文字列（“回答なし”を意味する）や意味が取れない短い文字列（たとえば、句点や主語が抜けているなど文法的に誤りがある文（例：“がない”））を回答範囲として生成しうる。
【０００８】
また、機械読解は、回答範囲に対する信頼度も計算するため、複数の回答範囲から信頼度に基づいて最終的な回答範囲を１つ選択する。この時、上述のような極端に短い回答範囲にも高い信頼度が計算されることがある。したがって、信頼度だけに基づいて回答範囲を選択するのは不十分な場合がある。特に、文や段落のような長い回答を想定する場合には、上述のような短い回答範囲は誤りである可能性が高い。
【０００９】
上述した特許文献１および非特許文献１の技術は、そのような回答範囲を応答として返さないように後処理を行うことで回答の正答率を高めるという点については、考慮されていない。
【００１０】
本発明は、質問に対する回答の正答率の向上を図ることを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許