特許ウォッチ

公開番号2024117996
公報種別公開特許公報(A)
公開日2024-08-30
出願番号2023024133
出願日2023-02-20
発明の名称応答文生成装置、応答変換学習装置、データベース作成装置、応答文生成方法およびプログラム
出願人日本電信電話株式会社,国立大学法人東北大学
代理人個人,個人,個人
主分類G06F 40/56 20200101AFI20240823BHJP(計算;計数)
要約【課題】入力された発話文と予め用意された用例文との意味的差分を精緻にとらえた応答文を生成する。
【解決手段】応答選択部10は、用例応答データベースD1の中から、入力発話文xに基づいて所定の条件を満たす用例文x’を決定し、決定した用例文x’とこれに対応する応答文y’とを選択する。エンコーダ21は、入力発話文x、選択された用例文x’、及び選択された応答文y’を、入力発話意味ベクトル^x、用例意味ベクトル^x’、及び応答意味ベクトル^y’へと変換する。意味差分ベクトル生成部は、入力発話意味ベクトル^xと用例意味ベクトル^x’との差分から意味差分ベクトル^wを生成する。デコーダ23は、意味差分ベクトル^wと応答意味ベクトル^y’とを加算して、入力発話文xと選択された用例文x’との意味の違いが反映された応答ベクトル^vへと変換し、応答ベクトル^vから変換後応答文vを生成する。
【選択図】図1
特許請求の範囲【請求項１】
一組が用例文とこの用例文に対応する応答文とからなる複数の組を有した用例応答データベースの中から、入力されたユーザの発話である入力発話文に基づいて所定の条件を満たす用例文を決定し、決定した前記用例文とこれに対応する前記応答文とを選択する応答選択部と、
前記入力発話文、選択された前記用例文、及び選択された前記応答文を、各文の意味ベクトルである、入力発話意味ベクトル、用例意味ベクトル、及び応答意味ベクトルへと変換するエンコーダと、
前記入力発話意味ベクトルと前記用例意味ベクトルとの差分から意味差分ベクトルを生成する意味差分ベクトル生成部と、
前記意味差分ベクトルと前記応答意味ベクトルとを加算して、前記入力発話文と選択された前記用例文との意味の違いが反映された応答ベクトルへと変換し、前記応答ベクトルから前記入力発話文に対する応答文である変換後応答文を生成する、デコーダと、
を有する応答文生成装置。
続きを表示（約 2,900 文字）【請求項２】
一組が用例文とこの用例文に対応する応答文とからなる複数の組を有した用例応答データベースと、一組が発話文とこの発話文に対応する応答文とからなる複数の組を有し、夫々の組が前記用例応答データベースのいずれかの組と所定の類似度を満たした疑似用例応答データベースと、を用いた応答変換学習装置であって、
前記用例応答データベースから入力された一組の用例文及び応答文と、この一組と前記所定の類似度を満たして前記疑似用例応答データベースから入力された発話文である入力発話文とを、各文の意味ベクトルである、用例意味ベクトル、応答意味ベクトル、及び入力発話意味ベクトルへと変換する、第１パラメータを使用するエンコーダと、
前記入力発話意味ベクトルと前記用例意味ベクトルとの差分から意味差分ベクトルを生成する意味差分ベクトル生成部と、
前記意味差分ベクトルと前記応答意味ベクトルとを加算して、前記入力発話文と入力された前記用例文との意味の違いが反映された応答ベクトルへと変換し、前記応答ベクトルから前記入力発話文に対する応答文である変換後応答文を生成する、第２パラメータを使用する学習用デコーダと、
前記変換後応答文と、前記入力発話文と対応する応答文との誤差が所定の条件に満たない場合は、前記第２パラメータを更新し、前記誤差が所定の条件を満たす場合は、直前に使用している前記第２パラメータを学習済パラメータとして出力する、パラメータ更新部と、
を有する応答変換学習装置。
【請求項３】
Ｍ，Ｎ（Ｍ＞Ｎ）はそれぞれ自然数とし、(Ｓ
ｉ
ｅ
，Ｓ
ｉ
ｒ
)は学習用対話コーパスにおけるｉ（ｉ＝１，２，…Ｍ）番目の発話文と応答文とし、(Ｔ
ｊ
ｅ
，Ｔ
ｊ
ｒ
)は前記用例応答データベースにおけるｊ（ｊ＝１，２，…Ｎ）番目の用例文と応答文とし、ｓｉｍ（ｘ，ｙ）はベクトルｘとベクトルｙとの類似度とし、θ
ｓｉｍ
は予め定めた閾値とした場合、
前記疑似用例応答データベースは、次式
TIFF
2024117996000008.tif
9
40
TIFF
2024117996000009.tif
9
40
の双方の式の条件を具備した発話文と応答文とが前記学習用対話コーパスから抽出して作成されている、請求項２に記載の応答変換学習装置。
【請求項４】
一組が用例文とこの用例文に対応する応答文とからなる複数の組を有した用例応答データベースと、一組が発話文とこの発話文に対応する応答文とからなり、前記用例応答データベースが有する組数よりも多くの組数を有する学習用対話コーパスとを使用するものであって、
Ｍ，Ｎ（Ｍ＞Ｎ）はそれぞれ自然数とし、(Ｓ
ｉ
ｅ
，Ｓ
ｉ
ｒ
)は前記学習用対話コーパスにおけるｉ（ｉ＝１，２，…Ｍ）番目の発話文と応答文とし、(Ｔ
ｊ
ｅ
，Ｔ
ｊ
ｒ
)は前記用例応答データベースにおけるｊ（ｊ＝１，２，…Ｎ）番目の用例文と応答文とし、ｓｉｍ（ｘ，ｙ）はベクトルｘとベクトルｙの類似度とし、θ
ｓｉｍ
は閾値とした場合、
前記用例応答データベースから入力された用例文と前記学習用対話コーパスから入力された発話文との第１類似度ｓｉｍ（Ｓ
ｉ
ｅ
，Ｔ
ｊ
ｅ
）と、前記用例応答データベースから入力された応答と前記学習用対話コーパスから入力された応答文との第２類似度ｓｉｍ（Ｓ
ｉ
ｒ
，Ｔ
ｊ
ｒ
）とを算出する類似度計算部と、
算出された前記第１類似度及び第２類似度が、次式
TIFF
2024117996000010.tif
9
40
TIFF
2024117996000011.tif
9
40
の双方の式の条件を具備する前記発話文と前記応答文との組を前記学習用対話コーパスから抽出してデータベースを生成する、データベース生成部と、
を有する、
データベース作成装置。
【請求項５】
一組が用例文と該用例文に対応する応答文とからなる用例応答ペアを複数有する用例応答データベースを用いる応答文生成装置であって、
ユーザの発話である入力発話文が入力された場合に、前記用例応答データベースの中から、前記入力発話文に基づいて所定の条件を満たす用例応答ペアを選択する応答選択部と、
入力された前記入力発話文、選択された前記用例応答ペアを用いて、前記入力発話文に対する応答文である変換後応答文を所定のパラメータに基づいて生成する応答変換部と、
一組が発話文と該発話文に対応する応答文からなる発話応答ペアを複数有する学習用対話コーパスから、前記用例応答データベースに含まれる用例応答ペアとの類似度が所定の条件を満たす前記発話応答ペアを抽出する類似度計算部と、
抽出された前記発話応答ペアに含まれる発話文を前記入力された入力発話文とし、前記類似度計算部による抽出の際に用いた前記用例応答データベースの用例応答ペアを選択された前記用例応答ペアとして、前記応答変換部に変換後応答文を生成させ、該変換後応答文と前記発話文に対応する応答文との誤差に基づいて前記パラメータを更新するパラメータ更新部と、
を有する応答文生成装置。
【請求項６】
応答選択部、エンコーダ、意味差分ベクトル生成部、及びデコーダを有した応答文生成装置が行う応答文生成方法であって、
前記応答選択部が、一組が用例文とこの用例文に対応する応答文とからなる複数の組を有した用例応答データベースの中から、入力されたユーザの発話である入力発話文に基づいて所定の条件を満たす用例文を決定し、決定した前記用例文とこれに対応する前記応答文とを選択し、
前記エンコーダが、前記入力発話文、選択された前記用例文、及び選択された前記応答文を、各文の意味ベクトルである、入力発話意味ベクトル、用例意味ベクトル、及び応答意味ベクトルへと変換し、
前記意味差分ベクトル生成部が、前記入力発話意味ベクトルと前記用例意味ベクトルとの差分から意味差分ベクトルを生成し、
前記デコーダが、前記意味差分ベクトルと前記応答意味ベクトルとを加算して、前記入力発話文と選択された前記用例文との意味の違いが反映された応答ベクトルへと変換し、前記応答ベクトルから前記入力発話に対する応答文である変換後応答文を生成する、
応答文生成方法。
【請求項７】
請求項１または請求項５に記載の応答文生成装置をコンピュータに機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、自然言語処理、及び自動応答技術に関するものであり、特に、想定されるユーザの入力（用例文）とそれに対応する応答文との組を複数格納した用例応答データベースに基づいて対話を行う用例応答ベースの対話システムにおける応答文生成に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
用例応答ベースの対話システムは単純かつ頑健であるため広く普及している。従来の用例応答ベースの対話技術としては、ニューラルネットワークのエンコーダ・デコーダモデルに基づく応答変換器を大規模な言語コーパス（汎用的な言語データ）を用いて自己符号化器として学習することにより、用例文として想定していない発話文に対しても柔軟に対応して応答文を生成するものがあった(例えば非特許文献１参照)。
【先行技術文献】
【非特許文献】
【０００３】
矢作凌大，能勢隆，伊藤彰則，用例ベース対話システムのための文ベクトルを用いた柔軟な応答生成手法の検討，音響学秋季研究発表会講演論文集, pp.809-812, 2021
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献１の技術は、汎用的な言語データから学習された自己符号化器であり、入力された発話文と予め用意された用例文との意味的差分を精緻にとらえた応答文を生成することができないという課題があった。
【０００５】
そこで、本開示は、上記課題を解決するためになされたものであり、入力された発話文と予め用意された用例文との意味的差分を精緻にとらえた応答文を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示の一態様の応答文生成装置は、応答選択部と、エンコーダと、意味差分ベクトル生成部と、デコーダとを有する。応答選択部は、一組が用例文とこの用例文に対応する応答文とからなる複数の組を有した用例応答データベースの中から、入力されたユーザの発話である入力発話文に基づいて所定の条件を満たす用例文を決定し、決定した用例文とこれに対応する応答文とを選択する。エンコーダは、入力発話文、選択された用例文、及び選択された応答文を、各文の意味ベクトルである、入力発話意味ベクトル、用例意味ベクトル、及び応答意味ベクトルへと変換する。意味差分ベクトル生成部は、入力発話意味ベクトルと用例意味ベクトルとの差分から意味差分ベクトルを生成する。デコーダは、意味差分ベクトルと応答意味ベクトルとを加算して、入力発話文と選択された用例文との意味の違いが反映された応答ベクトルへと変換し、応答ベクトルから入力発話文に対する応答文である変換後応答文を生成する。
【発明の効果】
【０００７】
本開示によれば、応答文生成装置１の応答変換部２０は、学習用対話コーパスから用例応答データベースに類似した発話文と応答文との組を抽出した疑似用例応答データベースを作成し、この疑似用例応答データベースを用いてニューラルネットワークのパラメータを更新する学習（ファインチューニング）が行われている。したがって、入力された発話文と予め用意された用例文との意味的差分を精緻にとらえた応答文を生成することができる。
【図面の簡単な説明】
【０００８】
図１は本開示の実施形態に係る応答文生成装置の機能構成例を示した図である。
図２は本開示の実施形態に係る応答文生成方法の処理フロー例を示した図である。
図３は本開示の実施形態に係る応答変換学習装置の機能構成例を示した図である。
図４は本開示の実施形態に係る応答変換学習方法の処理フロー例を示した図である。
図５は本開示の実施形態に係るデータベース作成装置の機能構成例を示した図である。
図６は本開示の実施形態に係るデータベース作成方法の処理フロー例を示した図である。
図７は本開示の実施形態に係る自己符号化学習装置の機能構成例を示した図である。
図８は本開示の実施形態に係る自己符号化学習方法の処理フロー例を示した図である。
図９は本開示の実施形態の変形例に係る応答文生成装置の機能構成例において、ユーザの発話である入力発話文ｘが入力された場合を示した図である。
図１０は本開示の実施形態の変形例に係る応答文生成装置における応答文生成方法の処理フロー例を示した図である。
図１１は本開示の実施形態の変形例に係る応答文生成装置の機能構成例において、学習用対話コーパスＤ３から発話文Ｓ
ｉ
ｅ
と、発話文Ｓ
ｉ
ｅ
に対応する応答文Ｓ
ｉ
ｒ
とが入力された場合を示した図である。
図１２は本開示の実施形態の変形例に係る応答変換部２０ａの学習方法の処理フロー例を示した図である。
図１３はコンピュータの機能構成を例示する図である。
【発明を実施するための形態】
【０００９】
＜文字表記＞
文中で下付き文字と一緒に使用する記号「
e
」（上付き文字ｅ）、及び「
ｒ
」（上付き文字ｒ）は、本来直後の下付文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該下付文字の直後に記載する。数式中においてはこれらの記号は本来の位置、すなわち下付文字の真上に記述している。例えば、「Ｓ
ｉ
ｅ
」は数式中では次式で表される。
TIFF
2024117996000002.tif
9
5
文中で使用する記号「^」（上付きハット）は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。例えば、「^ｖ」は数式中では次式で表される。
TIFF
2024117996000003.tif
9
5
以下、図を用いて本開示の実施形態について詳細に説明する。また、以下、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１０】
［応答文生成装置］
本開示の実施形態に係る応答文生成装置１は、図１に示すように、応答選択部１０と、応答変換部２０とを有する。応答変換部２０はニューラルネットワークであり、エンコーダ２１と、意味差分ベクトル生成部２２と、デコーダ２３とを有する。応答文生成装置１は、用例応答データベースＤ１と学習済パラメータデータベースＰ２とを使用するが、これらは、応答文生成装置１内に設けてもよいし、応答文生成装置１からアクセスできるのであれば、少なくとも１つを応答文生成装置１とは別に設けてもよい。応答文生成装置１は、入力された入力発話文ｘから、入力発話文ｘに対応する応答文である変換後応答文ｖを生成して出力する装置である。応答文生成装置１が、図２に示した処理フローを実施することにより本実施形態の応答文生成方法を行う。
（【００１１】以降は省略されています）

関連特許