特許ウォッチ

公開番号2023038929
公報種別公開特許公報(A)
公開日2023-03-17
出願番号2022140877
出願日2022-09-05
発明の名称機械読解方法、装置、およびコンピュータ読み取り可能な記憶媒体
出願人株式会社リコー
代理人個人,個人,個人
主分類G06N 20/10 20190101AFI20230310BHJP(計算;計数)
要約【課題】機械読解モデルの性能を向上し、解答予測の精度を向上させる方法を提供する。
【解決手段】方法は、段落と問題からなる段落・問題ペアを取得し、段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成するステップ201と、段落・問題ペア中の各サブワードについて、いずれかのサブワードに対するサブワードの相対位置を決定し、相対位置およびサブワードのサブワードベクトルを用いて、第1部分におけるサブワードの自己注目情報を算出し、第2部分におけるサブワードの相互注目情報を算出するステップ202と、段落・問題ペア中の各サブワードについて、サブワードの自己注目情報と相互注目情報に基づいて、サブワードの融合ベクトルを生成するステップ203と、段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得るステップ204と、を含む。
【選択図】図2
特許請求の範囲【請求項１】
段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成するステップと、
前記段落・問題ペア中の各サブワードについて、前記サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記いずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置および前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、第２部分における前記サブワードの相互注目情報を算出するステップであって、前記第１部分は、前記サブワードが所在する段落または問題であり、前記第１部分が段落である場合は、前記第２部分は問題であり、前記第１部分が問題である場合は、前記第２部分は段落である、ステップと、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップと、
前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得るステップと、を含む、ことを特徴とする機械読解方法。
続きを表示（約 2,300 文字）【請求項２】
前記第１部分における当該サブワードの自己注目情報を算出するステップは、
前記段落・問題ペア中の各サブワードについて、前記第１部分におけるいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第１部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第１部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第１部分における当該サブワードの自己注目情報を得るステップを含む、ことを特徴とする請求項１に記載の機械読解方法。
【請求項３】
前記第２部分における当該サブワードの相互注目情報を算出するステップは、
前記段落・問題ペア中の各サブワードについて、前記第２部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第２部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第２部分のサブワードに対応するサブワードベクトルの加重合計を行い、前記第２部分のサブワードの相互注目情報を得るステップを含む、ことを特徴とする請求項１に記載の機械読解方法。
【請求項４】
前記サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップは、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して、当該サブワードの融合ベクトルを取得するステップを含む、ことを特徴とする請求項１に記載の機械読解方法。
【請求項５】
前記サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップは、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して、当該サブワードの注目情報を取得し、当該サブワードの注目情報と当該サブワードの所属するワードにおけるワード境界情報を融合して、当該サブワードの融合ベクトルを取得するステップを含む、ことを特徴とする請求項１に記載の機械読解方法。
【請求項６】
前記サブワードの注目情報と当該サブワードの所属ワードのワード境界情報を融合して、当該サブワードの融合ベクトルを取得するステップは、
各サブワードについて、当該サブワードが所属するワードにおける最初のサブワードであるか否かに基づいて、当該サブワードに対応するワード先頭情報を決定し、当該サブワードが所属するワードにおける最後のサブワードであるか否かに基づいて、当該サブワードに対応するワード末尾情報を決定するステップと、
当該サブワードの注目情報、ワード先頭情報、ワード末尾情報に対してベクトル融合を行い、当該サブワードの融合ベクトルを取得するステップと、を含む、ことを特徴とする請求項５に記載の機械読解方法。
【請求項７】
前記当該サブワードの自己注目情報と相互注目情報の融合は、当該サブワードの自己注目情報と相互注目情報のベクトル加算またはベクトル結合を含む、ことを特徴とする請求項４または５に記載の機械読解方法。
【請求項８】
段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成する符号化モジュールと、
前記段落・問題ペア中の各サブワードについて、当該サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記段落・問題ペア中のいずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置と前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、第２部分における前記サブワードの相互注目情報を算出し、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成する相互作用情報算出モジュールであって、前記第１部分は、前記サブワードが所在する段落または問題であり、前記第１部分が段落である場合は、前記第２部分が問題であり、前記第１部分が問題である場合は、前記第２部分が段落である、相互作用情報算出モジュールと、
前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得る復号化モジュールと、を備えることを特徴とする機械読解装置。
【請求項９】
前記相互作用情報算出モジュールは、
前記段落・問題ペア中の各サブワードについて、前記第１部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第１部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第１部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第１部分における当該サブワードの自己注目情報を得る自己注目情報算出モジュールを備えることを特徴とする請求項８に記載の機械読解装置。
【請求項１０】
前記相互作用情報算出モジュールは、
前記段落・問題ペア中の各サブワードについて、第２部分のいずれかのサブワードに対する該サブワードの相対位置を用いて、前記第２部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第２部分のサブワードに対応するサブワードベクトルの加重合計を行い、当該サブワードの第２部分における相互注目情報を得る相互注目情報算出モジュールを備えることを特徴とする請求項８に記載の機械読解装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、自然言語処理（Natural Language Processing：NLP）における機械読解（Machine Reading Comprehension）の分野に関し、具体的には、機械読解方法、装置およびコンピュータ読み取り可能な記憶媒体に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
機械読解技術とは、アルゴリズムを用いてコンピュータに文章の意味を理解させるとともに、関連する問題に答えられるようにする技術である。段落と問題のいずれも、人間の言語形式による文字表現であり、文章は、1つまたは複数の段落を含むことができる。機械読解モデルの入力は、段落（Paragraph）と問題（Question）からなる段落・問題ペアであり、通常は一段落の文字である。機械読解モデルの出力は、該問題への予測された解答（Answer）である。
【０００３】
機械読解モデルから出力する解答には、あらかじめ用意された複数の解答選択肢から解答を選択する多肢選択型、段落から解答の開始位置と終了位置を特定して解答を提供する区間解答型、自ら解答を生成する自由生成型などの種類がある。
【０００４】
図1は、機械読解モデルの一般的なアーキテクチャを示し、通常は、符号化層、相互作用層、復号層（復号層は、デコーダまたは出力層と呼ばれることもある）を有する。符号化層では、段落と問題のそれぞれに底層処理を施し、段落・問題ペアをデジタル符号に変換し、コンピュータで処理可能な情報単位とする。符号化において、モデルは元の語句の文章における意味を維持する必要がある。
【０００５】
相互作用層では、モデルに段落と問題の意味的なつながりに注目させ、段落の意味分析から問題への理解を深めるとともに、問題の意味分析から段落への理解を深めることができる。読解モデルは、段落と問題の意味を組み合わせて考慮し、モデルの両者への理解を深める。
【０００６】
相互作用層を経て、モデルは段落と問題の意味的つながりを確立し、これにより、問題への解答を予測することができる。予測機能を完成させるモジュールは、復号層（デコーダまたは出力層）と呼ばれる。前述したように、機械読解タスクの解答には、区間解答型、多肢選択型など、様々なタイプがあるため、復号層の具体的な形態は、タスクの解答タイプとの連付けを行う必要がある。また、復号層は、モデル最適化時の評価関数と損失関数を決定する。
【０００７】
本発明者らは、従来技術の機械読解モデルは、通常、相互作用層における段落と問題間の意味的つながりしか考慮しておらず、したがって、解答予測の精度を高めるためには、それらを改良する必要があることを見出した。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の実施形態は、機械読解モデルの性能を向上し、解答予測の精度を向上させることができる機械読解方法、装置およびコンピュータ読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、少なくとも1つの実施形態は、段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成するステップと、
前記段落・問題ペア中の各サブワードについて、前記サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記いずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置および前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、第２部分における前記サブワードの相互注目情報を算出するステップであって、前記第１部分は、前記サブワードが所在する段落または問題であり、前記第１部分が段落である場合は、前記第２部分は問題であり、前記第１部分が問題である場合は、前記第２部分は段落である、ステップと、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップと、前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得るステップと、を含む機械読解方法を提供する。
【００１０】
さらに、本発明の少なくとも1つの実施形態によれば、前記第１部分における当該サブワードの自己注目情報を算出するステップは、前記段落・問題ペア中の各サブワードについて、前記第1部分におけるいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第1部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第1部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第1部分における当該サブワードの自己注目情報を得るステップを含んでもよい。
（【００１１】以降は省略されています）

関連特許