特許ウォッチ

公開番号2025011027
公報種別公開特許公報(A)
公開日2025-01-23
出願番号2024088758
出願日2024-05-31
発明の名称機械読解方法及び機械読解システム
出願人アジアパシフィックマシーンインテリジェンスカンパニー,Asia Pacific Machine Intelligence Company
代理人個人,個人,個人,個人
主分類G06F 40/44 20200101AFI20250116BHJP(計算;計数)
要約【課題】機械読解方法を開示する。
【解決手段】訓練データ及び複数の第1マスク問題に基づいて機械読解モデルを確立する工程と、複数の第2マスク問題を機械読解モデルに入力して機械読解モデルを訓練する工程と、機械読解モデルに従って対話生成モデルを生成する工程と、対話生成モデルに従って対話を生成する工程と、を備える機械読解方法。
【選択図】図2
特許請求の範囲【請求項１】
訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立する工程と、
複数の第２マスク問題を前記機械読解モデルに入力して前記機械読解モデルを訓練する工程と、
前記機械読解モデルに従って対話生成モデルを生成する工程と、
前記対話生成モデルに従って対話を生成する工程と、
を備える機械読解方法。
続きを表示（約 1,700 文字）【請求項２】
前記訓練データ及び前記複数の第１マスク問題に基づいて前記機械読解モデルを確立する工程は、
前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第１マスク問題を生成する工程と、
前記訓練データを探して前記複数の第１マスク問題に対応する複数の第１答えを取得する工程と、
を含む請求項１に記載の機械読解方法。
【請求項３】
前記複数の第２マスク問題を前記機械読解モデルに入力して前記機械読解モデルを訓練する工程は、
前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第２マスク問題を生成する工程と、
前記複数の第２マスク問題を前記機械読解モデルに入力し、且つ前記機械読解モデルが複数の推定答えの複数の確率に基づいて前記複数の第２マスク問題に対応する複数の第２答えを判定する工程と、
前記複数の第２答えの複数のフィードバックスコアに基づいて前記機械読解モデルを訓練する工程と、
を含む請求項２に記載の機械読解方法。
【請求項４】
前記機械読解モデルに従って前記対話生成モデルを生成する工程は、
複数の対話文を前記対話生成モデルに入力する工程と、
前記対話生成モデルが前記機械読解モデルに従って複数の返答文を生成する工程と、
複数の返答文の複数のフィードバックスコアに基づいて前記対話生成モデルを訓練する工程と、
を含む請求項１に記載の機械読解方法。
【請求項５】
前記複数の対話文及び前記複数の返答文に基づいて複数の生成ポリシーを生成する工程と、
前記複数の生成ポリシーのうちの最適なものに基づいて前記対話を生成する工程と、
を更に備える請求項４に記載の機械読解方法。
【請求項６】
訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立し、且つ複数の第２マスク問題を前記機械読解モデルに入力して前記機械読解モデルを訓練するための機械読解回路と、
前記機械読解回路に結合され、前記機械読解モデルに従って対話生成モデルを生成し、且つ前記対話生成モデルに従って対話を生成するための対話生成回路と、
前記機械読解回路と前記対話生成回路に結合され、前記機械読解モデル及び前記対話生成モデルを記憶するためのメモリと、
を含む機械読解システム。
【請求項７】
前記機械読解回路は、更に、前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第１マスク問題を生成するために用いられ、且つ前記訓練データを探して前記複数の第１マスク問題に対応する複数の第１答えを取得するために用いられる請求項６に記載の機械読解システム。
【請求項８】
前記機械読解回路は、更に、前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第２マスク問題を生成するために用いられ、前記複数の第２マスク問題を前記機械読解モデルに入力して、前記機械読解モデルが複数の推定答えの複数の確率に基づいて前記複数の第２マスク問題に対応する複数の第２答えを判定し、且つ前記複数の第２答えの複数のフィードバックスコアに基づいて前記機械読解モデルを訓練するために用いられる請求項７に記載の機械読解システム。
【請求項９】
前記対話生成回路は、更に、複数の対話文を前記対話生成モデルに入力するために用いられ、前記対話生成モデルが前記機械読解モデルに従って複数の返答文を生成するために用いられ、且つ複数の返答文の複数のフィードバックスコアに基づいて前記対話生成モデルを訓練するために用いられる請求項６に記載の機械読解システム。
【請求項１０】
前記対話生成回路は、更に、前記複数の対話文及び前記複数の返答文に基づいて複数の生成ポリシーを生成するために用いられ、且つ前記複数の生成ポリシーのうちの最適なものに基づいて前記対話を生成するために用いられる請求項９に記載の機械読解システム。

発明の詳細な説明【技術分野】
【０００１】
本願は、機械読解方法及び機械読解システムに関する。詳細には、本願は、マスク学習による機械読解方法及び機械読解システムに関する。なお、本明細書において「マスク学習」とは、文章中の句（フレーズ）をマスクして学習することを意味し、「マスク問題」とは一部のテキストがマスクされている文章を意味する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
機械読解（ＭａｃｈｉｎｅＲｅａｄｉｎｇＣｏｍｐｒｅｈｅｎｓｉｏｎ；ＭＲＣ）は、コンピュータに文章を閲覧させ且つ関連する問題を解く技術である。ここ数年来、各業界の文字データが大量に生成され、従来の人工処理方式を用いると、処理速度が遅く、オーバーヘッドが大きく、問答ペアが全面的にカバーできないなどの問題に直面するため、機械読解に対する需要が徐々に高まっている。どのように大量の文字データを効果的に読解するかは、本分野で解決すべき問題の１つである。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示の１つの態様によれば、訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立する工程と、複数の第２マスク問題を機械読解モデルに入力して機械読解モデルを訓練する工程と、機械読解モデルに従って対話生成モデルを生成する工程と、対話生成モデルに従って対話を生成する工程と、を備える機械読解方法を提供する。
【０００４】
本開示の別の態様は、訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立し、且つ複数の第２マスク問題を機械読解モデルに入力して機械読解モデルを訓練するための機械読解回路と、機械読解回路に結合され、機械読解モデルに従って対話生成モデルを生成し、且つ対話生成モデルに従って対話を生成するための対話生成回路と、機械読解回路と対話生成回路に結合され、機械読解モデル及び対話生成モデルを記憶するためのメモリと、を含む機械読解システムを提供する。
【図面の簡単な説明】
【０００５】
後続の段落における実施形態及び下記図面を参照して、本願の内容をよりよく理解することができる。
本願のいくつかの実施例による機械読解システムの概略図である。
本願のいくつかの実施例による機械読解方法のフローチャートである。
本願のいくつかの実施例による図２における１つの工程のフローチャートである。
本願のいくつかの実施例による図２における１つの工程のフローチャートである。
本願のいくつかの実施例による図２における１つの工程のフローチャートである。
本願のいくつかの実施例による生成ポリシーの概略図である。
【発明を実施するための形態】
【０００６】
以下、図面及び詳細な記載で本願の精神を明瞭に説明し、当業者の誰でも、本願の実施例を理解した後、本願の精神と範囲から逸脱することなく、本願が教示した技術に変更及び修飾を加えることができる。
【０００７】
本明細書の用語は、特定の実施例を記述するためのものに過ぎず、本願の限定を意味するものではない。単数形の「１つ」、「これ」、「この」、「本」及び「該当」は、本明細書で用いたように、同様に複数形も含む。
【０００８】
本明細書で使用される「含む」、「備える」、「有する」、「含有する」などについては、すべて開放的な用語であり、つまり、含むがこれに限定されないこと、を意味する。
【０００９】
本明細書で使用される用語（ｔｅｒｍｓ）については、特に明記されない限り、通常、各用語がこの分野で使用され、本願の内容と特別な内容での一般的な意味を持っている。本願を記述するための用語のいくつかは、本願に関する記述のさらなる案内を当業者に提供するために、以下又は本明細書の他のところで議論される。
【００１０】
図１は、本願のいくつかの実施例による機械読解システム１００の概略図である。一部の実施例において、図１を参照すると、機械読解システム１００は、機械読解回路１１０と、対話生成回路１３０と、メモリ１５０と、を含む。一部の実施例において、機械読解回路１１０と、対話生成回路１３０と、メモリ１５０とは、相互に結合される。
（【００１１】以降は省略されています）

関連特許