特許ウォッチ

公開番号2025123494
公報種別公開特許公報(A)
公開日2025-08-22
出願番号2025105505,2023216105
出願日2025-06-23,2020-12-09
発明の名称生成システム、学習システム、生成方法、学習方法、及びプログラム
出願人NTT株式会社
代理人弁理士法人ITOH
主分類G06N 3/0475 20230101AFI20250815BHJP(計算;計数)
要約【課題】視覚情報を考慮した機械読解を実現すること。
【解決手段】一実施形態に係る学習装置は、視覚的な領域が含まれるデータと、前記データに関連する第1の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第1の情報に対応する第2の情報を生成する生成部と、前記第2の情報と、前記第2の情報の正解を表す第3の情報とに基づいて、前記モデルパラメータを学習する学習部と、を有することを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部と、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部と、
を有することを特徴とする学習装置。
続きを表示（約 1,300 文字）【請求項２】
前記生成部は、
前記領域の特徴を表す情報と前記第１の情報との特徴量を作成し、前記特徴量から前記第２の情報を生成する、請求項１に記載の学習装置。
【請求項３】
前記領域には、画像又は図表が少なくとも含まれる、請求項１又は２に記載の学習装置。
【請求項４】
前記第１の情報は、前記データに関連する内容を表すテキスト情報である、請求項１乃至３の何れか一項に記載の学習装置。
【請求項５】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域と、前記第１の情報に対応する第２の情報との関連度を算出する算出部と、
前記関連度と、前記関連度の正解を表す情報とに基づいて、前記モデルパラメータを学習する学習部と、
を有することを特徴とする学習装置。
【請求項６】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部、
を有することを特徴とする生成装置。
【請求項７】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域に関して、前記領域と前記第１の情報に対応する第２の情報との関連度に基づく所定の評価値を出力する出力部、
を有することを特徴とする出力装置。
【請求項８】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成手順と、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習手順と、
をコンピュータが実行することを特徴とする学習方法。
【請求項９】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成手順、
をコンピュータが実行することを特徴とする生成方法。
【請求項１０】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部、
としてコンピュータを機能させることを特徴とするプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、生成装置、出力装置、学習方法、生成方法、プログラム、及び学習済み機械学習モデルの製造方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
与えられた文書の集合に基づいて、質問に対する回答を生成する「機械読解」を人工知能により正確に行うことができれば、質問応答や知的エージェント対話等の幅広いサービスに応用することができる。機械読解には抽出型と生成型があるが、生成型の機械読解を行うための従来技術として、例えば、非特許文献１に開示された技術が知られている。
【先行技術文献】
【非特許文献】
【０００３】
Kyosuke Nishida, Itsumi Saito, Kosuke Nishida, Kazutoshi Shinoda, Atsushi Otsuka, Hisako Asano, Junji Tomita: Multi-style Generative Reading Comprehension. ACL (1) 2019: 2273-2284
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の機械読解技術はテキストのみを扱っており、文書中におけるテキストの位置や大きさ等の視覚的な情報を扱うことができなかった。このため、複数個のテキストがレイアウトされた文書（例えば、ＨＴＭＬ（HyperText Markup Language）文書やＰＤＦ（Portable Document Format）文書等）を機械読解により理解する場合、テキストの内容以外の情報はすべて欠落した状態で扱われていた。
【０００５】
本発明の一実施形態は、上記の点に鑑みてなされたもので、視覚的な情報を考慮した機械読解を実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、一実施形態に係る学習装置は、視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部と、前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部と、を有することを特徴とする。
【発明の効果】
【０００７】
視覚情報を考慮した機械読解を実現することができる。
【図面の簡単な説明】
【０００８】
第一の実施形態に係る質問応答装置の全体構成（学習時）の一例を示す図である。
第一の実施形態に係る学習処理の一例を示すフローチャートである。
第一の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。
特徴領域の抽出の一例を説明するための図である。
第一の実施形態に係る視覚効果付き言語理解処理の一例を示すフローチャートである。
第一の実施形態に係る回答テキスト生成確率算出処理の一例を示すフローチャートである。
第一の実施形態に係る質問応答装置の全体構成（推論時）の一例を示す図である。
第一の実施形態に係る推論処理の一例を示すフローチャートである。
第一の実施形態に係る回答テキスト生成処理の一例を示すフローチャートである。
第二の実施形態に係る質問応答装置の全体構成（学習時）の一例を示す図である。
第二の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。
第二の実施形態に係る視覚効果付き言語理解処理の一例を示すフローチャートである。
第二の実施形態に係る回答テキスト生成確率算出処理の一例を示すフローチャートである。
第二の実施形態に係る質問応答装置の全体構成（推論時）の一例を示す図である。
第二の実施形態に係る推論処理の一例を示すフローチャートである。
第二の実施形態に係る回答テキスト生成処理の一例を示すフローチャートである。
一実施形態に係る質問応答装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について説明する。
【００１０】
・第一の実施形態
本実施形態では、テキストを含む画像とこの画像に関連する質問テキストとが与えられたときに、この画像中の視覚的な情報（例えば、画像中におけるテキストの位置や大きさ等）を考慮した回答テキストを生成することができる質問応答装置１０について説明する。また、本実施形態に係る質問応答装置１０は、画像中におけるテキストの位置や大きさだけでなく、画像中に含まれるグラフや写真等の視覚的な情報（言い換えれば、テキストの理解を助ける補助的な情報）も考慮して回答テキストを生成することができる。
（【００１１】以降は省略されています）

関連特許