特許ウォッチ

公開番号2025179599
公報種別公開特許公報(A)
公開日2025-12-10
出願番号2024086455
出願日2024-05-28
発明の名称要約装置、要約方法及びプログラム
出願人NTT株式会社,国立大学法人東京科学大学
代理人弁理士法人ITOH,個人,個人
主分類G06F 16/583 20190101AFI20251203BHJP(計算;計数)
要約【課題】複数の画像について因果関係が保持された要約を生成可能すること。
【解決手段】要約装置は、時系列に関連のある事象に関する複数の画像についての修辞構造木を生成するように構成されている修辞構造木生成部と、前記修辞構造木に基づいて、前記画像をノードとして前記画像に係る事象間の関係を表す木構造を生成するように構成されている事象関係生成部と、前記複数の画像の要約に対する制約を満たすように、前記木構造から部分木を抽出するように構成されている要約生成部と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
時系列に関連のある事象に関する複数の画像についての修辞構造木を生成するように構成されている修辞構造木生成部と、
前記修辞構造木に基づいて、前記画像をノードとして前記画像に係る事象間の関係を表す木構造を生成するように構成されている事象関係生成部と、
前記複数の画像の要約に対する制約を満たすように、前記木構造から部分木を抽出するように構成されている要約生成部と、
を有することを特徴とする要約装置。
続きを表示（約 740 文字）【請求項２】
前記要約生成部は、前記木構造の各ノードに当該ノードに係る前記画像の内容を示すテキストを付与し、各ノードに対応する前記画像又は前記テキストが前記制約を満たすような前記部分木を抽出するように構成されている、
ことを特徴とする請求項１記載の要約装置。
【請求項３】
前記修辞構造木生成部は、前記画像をフレームとする動画が含む事象ごとのフレーム列が葉ノードに対応する前記修辞構造木を生成するように構成されており、
前記事象関係生成部は、前記フレーム列をノードとして前記画像に係る事象間の関係を表す木構造を生成するように構成されており、
前記要約生成部は、前記木構造の各ノードに対して当該ノードに対応する前記フレーム列から１つのフレームを対応させて、前記動画の要約に対する制約を満たすように、前記木構造から部分木を抽出するように構成されている、
ことを特徴とする請求項１又は２記載の要約装置。
【請求項４】
前記木構造は談話依存構造木である、
ことを特徴とする請求項１記載の要約装置。
【請求項５】
時系列に関連のある事象に関する複数の画像についての修辞構造木を生成する修辞構造木生成手順と、
前記修辞構造木に基づいて、前記画像をノードとして前記画像に係る事象間の関係を表す木構造を生成する事象関係生成手順と、
前記複数の画像の要約に対する制約を満たすように、前記木構造から部分木を抽出する要約生成手順と、
をコンピュータが実行することを特徴とする要約方法。
【請求項６】
請求項１記載の要約装置としてコンピュータを機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、要約装置、要約方法及びプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
従来、与えられた動画から抜き出したいくつかのフレーム（動画中のある時刻に対応する静止画）と各フレームに対するキャプションを生成することで、当該動画に対して要約をフレーム（静止画）とテキストという２つのモダリティで表すマルチモーダル要約が実現されている（非特許文献１）。以下、要約として抽出されたフレームを「キーフレーム」という。
【先行技術文献】
【非特許文献】
【０００３】
Kudo et al.、"A Challenging Multimodal Video Sum-mary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video"、Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing、7380-7402
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１の方法には、動画中の事象（イベント又はシーン）間の関係を解析・考慮する仕組みがないため、動画中の事象間の関係（例えば因果関係）が抽出されたフレーム間に成り立つとは限らない。このため、要約としてみた時にフレーム、テキストともに利用者に誤解を生じさせる可能性がある。例えば、シーンＡとシーンＢとの間に因果関係が成り立ち、シーンＣとシーンＤとの間にも因果関係が成り立っている場合に、シーンＢとシーンＣを削除すると（つまり、シーンＡ及びＤのみを要約として抽出すると）、シーンＡとシーンＤとの間に因果関係が成り立つと誤解させる可能性がある。
【０００５】
上記の問題は、動画に限らず時系列に関連のある事象に関する複数の画像（静止画）についても同様である。
【０００６】
本発明は、上記の点に鑑みてなされたものであって、複数の画像について因果関係が保持された要約を生成可能することを目的とする。
【課題を解決するための手段】
【０００７】
そこで上記課題を解決するため、要約装置は、時系列に関連のある事象に関する複数の画像についての修辞構造木を生成するように構成されている修辞構造木生成部と、前記修辞構造木に基づいて、前記画像をノードとして前記画像に係る事象間の関係を表す木構造を生成するように構成されている事象関係生成部と、前記複数の画像の要約に対する制約を満たすように、前記木構造から部分木を抽出するように構成されている要約生成部と、を有する。
【発明の効果】
【０００８】
複数の画像について因果関係が保持された要約を生成可能することができる。
【図面の簡単な説明】
【０００９】
本発明の実施の形態における要約装置１０のハードウェア構成例を示す図である。
本発明の実施の形態における要約装置１０の機能構成例を示す図である。
要約装置１０が実行する処理手順の一例を説明するためのフローチャートである。
イベントを葉ノードとする修辞構造木の一例を示す図である。
修辞構造木から談話依存構造木への変換過程を説明するための第１の図である。
修辞構造木から談話依存構造木への変換過程を説明するための第１の図である。
修辞構造木から変換された談話依存構造木の一例を示す図である。
談話依存構造木から要約としての制約を満たす根つき部分木の抽出処理の処理手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における要約装置１０のハードウェア構成例を示す図である。図１の要約装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。
（【００１１】以降は省略されています）

関連特許