特許ウォッチ

公開番号2025176387
公報種別公開特許公報(A)
公開日2025-12-04
出願番号2024082504
出願日2024-05-21
発明の名称キャプション生成装置及びプログラム
出願人日本放送協会
代理人個人,個人
主分類H04N 21/435 20110101AFI20251127BHJP(電気通信技術)
要約【課題】テレビ番組の画像に関するキャプションの生成精度を向上させること。
【解決手段】キャプション生成装置は、第1の番組に関する第1の画像及び第1のメタデータをテレビ放送のストリームから抽出するメタデータ抽出部と、テキスト及び画像と、当該テキスト及び当該画像に関して正解としてのキャプションとの対応関係を学習済みの機械学習モデルを用いて、前記第1のメタデータに基づくテキストと前記第1の画像とに対応するキャプションを生成するキャプション生成部と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
第１の番組に関する第１の画像及び第１のメタデータをテレビ放送のストリームから抽出するメタデータ抽出部と、
テキスト及び画像と、当該テキスト及び当該画像に関して正解としてのキャプションとの対応関係を学習済みの機械学習モデルを用いて、前記第１のメタデータに基づくテキストと前記第１の画像とに対応するキャプションを生成するキャプション生成部と、
を有することを特徴とするキャプション生成装置。
続きを表示（約 660 文字）【請求項２】
前記第１の画像に関するキャプションの生成指示を示す指示テキストを前記メタデータに基づいて生成する指示テキスト生成部、
を有し、
前記キャプション生成部は、前記機械学習モデルを用いて、前記指示テキストと前記第１の画像とに対応するキャプションを生成する、
ことを特徴とする請求項１に記載のキャプション生成装置。
【請求項３】
前記キャプション生成部は、テレビ番組を構成する画像に関するキャプションの生成指示を示す指示テキスト、当該テレビ番組に関するメタデータ、及び当該テレビ番組を構成する画像と、当該指示テキスト、当該メタデータ、及び当該画像に関して正解としてのキャプションとの対応関係を学習済みの前記機械学習モデルを用いて、入力された指示テキストと、前記第１のメタデータと、前記第１の番組に関して前記ストリームに含まれている画像とに対応するキャプションを生成する、
ことを特徴とする請求項１に記載のキャプション生成装置。
【請求項４】
第１の番組に関する第１の画像及び第１のメタデータをテレビ放送のストリームから抽出するメタデータ抽出手順と、
テキスト及び画像と、当該テキスト及び当該画像に関して正解としてのキャプションとの対応関係を学習済みの機械学習モデルを用いて、前記第１のメタデータに基づくテキストと前記第１の画像とに対応するキャプションを生成するキャプション生成手順と、
をコンピュータに実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、キャプション生成装置及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
従来、静止画又は動画等の画像に対し、その内容を説明する文章（キャプション）を自動生成する技術が存在する。非特許文献１には、ニューラルネットワークを用いたキャプショニング技術が開示されている。ニューラルネットワークは画像と指示テキストの２つを入力し、テキストを出力する。指示テキストを変更することで、同じ画像に対して任意の（指示テキストに応じた）キャプションを生成することができる。例えば、指示テキストを「この画像は何を表すか？（文献１では英語の手法なので「what does the image describe?」を利用）」とすれば画像全体を説明するキャプションが生成される。また、指示テキストを「画像にどのような人物が映っているか？」とすれば、画像に映った人物を説明するキャプションが生成される。
【０００３】
特許文献１や特許文献２では、運転挙動特徴や、階層化ラベルといった、付加的な情報を使って、画像説明文生成の精度を向上させる。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１７４１７２号公報
特開２０２２－５２４８１号公報
【非特許文献】
【０００５】
Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, Hongxia Yang、"OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework"、Proceedings of the 39th International Conference on Machine Learning, PMLR 162:23318-23340, 2022
【発明の概要】
【発明が解決しようとする課題】
【０００６】
先行文献が生成できるキャプションは、学習に用いたデータセットに強く依存する。そのため、学習データに含まれない映像に対しては、著しく精度が落ちる。例えば、海外のデータセットで学習したモデルを、日本のテレビ番組映像に用いた場合、日本特有の情景は正しく伝えることができない。
【０００７】
また、特許文献１や特許文献２に開示された技術が利用する付加的情報はテレビ番組映像に適していない（テレビ番組映像に直接用いることができない）。
【０００８】
本発明は、上記の点に鑑みてなされたものであって、テレビ番組の画像に関するキャプションの生成精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
そこで上記課題を解決するため、キャプション生成装置は、第１の番組に関する第１の画像及び第１のメタデータをテレビ放送のストリームから抽出するメタデータ抽出部と、テキスト及び画像と、当該テキスト及び当該画像に関して正解としてのキャプションとの対応関係を学習済みの機械学習モデルを用いて、前記第１のメタデータに基づくテキストと前記第１の画像とに対応するキャプションを生成するキャプション生成部と、を有する。
【発明の効果】
【００１０】
テレビ番組の画像に関するキャプションの生成精度を向上させることができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許