特許ウォッチ

公開番号2025167140
公報種別公開特許公報(A)
公開日2025-11-07
出願番号2024071484
出願日2024-04-25
発明の名称プログラム、映像処理装置および映像処理方法
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類H04N 5/92 20060101AFI20251030BHJP(電気通信技術)
要約【課題】ユーザからの要求に応じて、ユーザの意図したとおりの映像処理を可能にする。
【解決手段】実施形態のプログラムは、入力された第1の映像データに含まれるシーンを表すテキストデータを受け付けるコンピュータを、解釈部と検索部として機能させる。解釈部は、前記テキストデータを解釈し、前記第1の映像データの映像要素の検索に使用されるクエリ情報を生成する。検索部は、前記クエリ情報を使用して、前記第1の映像データの映像要素を検索し、検索結果に基づいて前記第1の映像データのメタデータを生成し、前記メタデータを記憶部に記憶する。
【選択図】図2
特許請求の範囲【請求項１】
入力された第１の映像データに含まれるシーンを表すテキストデータを受け付けるコンピュータを、
前記テキストデータを解釈し、前記第１の映像データの映像要素の検索に使用されるクエリ情報を生成する解釈部と、
前記クエリ情報を使用して、前記第１の映像データの映像要素を検索し、検索結果に基づいて前記第１の映像データのメタデータを生成し、前記メタデータを記憶部に記憶する検索部、
として機能させるためのプログラム。
続きを表示（約 1,400 文字）【請求項２】
前記クエリ情報は、前記映像要素を検索する検索クエリと、前記検索クエリの重要度を示すクエリ重要度と、を含み、
前記解釈部は、前記テキストデータと前記検索クエリとの関連性が大きいほど、前記クエリ重要度を大きくする、
請求項１に記載のプログラム。
【請求項３】
前記メタデータは、検索された映像区間を示す時刻情報と、前記映像区間の重要度を示す映像重要度とを含み、
前記検索部は、前記検索結果の信頼度と、前記クエリ重要度とに基づいて、前記映像重要度を算出する、
請求項２に記載のプログラム。
【請求項４】
前記検索部は、前記検索クエリを含む質問文を用いたＶＱＡ（ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ）またはＡＱＡ（ＡｕｄｉｏＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ）によって、前記映像要素を検索し、前記質問文によって表された検索条件に合致した映像区間ほど、前記検索結果の信頼度を大きく決定する、
請求項３に記載のプログラム。
【請求項５】
前記コンピュータを、
前記映像重要度に基づいて前記第１の映像データを編集することによって、前記第１の映像データよりも短い第２の映像データを生成する生成部、
として更に機能させる請求項３に記載のプログラム。
【請求項６】
前記コンピュータを、
前記第１の映像データを解析することによって、前記第１の映像データを複数のシーンに分割する分割部、として更に機能させ、
前記メタデータは、前記複数のシーンの境界を示す境界時刻を更に含み、
前記生成部は、前記映像重要度が、より大きい映像区間を含むシーンを、前記境界時刻の早い順に、所定の映像長に基づいて選択して連結することによって、前記第２の映像データを生成する、
請求項５に記載のプログラム。
【請求項７】
前記コンピュータを、
ユーザからの操作入力に応じて、前記クエリ情報を編集する編集部、
として更に機能させる請求項１乃至６のいずれか１項に記載のプログラム。
【請求項８】
前記映像要素は、画像、音および字幕のうち、少なくとも１つを含む、
請求項１乃至６のいずれか１項に記載のプログラム。
【請求項９】
入力された第１の映像データに含まれるシーンを表すテキストデータを受け付ける映像処理装置であって、
前記テキストデータを解釈し、前記第１の映像データの映像要素の検索に使用されるクエリ情報を生成する解釈部と、
前記クエリ情報を使用して、前記第１の映像データの映像要素を検索し、検索結果に基づいて前記第１の映像データのメタデータを生成し、前記メタデータを記憶部に記憶する検索部と、
を備える映像処理装置。
【請求項１０】
入力された第１の映像データに含まれるシーンを表すテキストデータを受け付ける映像処理装置の映像処理方法であって、
前記映像処理装置が、前記テキストデータを解釈し、前記第１の映像データの映像要素の検索に使用されるクエリ情報を生成するステップと、
前記映像処理装置が、前記クエリ情報を使用して、前記第１の映像データの映像要素を検索し、検索結果に基づいて前記第１の映像データのメタデータを生成し、前記メタデータを記憶部に記憶するステップと、
を含む映像処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態はプログラム、映像処理装置および映像処理方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
映像データに、映像の内容を表すメタデータを付与し、当該メタデータを映像の編集に活用する技術が利用されている。例えば、映像管理装置が、映像中の映像要素を認識してテキスト化することでメタデータを生成し、ユーザの要求に応じたメタデータに対応する映像を編集し、編集された映像を出力する技術が従来から知られている。
【先行技術文献】
【特許文献】
【０００３】
特許第７１２１３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、ユーザからの要求に応じて、ユーザの意図したとおりの映像処理を可能にすることが難しかった。
【課題を解決するための手段】
【０００５】
実施形態のプログラムは、入力された第１の映像データに含まれるシーンを表すテキストデータを受け付けるコンピュータを、解釈部と検索部として機能させる。解釈部は、前記テキストデータを解釈し、前記第１の映像データの映像要素の検索に使用されるクエリ情報を生成する。検索部は、前記クエリ情報を使用して、前記第１の映像データの映像要素を検索し、検索結果に基づいて前記第１の映像データのメタデータを生成し、前記メタデータを記憶部に記憶する。
【図面の簡単な説明】
【０００６】
第１実施形態の映像処理装置のハードウェア構成の一例を示す図。
第１実施形態の映像処理装置の機能構成の一例を示す図。
第１実施形態の映像処理装置の操作画面の一例を示す図。
第１実施形態の検索部による検索結果情報の一例を示す図。
第１実施形態の解釈部の機能構成の一例を示す図。
第１実施形態の画像クエリテーブルの一例を示す図。
第１実施形態の応答部による回答文の例１を示す図。
第１実施形態の音クエリテーブルの一例を示す図。
第１実施形態の応答部による回答文の例２を示す図。
第１実施形態のクローズドキャプションクエリテーブルの一例を示す図。
第１実施形態に応答部による回答文の例３を示す図。
第１実施形態のクエリ情報の一例を示す図。
第１実施形態のクエリ重要度調整後のクエリ情報の例を示す図。
第１実施形態の検索部の機能構成の一例を示す図。
第１実施形態の映像処理方法の一例を示すフローチャート。
第２実施形態の映像処理装置の機能構成の一例を示す図。
第２実施形態の解釈部の機能構成の一例を示す図。
第２実施形態の顔クエリテーブルの一例を示す図。
第２実施形態の文字クエリテーブルの一例を示す図。
第２実施形態の映像属性データの一例を示す図。
第２実施形態の応答部による回答文の一例を示す図。
第２実施形態の音声クエリテーブルの一例を示す図。
第２実施形態の応答部による回答文の一例を示す図。
第２実施形態の検索部の機能構成の一例を示す図。
第１実施形態の映像処理方法の一例を示すフローチャート。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、プログラム、映像処理装置および映像処理方法の実施形態を詳細に説明する。
【０００８】
（第１実施形態）
はじめに、第１実施形態の映像処理装置２００のハードウェア構成の例について説明する。
【０００９】
［ハードウェア構成の例］
図１は第１実施形態の映像処理装置２００のハードウェア構成の一例を示す図である。図１の例は、第１実施形態の映像処理装置２００が、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などの計算機に実装される場合を示している。
【００１０】
第１実施形態の映像処理装置２００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０３と、操作入力装置３０４と、表示装置３０５と、記憶装置３０６と、通信装置３０７とを備える。そして、ＣＰＵ３０１と、ＲＡＭ３０２と、ＲＯＭ３０３と、操作入力装置３０４と、表示装置３０５と、記憶装置３０６と、通信装置３０７とは、バス３０８により接続される。
（【００１１】以降は省略されています）

関連特許