特許ウォッチ

公開番号2025035509
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023142598
出願日2023-09-01
発明の名称動画情報検索装置、検索方法、検索プログラム、及び検索結果の利用方法
出願人株式会社ACES
代理人弁理士法人IP-FOCUS,個人
主分類G06F 16/73 20190101AFI20250306BHJP(計算;計数)
要約【課題】会議や講演会における重要なシーンを容易に検索することができる動画情報検索装置、検索方法、検索プログラム、及び検索結果の利用方法を提供する。
【解決手段】動画情報検索装置1は、動画データが入力される入力手段2と、クエリを作成するクエリ作成手段3と、動画データからシーンを抽出する抽出手段4と、抽出されたシーンを表示させる表示手段5と、検索クエリ記憶手段6を備える。操作画面10には、動画データが入力される入力エリア11と、検索クエリ30を作成可能なクエリ作成エリア13と、検索結果シーン20Sを表示可能な検索結果エリア14がある。選択エリア12には、使用可能なクエリと演算子が表示され、クエリ作成エリア13はオブジェクト化されたクエリや演算子を組み合わせて検索クエリ30を作成可能なエリアであり、視覚的に検索クエリ30を作成可能である。検索クエリ30は、言語クエリ31、音声クエリ32、及び画像クエリ34の組合せで作成する。
【選択図】図2
特許請求の範囲【請求項１】
動画データから所望のシーンを検索する装置であって、
画像データと音声データを有する動画データが入力される入力手段と、
前記音声データについて言語情報を検索する言語クエリと、前記音声データについて音声情報を検索する音声クエリとを用いて検索クエリを作成するクエリ作成手段と、
前記動画データから前記検索クエリの条件に合致するシーンである検索結果シーンを抽出する抽出手段と、
前記抽出手段により抽出された前記検索結果シーンを表示可能な表示手段とを備えていることを特徴とする動画情報検索装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の動画情報検索装置であって、
前記クエリ作成手段は前記画像データについて画像情報を検索する画像クエリを作成可能であり、前記言語クエリ、前記音声クエリ、又は前記画像クエリの少なくとも２種類のクエリを用いて前記検索クエリを作成することを特徴とする動画情報検索装置。
【請求項３】
請求項１に記載の動画情報検索装置であって、
前記クエリ作成手段は、前記言語クエリ、前記音声クエリ、及び検索式の作成に用いる演算子をオブジェクトとして前記表示手段により表示し、これらのクエリと前記演算子を組み合わせて前記検索クエリを作成可能であることを特徴とする動画情報検索装置。
【請求項４】
請求項２に記載の動画情報検索装置であって、
前記クエリ作成手段は、前記言語クエリ、前記音声クエリ、前記画像クエリ、及び検索式の作成に用いる演算子をオブジェクトとして前記表示手段により表示し、これらのクエリと前記演算子を組み合わせて前記検索クエリを作成可能であることを特徴とする動画情報検索装置。
【請求項５】
請求項２に記載の動画情報検索装置であって、
前記クエリ作成手段は、前記音声データ及び前記画像データの双方について検索が可能な複合クエリを作成可能であることを特徴とする動画情報検索装置。
【請求項６】
請求項５に記載の動画情報検索装置であって、
前記複合クエリは、前記言語情報、前記音声情報、及び前記画像情報の少なくとも一部又は全部を用いて前記動画データ内の発話者の発話及び挙動の少なくとも一方、及びこれらに対する受話者の反応について検索可能であることを特徴とする動画情報検索装置。
【請求項７】
請求項１又は２に記載の動画情報検索装置であって、
作成された前記検索クエリを記憶する検索クエリ記憶手段をさらに備え、
前記クエリ作成手段は、前記検索クエリ記憶手段に記憶された記憶済の前記検索クエリをそのまま使用するか、記憶済の前記検索クエリを編集して使用可能であることを特徴とする動画情報検索装置。
【請求項８】
コンピュータを請求項１乃至６のいずれか１項に記載の動画情報検索装置として作動させる動画情報検索プログラム。
【請求項９】
コンピュータを請求項７に記載の動画情報検索装置として作動させる動画情報検索プログラム。
【請求項１０】
動画データから所望のシーンを検索する方法であって、
少なくとも音声データを有する動画データが入力される入力ステップと、
前記音声データについて言語情報を検索する言語クエリと、前記音声データについて音声情報を検索する音声クエリとを用いて検索クエリを作成するクエリ作成ステップと、
前記動画データから前記検索クエリの条件に合致するシーンである検索結果シーンを抽出する抽出ステップと、
前記抽出ステップで抽出された前記検索結果シーンを表示する表示ステップとを備えていることを特徴とする動画情報検索方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオ会議、或いは講演会等の動画データから重要なシーンを検索可能な装置、方法、プログラム、及び検索結果の利用方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年では、テレワーク等の普及に伴い、ビデオ会議を利用する機会が増加している。また、営業活動においても、担当者が顧客を直接訪問して営業活動を行うだけでなく、ビデオ会議を利用して営業活動を行う機会が増加している。さらには、オンラインでの講演会等も頻繁に行われるようになっている。
【０００３】
特許文献１には、会議の参加者に会議に関連する関連情報を提示するシステムであって、音声データ、画像データ、及び登録されたキーワードを示すキーワードデータのうちの少なくとも２つのデータに含まれる複数のテキストデータに共通する共通語に基づいてクエリを生成し、所定のデータベースからクエリによる検索結果を取得し、検索結果又は検索結果の一部を所定の出力装置に出力する装置が開示されている。
【０００４】
特許文献１の装置では、会議中に発せられた音声や表示された画像に関連する情報を参加者に提示する際に、音声をテキスト化する際に実行される音声認識処理や画像をテキスト化する際に実行される画像認識処理において誤認識を減少させることができるとされている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１９－１０２０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、音声認識処理や画像をテキスト化する際に実行される画像認識処理において、音声データ、画像データ及び登録キーワードのうち少なくとも２つのデータに含まれる複数のテキストデータに共通する共通語を用いてクエリを作成し、データベースから当該クエリによる検索結果を取得しており、これら複数のデータで共通する共通語を用いることで、画像処理における誤認識を減少させている。
【０００７】
しかしながら、特許文献１の技術では、画像処理における誤認識を減少させることはできるが、その会議における重要な会話がどの会話であったのか等、会議の要点を把握することは困難である。
【０００８】
また、長時間の動画データから重要なシーンを検索する場合、検索を行うためのクエリが重要になるが、特許文献１においては、クエリは音声データ、画像データ及び登録キーワードに共通する共通語を用いているのみであり、その音声データ等が会議において重要なシーンであるか否かについてはなんら考慮がなされていない。
【０００９】
本発明は、上記課題に鑑み、会議や講演会における重要なシーンを容易に検索することができる動画情報検索装置、検索方法、及び検索プログラムを提供することを目的とする。また、本発明の他の目的は、これらの検索方法等による検索結果を有効に利用する検索結果の利用方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の動画情報検索装置は、動画データから所望のシーンを検索する装置であって、画像データと音声データを有する動画データが入力される入力手段と、前記音声データについて言語情報を検索する言語クエリと、前記音声データについて音声情報を検索する音声クエリとを用いて検索クエリを作成するクエリ作成手段と、前記動画データから前記検索クエリの条件に合致するシーンである検索結果シーンを抽出する抽出手段と、前記抽出手段により抽出された前記検索結果シーンを表示可能な表示手段とを備えていることを特徴とする。
（【００１１】以降は省略されています）

関連特許