特許ウォッチ

公開番号2025032619
公報種別公開特許公報(A)
公開日2025-03-12
出願番号2023138004
出願日2023-08-28
発明の名称情報処理装置及び情報処理システム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 5/91 20060101AFI20250305BHJP(電気通信技術)
要約【課題】コンテンツの内容に応じて、映像ハイライトシーン及び音声ハイライトシーンのいずれか又は両方を優先することで、コンテンツの内容に合った適切なハイライト動画を生成する。
【解決手段】本発明の情報処理装置は、動画ファイルに含まれる映像データ及び音声データの特徴量に基づき、映像ハイライトシーン及び音声ハイライトシーンを決定する第1の決定手段と、前記第1の決定手段により決定されたハイライトシーンの時間帯に関する情報を取得する取得手段と、優先情報を前記電子機器から受信する受信手段と、前記受信手段により受信した前記優先情報、及びハイライトシーンの時間帯に関する情報に基づき、ハイライト動画の時間帯を決定する第2の決定手段と、前記第2の決定手段により決定されたハイライト動画の時間帯を前記電子機器へ通知する通知手段を有する。
【選択図】図7
特許請求の範囲【請求項１】
電子機器と通信可能な情報処理装置であって、
動画ファイルに含まれる映像データの特徴量に基づき、映像ハイライトシーンを決定し、前記動画ファイルに含まれる記音声データの特徴量に基づき、音声ハイライトシーンを決定する第１の決定手段と、
前記第１の決定手段により決定された前記映像ハイライトシーン及び前記音声ハイライトシーンそれぞれの時間帯に関する情報を取得する取得手段と、
前記映像ハイライトシーン及び前記音声ハイライトシーンのいずれか又は両方を優先するかどうかの優先情報を前記電子機器から受信する受信手段と、
前記受信手段により受信した前記優先情報、及び前記映像ハイライトシーンおよび前記音声ハイライトシーンそれぞれの時間帯に関する情報に基づき、ハイライト動画の時間帯を決定する第２の決定手段と、
前記第２の決定手段により決定されたハイライト動画の時間帯を前記電子機器へ通知する通知手段を有することを特徴とする情報処理装置。
続きを表示（約 2,000 文字）【請求項２】
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重ならず、かつ、前記映像ハイライトシーン及び前記音声ハイライトシーンの両方を優先する優先情報が受信された場合、
前記第２の決定手段は、前記映像ハイライトシーン及び前記音声ハイライトシーンの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重ならず、かつ、前記映像ハイライトシーン又は前記音声ハイライトシーンのいずれかを優先する優先情報が受信された場合、
前記第２の決定手段は、前記映像ハイライトシーン又は前記音声ハイライトシーンのうち優先する方の時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重なり、前記映像ハイライトシーン及び前記音声ハイライトシーンの両方を優先する優先情報が受信され、かつ、前記映像ハイライトシーンの時間帯に前記音声ハイライトシーンの時間帯が含まれる場合、
前記第２の決定手段は、前記映像ハイライトシーンの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重なり、前記映像ハイライトシーン及び前記音声ハイライトシーンの両方を優先する優先情報が受信され、かつ、前記映像ハイライトシーンの時間帯に前記音声ハイライトシーンの開始時刻のみが含まれる場合、
前記第２の決定手段は、前記映像ハイライトシーンの開始時刻から前記音声ハイライトシーンの終了時刻までの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重なり、前記映像ハイライトシーン及び前記音声ハイライトシーンの両方を優先する優先情報が受信され、かつ、前記映像ハイライトシーンの時間帯に前記音声ハイライトシーンの終了時刻のみが含まれる場合、
前記第２の決定手段は、前記音声ハイライトシーンの開始時刻から前記映像ハイライトシーンの終了時刻までの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重なり、前記映像ハイライトシーンを優先する優先情報が受信され、前記映像ハイライトシーンの時間帯に前記音声ハイライトシーンの時間帯が含まれる場合、
前記第２の決定手段は、前記映像ハイライトシーンの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記音声データから会話を検出する検出手段をさらに備え、
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重なり、前記映像ハイライトシーンを優先する優先情報が受信され、前記映像ハイライトシーンの時間帯に前記音声ハイライトシーンの開始時刻のみが含まれる場合、
前記動画生成手段は、前記映像ハイライトシーンの開始時刻から、前記音声ハイライトシーンで前記映像ハイライトシーンの終了時刻時に検出された会話が終了する時刻までの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記音声データから会話を検出する検出手段をさらに備え、
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重なり、前記映像ハイライトシーンを優先する優先情報が受信され、前記映像ハイライトシーンの時間帯に前記音声ハイライトシーンの終了時刻のみが含まれる場合、
前記第２の決定手段は、前記音声ハイライトシーンのうち前記映像ハイライトシーンの開始時刻時に検出された会話が始まる時刻から、前記映像ハイライトシーンの終了時刻までの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記映像ハイライトシーンの時間帯及び前記音声ハイライトシーンの時間帯が重なり、前記音声ハイライトシーンを優先する優先情報が受信される場合、
前記第２の決定手段は、前記音声ハイライトシーンの時間帯をハイライト動画の時間帯として決定することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理システムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
従来、ハイライトシーンを決定する際に、映像データからのシーン構図特徴と、動画像から分離された音声情報からの音声特徴とを組み合わせることで、動画像からハイライトシーンをより正確に抽出できるハイライトシーン抽出装置がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１４－１８７６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のように、映像データのフレーム画像のシーン構図特徴に加えて、音声情報からの音声特徴を利用することでハイライトシーンを抽出しようとする。そうすると、シーン構図特徴がないフレーム画像は、音声特徴が所定の条件を満たしても、ハイライトシーンかどうかの判定対象にもならない。例えば、オーケストラ等のコンサートを撮影した動画像のように、音楽が盛り上がり、音声特徴が所定の条件を満たしても、暗転していたり、多数の演者の顔それぞれが小さく映っていたりして、シーン構図特徴が所定の条件を満たさないケースがある。このようなケースは、ハイライトシーンとして選択されない。
【０００５】
また、音声特徴とシーン構図特徴の両方が所定の条件を満たし、ハイライトシーンとして抽出されていても、場面によっては、音声特徴とシーン構図特徴それぞれの所定の条件を満たす部分が前後している場合がある。このような場合には、音声の会話の途中からハイライトシーンが開始されたり、音声の会話が途中のままハイライトシーンが終わったりするといった、不自然な動画となってしまうことが考えられる。
【０００６】
そこで、本発明は、コンテンツの内容に応じて、映像ハイライトシーン及び音声ハイライトシーンのいずれか又は両方を優先することで、コンテンツの内容に合った適切なハイライト動画を生成することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の情報処理装置は、電子機器と通信可能な情報処理装置であって、動画ファイルに含まれる映像データの特徴量に基づき、映像ハイライトシーンを決定し、前記動画ファイルに含まれる記音声データの特徴量に基づき、音声ハイライトシーンを決定する第１の決定手段と、前記第１の決定手段により決定された前記映像ハイライトシーン及び前記音声ハイライトシーンそれぞれの時間帯に関する情報を取得する取得手段と、前記映像ハイライトシーン及び前記音声ハイライトシーンのいずれか又は両方を優先するかどうかの優先情報を前記電子機器から受信する受信手段と、前記受信手段により受信した前記優先情報、及び前記映像ハイライトシーンおよび前記音声ハイライトシーンそれぞれの時間帯に関する情報に基づき、ハイライト動画の時間帯を決定する第２の決定手段と、前記第２の決定手段により決定されたハイライト動画の時間帯を前記電子機器へ通知する通知手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、コンテンツの内容に応じて、映像ハイライトシーン及び音声ハイライトシーンのいずれか又は両方を優先することで、コンテンツの内容に合った適切なハイライト動画を生成することができる。
【図面の簡単な説明】
【０００９】
本実施形態に係るシステム全体の構成を説明する図である。
本実施形態に係る電子機器１０２又は情報処理装置１０３の構成を説明するブロック図である。
本実施形態に係る撮像装置１０１の構成を示すブロック図である。
情報処理装置１０３が映像ハイライトシーン及び音声ハイライトシーンを含むハイライト動画を生成する処理を説明するためのフローチャートである。
情報処理装置１０３が映像ハイライトシーン及び音声ハイライトシーンを含むハイライト動画を生成する処理を説明するためのフローチャートである。
情報処理装置１０３が映像ハイライトシーン及び音声ハイライトシーンを含むハイライト動画を生成する処理を説明するためのフローチャートである。
情報処理装置１０３が映像ハイライトシーン及び音声ハイライトシーンを含むハイライト動画を生成する処理を説明するためのフローチャートである。
電子機器１０２に通知される各ハイライトシーンの時間帯に関する情報の表示例である。
電子機器１０２に通知される各ハイライトシーンの時間帯に関する情報の表示例である。
電子機器１０２に通知される各ハイライトシーンの時間帯に関する情報の表示例である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（【００１１】以降は省略されています）

関連特許