特許ウォッチ

公開番号2025040009
公報種別公開特許公報(A)
公開日2025-03-24
出願番号2023146641
出願日2023-09-11
発明の名称音可視化装置、プログラム、表示端末
出願人日本放送協会
代理人個人,個人
主分類H04N 21/234 20110101AFI20250314BHJP(電気通信技術)
要約【課題】特殊な音声収録環境を要さず、また、人間による作業負荷を低減して可視化映像を重畳すべき音源位置に表示すること。
【解決手段】本発明は、動画コンテンツが含む音を可視化する音可視化装置30であって、前記動画コンテンツが含む映像を複数の領域に分割する映像領域分割部32と、前記複数の領域それぞれで映像特徴量を抽出する映像特徴量抽出部33と、前記音に関する音響特徴量を抽出する音響特徴量抽出部34と、前記映像特徴量の変化と前記音響特徴量の変化の相関を分析する相関分析部35と、前記相関分析部が分析した前記相関に基づいて、前記複数の領域から前記音の音源位置を特定する音源領域特定部36と、前記音源領域特定部が特定した前記領域に可視化映像を重畳させる可視化映像重畳部38と、を有する。
【選択図】図5
特許請求の範囲【請求項１】
動画コンテンツが含む音を可視化する音可視化装置であって、
前記動画コンテンツが含む映像を複数の領域に分割する映像領域分割部と、
前記複数の領域それぞれで映像特徴量を抽出する映像特徴量抽出部と、
前記音に関する音響特徴量を抽出する音響特徴量抽出部と、
前記映像特徴量の変化と前記音響特徴量の変化の相関を分析する相関分析部と、
前記相関分析部が分析した前記相関に基づいて、前記複数の領域から前記音の音源位置を特定する音源領域特定部と、
前記音源領域特定部が特定した前記領域に可視化映像を重畳させる可視化映像重畳部と、
を有することを特徴とする音可視化装置。
続きを表示（約 1,500 文字）【請求項２】
前記相関分析部は、一定時間の前記映像特徴量の時系列データと、一定時間の前記音響特徴量の時系列データとの類似度を算出し、
前記音源領域特定部は、前記類似度が最も高い前記領域を前記音の音源位置として特定することを特徴とする請求項１に記載の音可視化装置。
【請求項３】
前記類似度が閾値以上の前記領域が存在しない場合、
前記可視化映像重畳部は、前記映像の周囲から中央に向かって移動し、移動した距離又は表示された時間で消滅する前記可視化映像を前記映像に重畳させることを特徴とする請求項２に記載の音可視化装置。
【請求項４】
前記音響特徴量抽出部は、前記音の周波数スペクトルを作成し、
複数の周波数範囲の前記音からそれぞれ前記音響特徴量を作成し、
前記映像特徴量抽出部は前記映像から音を出す対象を画像処理により検出し、
前記相関分析部は、前記類似度が閾値以上の前記領域であって、前記周波数範囲の音を出すことが既知の前記対象と重なる前記領域を、前記周波数範囲の音の音源位置として特定することを特徴とする請求項２又は３に記載の音可視化装置。
【請求項５】
前記動画コンテンツが含む音データはＭＩＤＩデータを有し、前記ＭＩＤＩデータは再生時間に対応づけられた情感パラメータを有し、
前記情感パラメータに応じて予め定められた前記可視化映像を生成する可視化映像生成部を有することを特徴とする請求項１に記載の音可視化装置。
【請求項６】
動画コンテンツが含む音データと前記可視化映像の対応を学習したモデルを有し、
前記音データを前記モデルに入力して前記可視化映像を生成する可視化映像生成部を有することを特徴とする請求項１に記載の音可視化装置。
【請求項７】
前記情感パラメータは、明るい/暗い、強い/穏やか、緊張/弛緩、及び、アクセントであり、
前記可視化映像は図形を表すオブジェクトであり、
前記可視化映像生成部は、前記情感パラメータに応じて定められた前記オブジェクトを前記可視化映像として表示させることを特徴とする請求項５に記載の音可視化装置。
【請求項８】
動画コンテンツが含む音を可視化する音可視化装置を、
前記動画コンテンツが含む映像を複数の領域に分割する映像領域分割部と、
前記複数の領域それぞれで映像特徴量を抽出する映像特徴量抽出部と、
前記音に関する音響特徴量を抽出する音響特徴量抽出部と、
前記映像特徴量の変化と前記音響特徴量の変化の相関を分析する相関分析部と、
前記相関分析部が分析した前記相関に基づいて、前記複数の領域から前記音の音源位置を特定する音源領域特定部と、
前記音源領域特定部が特定した前記領域に可視化映像を重畳させる可視化映像重畳部、
として機能させるためのプログラム。
【請求項９】
音を含む動画コンテンツを表示する表示端末であって、
前記動画コンテンツが含む映像を複数の領域に分割する映像領域分割部と、
前記複数の領域それぞれで映像特徴量を抽出する映像特徴量抽出部と、
前記音に関する音響特徴量を抽出する音響特徴量抽出部と、
前記映像特徴量の変化と前記音響特徴量の変化の相関を分析する相関分析部と、
前記相関分析部が分析した前記相関に基づいて、前記複数の領域から前記音の音源位置を特定する音源領域特定部と、
前記音源領域特定部が特定した前記領域に可視化映像を重畳させる可視化映像重畳部と、
を有することを特徴とする表示端末。

発明の詳細な説明【技術分野】
【０００１】
本発明は、音可視化装置、プログラム、及び表示端末に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
動画コンテンツには音楽などの音が含まれる場合が多い。音の役割は多岐にわたる。音楽番組では楽曲そのものが伝えたい情報となり、ドラマや映画では、ＢＧＭがストーリー展開を予感させる重要な演出的役割を担っている。しかし、聴覚障害者は、その音自体を認識することが難しいため、コンテンツの魅力などを十分に享受できているとは言えない。
【０００３】
テレビ番組などでは、聴覚障害者に向けて音声を字幕等で伝えるサービスが提供されている。例えば、登場人物の声などは字幕（テキスト）によって表現されるため、視覚情報のみで動画コンテンツの内容をある程度理解することも可能である（例えば、非特許文献１）。
【０００４】
音源位置を可視化する手法も提案されている（例えば、特許文献１、２参照）。特許文献１には、音声認識したテキスト情報と、その発話の音源位置情報とを紐づけ、テキストを選択することでその発話を行った場所の情報を画面上で表示する技術が開示されている。特許文献２には、監視映像において、音源を表示する技術が開示されている。
【０００５】
一方、動画コンテンツの構成要素となる音楽が持つ楽理の情報やそこから受ける情感の情報をビジュアルで表現し（以降、このビジュアルを可視化映像と呼ぶ）、それを元の動画コンテンツの映像に重畳することにより、動画コンテンツの音楽情報を映像で伝える表現手法などが提案されている（例えば、非特許文献２）。このような可視化技術においては、可視化映像が、映像中の音源位置（もしくは、そこから音が発生していると映像を見ている視聴者に思わせたい位置）から出現しているような演出を行うことが効果的である。
【先行技術文献】
【特許文献】
【０００６】
特開2021－135453号公報
特開2021－072575号公報
【非特許文献】
【０００７】
デジタル放送におけるデータ放送符号化方式と伝送方式 ARIB STD－B24
宮崎、藤森、前澤、竹内、川島、小峯、柳、澤谷、"音楽の可視化による新しいコンテンツ表現，" 映情学技報、Vol.47、No.9 AIT2023－45（2023）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１のようなサービスでは、楽器の演奏、ＢＧＭ、風景音といった音楽はすべて、「音符マーク」のみで表現されており、音楽が持つ効果や魅力を視覚情報で十分に伝えているとは言えない。
【０００９】
また、特許文献１、２に記載された技術は、音声収音時にマイクロホンアレイなどを用いて音源位置を特定する手法が採用されており、事前にそのような収音環境を用意する必要がある。
【００１０】
また、非特許文献２に記載された技術は、可視化映像を、映像のどの位置に重畳すればよいのかを人間が決める必要があり、最終的なコンテンツ制作には多大な手間がかかっていた。
（【００１１】以降は省略されています）

関連特許