特許ウォッチ

公開番号2024179305
公報種別公開特許公報(A)
公開日2024-12-26
出願番号2023098047
出願日2023-06-14
発明の名称情報処理装置
出願人株式会社NTTドコモ
代理人弁理士法人朝日特許事務所
主分類H04N 21/439 20110101AFI20241219BHJP(電気通信技術)
要約【課題】動画コンテンツに含まれる画像オブジェクトとその画像オブジェクトから発生する音声の位置とを対応させる。
【解決手段】記憶部22は、動画データに含まれる画像オブジェクトの特徴を示すオブジェクトデータと、動画データに含まれ、その画像オブジェクトに対応する音声データとを紐づけて記憶する。位置判定部23は、記憶部22に記憶されている或るオブジェクトデータが示す特徴と、動画データに含まれる各画像オブジェクトの特徴とを比較して、或るオブジェクトデータに対応する画像オブジェクトの動画内の位置を判定する。音声処理部24は、或る画像オブジェクトについて判定された動画内の位置から、その或る画像オブジェクトのオブジェクトデータに紐づけて記憶部22に記憶されている音声データに応じた音声を発生させるための処理を行う。
【選択図】図4
特許請求の範囲【請求項１】
動画データに含まれる画像オブジェクトの特徴を示すオブジェクトデータと、前記動画データに含まれ、当該画像オブジェクトに対応する音声データとを紐づけて記憶する記憶部と、
前記記憶部に記憶されている或るオブジェクトデータが示す特徴と、前記動画データに含まれる各画像オブジェクトの特徴とを比較して、前記或るオブジェクトデータに対応する画像オブジェクトの動画内の位置を判定する位置判定部と、
前記或る画像オブジェクトについて判定された前記動画内の位置から、当該或る画像オブジェクトのオブジェクトデータに紐づけて前記記憶部に記憶されている前記音声データに応じた音声を発生させるための処理を行う音声処理部と
を備えることを特徴とする情報処理装置。
続きを表示（約 2,000 文字）【請求項２】
前記記憶部は、複数の動画データで汎用される画像オブジェクトである汎用画像オブジェクトの特徴を示す汎用オブジェクトデータと、当該汎用画像オブジェクトに対応する汎用音声データとを紐づけて記憶しており、
前記位置判定部は、前記記憶部に記憶されている前記汎用オブジェクトデータが示す特徴と、前記動画データに含まれる各画像オブジェクトの特徴とを比較して、前記汎用オブジェクトデータと類似する画像オブジェクトの前記動画内の位置を判定し、
前記音声処理部は、前記汎用画像オブジェクトについて判定された前記動画内の位置から、当該汎用画像オブジェクトの汎用オブジェクトデータに紐づけて前記記憶部に記憶されている汎用音声データに応じた音声を発生させるための処理を行う
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記記憶部は、１の前記汎用オブジェクトデータに紐づけて複数の前記汎用音声データを紐づけて記憶しており、
前記音声処理部は、前記１の前記汎用オブジェクトデータに紐づけて記憶されている複数の前記汎用音声データから操作者により選択された汎用音声データを、当該１の前記汎用画像オブジェクトの前記動画内の位置から発生させる処理を行う
ことを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記位置判定部は、時間軸内の第１の時点において前記動画データが示す動画に出現していないが音声が発生し、且つ、当該第１の時点よりも後の第２の時点において前記動画データが示す動画に出現する画像オブジェクトが存在する場合に、当該第２の時点において当該画像オブジェクトが出現する前記動画内の位置を判定し、
前記音声処理部は、前記第１の時点において、判定された前記位置から、前記画像オブジェクトの画像オブジェクトデータに紐づけて記憶されている音声データに応じた音声を発生させるための処理を行う
ことを特徴とする請求項１記載の情報処理装置。
【請求項５】
前記記憶部は、第１の画像オブジェクトのオブジェクトデータ及び第２の画像オブジェクトのオブジェクトデータに紐づけて、当該第１の画像オブジェクト及び当該第２の画像オブジェクトに対応する１の音声データを記憶しており、
前記音声処理部は、前記第１の画像オブジェクト及び前記第２の画像オブジェクトについて前記位置判定部により判定された位置が所定の関係を満たす場合には、当該第１の画像オブジェクト及び当該第２の画像オブジェクトに対応する前記１の音声データを、前記第１の画像オブジェクト又は前記第２の画像オブジェクトの前記動画内の位置から発生させる処理を行う
ことを特徴とする請求項１記載の情報処理装置。
【請求項６】
前記位置判定部によって判定される前記画像オブジェクトの位置は、前記動画の視聴者から見たときの奥行方向における位置を含み、
前記音声処理部は、前記奥行方向の位置に応じた音量で前記音声データに応じた音声を発生させるための処理を行う
ことを特徴とする請求項１記載の情報処理装置。
【請求項７】
前記画像オブジェクトの前記動画内における挙動を解析する挙動解析部を備え、
前記音声処理部は、前記画像オブジェクトに対する前記解析の結果に応じた音量で前記音声データに応じた音声を発生させるための処理を行う
ことを特徴とする請求項１記載の情報処理装置。
【請求項８】
前記記憶部に記憶された音声データの内容を解析する音声解析部を備え、
前記音声処理部は、前記音声データに対する前記解析の結果に応じた音量で当該音声データに応じた音声を発生させるための処理を行う
ことを特徴とする請求項１記載の情報処理装置。
【請求項９】
前記記憶部に記憶されている或るオブジェクトデータが示す特徴と、前記動画データに含まれる各画像オブジェクトの特徴とを比較して、前記或るオブジェクトデータに対応する画像オブジェクトが前記動画内において向いている方向を判定する方向判定部を備え、
前記音声処理部は、前記或る画像オブジェクトについて判定された前記動画内の位置から判定された前記方向に音声を発生させるための処理を行う
ことを特徴とする請求項１記載の情報処理装置。
【請求項１０】
前記音声処理部は、同時に複数の音声データに応じた音声を発生させるための処理を行う場合に、各々の前記音声データについて決められた優先順位に応じた音量で各々の前記音声データに応じた音声を発生させるための処理を行う
ことを特徴とする請求項１記載の情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、動画における音像定位の技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
動画コンテンツに含まれるキャラクタの音像をその動画コンテンツにおけるそのキャラクタの表示位置に定位させることで、３次元的な知覚効果を実現する技術が知られている。例えば特許文献１には、動画像データを再生する場合に、動画像内のキャラクタの位置と音の発生場所との位置関係に応じた音量、音質、音を発するタイミングを含む再生態様データに基づいて音データを再生することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特許第６８８２５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に記載の技術では、再生態様データなるものを予め作成して用意しておかなければならない。そのような再生態様データを各動画コンテンツに含まれる各キャラクタについてそれぞれ作成するためには、多大なコストと時間を要する。
【０００５】
一方、過去において平面ディスプレイや平面スクリーンに表示するために製作された動画コンテンツは多数存在する。このような２次元平面に表示するための動画データを用いて３次元的な知覚効果を実現することができれば、コストや時間の削減を大いに期待し得る。
【０００６】
そこで、本発明の目的は、動画コンテンツに含まれる画像オブジェクトとその画像オブジェクトから発生する音声の位置とを対応させることが可能な技術を提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、動画データに含まれる画像オブジェクトの特徴を示すオブジェクトデータと、前記動画データに含まれ、当該画像オブジェクトに対応する音声データとを紐づけて記憶する記憶部と、前記記憶部に記憶されている或るオブジェクトデータが示す特徴と、前記動画データに含まれる各画像オブジェクトの特徴とを比較して、前記或るオブジェクトデータに対応する画像オブジェクトの動画内の位置を判定する位置判定部と、前記或る画像オブジェクトについて判定された前記動画内の位置から、当該或る画像オブジェクトのオブジェクトデータに紐づけて前記記憶部に記憶されている前記音声データに応じた音声を発生させるための処理を行う音声処理部とを備えることを特徴とする情報処理装置を提供する。
【発明の効果】
【０００８】
本発明によれば、動画コンテンツに含まれる画像オブジェクトとその画像オブジェクトから発生する音声の位置とを対応させることが可能となる。
【図面の簡単な説明】
【０００９】
本発明の一実施形態に係る情報処理システム１の全体構成を例示する図である。
同実施形態に係るユーザ端末１０のハードウェア構成の一例を示すブロック図である。
同実施形態に係るサーバ装置２０のハードウェア構成の一例を示すブロック図である。
同実施形態に係るサーバ装置２０の機能構成の一例を示すブロック図である。
同実施形態に係るサーバ装置２０の記憶部２２に記憶されているデータを例示する図である。
同実施形態に係るユーザ端末１０における表示画面の一例を示す図である。
同実施形態に係るサーバ装置２０の動作の一例を示すフローチャートである。
変形例に係るサーバ装置２０の記憶部２２に記憶されているデータを例示する図である。
変形例に係るユーザ端末１０における表示画面の一例を示す図である。
変形例に係るユーザ端末１０における表示画面の一例を示す図である。
変形例に係るサーバ装置２０の記憶部２２に記憶されているデータを例示する図である。
変形例に係るサーバ装置２０の記憶部２２に記憶されているデータを例示する図である。
変形例に係るサーバ装置２０の機能構成の一例を示すブロック図である。
変形例に係るサーバ装置２０の機能構成の一例を示すブロック図である。
変形例に係るサーバ装置２０の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
［構成］
図１は、本実施形態の情報処理システム１の一例を示す図である。情報処理システム１は、例えばアニメーション、ドラマ、映画等の様々な動画コンテンツを表示する端末としてユーザにより利用されるユーザ端末１０と、動画コンテンツにおいて音声の発生源であるオブジェクトの動画内での位置を判定し、判定した位置にそのオブジェクトの音像を定位させるための処理を行う情報処理装置として機能するサーバ装置２０とを備えている。ユーザ端末１０とサーバ装置２０はネットワーク２により通信可能に接続される。ネットワーク２は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。
（【００１１】以降は省略されています）

関連特許