特許ウォッチ

公開番号2024132794
公報種別公開特許公報(A)
公開日2024-10-01
出願番号2023129220
出願日2023-08-08
発明の名称マルチキャストを用いた空間オーディオ伝送装置及び方法
出願人クリックトインコーポレイテッド,CLICKED INC.
代理人個人
主分類G10K 15/02 20060101AFI20240920BHJP(楽器;音響)
要約【課題】マルチキャストを用いてマルチプレイヤコンテンツの空間オーディオデータを効率的に伝送する。
【解決手段】マルチキャストを用いた空間オーディオ伝送装置は、マルチプレイヤ・リアルタイム・コンテンツを実行する複数のクライアント端末に通信接続されてマルチキャストグループ別に分離される複数のサーバを含み、前記各マルチキャストグループ内に含まれるサーバは、前記マルチプレイヤ・リアルタイム・コンテンツを実行するクライアント端末から第1プレイヤ情報を受信すると、前記第1プレイヤ情報を前記マルチキャストグループ内に含まれる残りの他のサーバにマルチキャスト伝送して共有し、前記マルチキャストグループ内に含まれる他のサーバから第2プレイヤ情報を受信すると、前記第1プレイヤ情報及び第2プレイヤ情報に基づいて空間オーディオをミックス処理して前記クライアント端末にユニキャスト伝送することを特徴とする。
【選択図】図3
特許請求の範囲【請求項１】
マルチプレイヤ・リアルタイム・コンテンツを実行する複数のクライアント端末に通信接続され、各マルチキャストグループ別に分離される複数のサーバを含み、
前記各マルチキャストグループ内に含まれるサーバは、
前記マルチプレイヤ・リアルタイム・コンテンツを実行するクライアント端末から第１プレイヤ情報を受信すると、前記第１プレイヤ情報を前記マルチキャストグループ内に含まれる残りの他のサーバにマルチキャスト伝送して共有し、前記マルチキャストグループ内に含まれる他のサーバから第２プレイヤ情報を受信すると、前記第１プレイヤ情報及び第２プレイヤ情報に基づいて空間オーディオをミックス処理して前記クライアント端末にユニキャスト伝送することを特徴とする空間オーディオ伝送装置。
続きを表示（約 2,200 文字）【請求項２】
前記複数のサーバは、
前記マルチキャストグループ別に分離されるとき、互いに同一のネットワークで通信接続されるサーバを１つのマルチキャストグループにグループ化することを特徴とする請求項１に記載の空間オーディオ伝送装置。
【請求項３】
前記サーバは、
前記第１プレイヤ情報を受信するとき、前記マルチプレイヤ・リアルタイム・コンテンツを実行する第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報を受信することを特徴とする請求項１に記載の空間オーディオ伝送装置。
【請求項４】
前記第１プレイヤ情報は、
前記第１プレイヤの位置情報、方向情報及び音声（ｖｏｉｃｅ）情報を含むことを特徴とする請求項３に記載の空間オーディオ伝送装置。
【請求項５】
前記サーバは、
前記第１プレイヤ情報を受信するとき、前記第１クライアント端末から３次元仮想空間内に位置する第１プレイヤ情報をユニキャスト方式で受信することを特徴とする請求項３に記載の空間オーディオ伝送装置。
【請求項６】
前記サーバは、
前記空間オーディオをミックス処理して伝送するとき、前記第１プレイヤ情報が受信されると、前記第１プレイヤ情報からエンコードされた第１プレイヤの音声情報と第１プレイヤの位置及び方向情報を分離し、
前記第２プレイヤ情報が受信されると、前記第２プレイヤ情報からエンコードされた第２プレイヤの音声情報と第２プレイヤの位置及び方向情報を分離し、
前記エンコードされた第１プレイヤの音声情報と第２プレイヤの音声情報をデコードしてローオーディオデータ（ｒａｗａｕｄｉｏｄａｔａ）を生成し、
前記第１プレイヤと第２プレイヤの位置及び方向情報と前記ローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを生成し、
前記ステレオオーディオデータをエンコード処理して圧縮オーディオを伝送することを特徴とする請求項１に記載の空間オーディオ伝送装置。
【請求項７】
前記サーバは、
前記第１プレイヤと第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗｐｉｃｔｕｒｅｄａｔａ）を生成し、
前記ロー画像データをエンコード処理して圧縮ビデオを伝送することを特徴とする請求項６に記載の空間オーディオ伝送装置。
【請求項８】
前記サーバは、
前記クライアント端末からユニキャスト方式で第１プレイヤ情報を受信するユニキャスト受信部と、
前記他のサーバからマルチキャスト方式で第２プレイヤ情報を受信するマルチキャスト受信部と、
前記第１プレイヤ情報から分離された第１プレイヤのエンコーディング音声情報と前記第２プレイヤ情報から分離された第２プレイヤのエンコーディング音声情報をデコード処理してローオーディオデータ（ｒａｗａｕｄｉｏｄａｔａ）を出力するオーディオデコーダ部と、
前記第１プレイヤ情報から分離された前記第１プレイヤの位置及び方向情報、前記第２プレイヤ情報から分離された前記第２プレイヤの位置及び方向情報、前記ローオーディオデータに基づいて空間オーディオをミックス処理してステレオオーディオデータを出力する空間オーディオエンジン部と、
前記ステレオオーディオデータをエンコード処理して圧縮オーディオを出力するオーディオエンコーダ部と、
前記第１プレイヤ情報を他のサーバにマルチキャスト方式で伝送するマルチキャスト伝送部と、
前記圧縮オーディオを前記クライアント端末にユニキャスト方式で伝送するユニキャスト伝送部と、
を含むことを特徴とする請求項１に記載の空間オーディオ伝送装置。
【請求項９】
前記サーバは、
前記第１プレイヤ情報から分離された前記第１プレイヤの位置及び方向情報と前記第２プレイヤ情報から分離された前記第２プレイヤの位置及び方向情報に基づいてリアルタイムレンダリング処理してロー画像データ（ｒａｗｐｉｃｔｕｒｅｄａｔａ）を出力するリアルタイムレンダリング部と、
前記ロー画像データをエンコード処理して圧縮ビデオを出力するビデオエンコーダ部と、
を含むことを特徴とする請求項８に記載の空間オーディオ伝送装置。
【請求項１０】
複数のクライアント端末に通信接続され、各マルチキャストグループ別に分離される複数のサーバを含む装置の空間オーディオ伝送方法であって、
前記クライアント端末から第１プレイヤ情報を受信する段階と、
前記第１プレイヤ情報を前記マルチキャストグループ内に含まれる残りの他のサーバにマルチキャスト伝送して共有する段階と、
前記マルチキャストグループ内に含まれる他のサーバから第２プレイヤ情報を受信する段階と、
前記第１プレイヤ情報及び第２プレイヤ情報に基づいて空間オーディオをミックス処理する段階と、
前記ミックス処理した空間オーディオを前記クライアント端末にユニキャスト伝送する段階と、
を含むことを特徴とする空間オーディオ伝送方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、空間オーディオ伝送装置に関し、より詳細には、マルチキャストを用いてマルチプレイヤコンテンツの空間オーディオデータを効率的に伝送できるマルチキャストを用いた空間オーディオ伝送装置及び方法に関する。
続きを表示（約 1,100 文字）【背景技術】
【０００２】
一般に、オンラインゲームのようなマルチプレイヤ・リアルタイム・コンテンツの場合、プレイヤの位置、音声チャットデータなど各プレイヤのデータが他のプレイヤに共有される必要がある。
【０００３】
Ｎ名のプレイヤが残りのＮ-１名のプレイヤにデータを伝送する場合、計Ｎ（Ｎ-１）だけのデータを伝送しなければならないので、共有するデータの量が多くなるほど、ネットワークの負荷は、二乗の割合で増加することになる。
【０００４】
オーディオデータの場合、各プレイヤは、他のプレイヤから受信した複数のチャネルのオーディオデータを全て集めてプレイヤデバイスが支援するオーディオデータ（一般に、２チャネルステレオ）に変換する必要がある。
【０００５】
しかし、オーディオデータ変換（ａｕｄｉｏｍｉｘｉｎｇ）は、オーディオの入力チャネル数に応じてプロセッサの負荷が増加するという問題がある。
【０００６】
特に、モバイルデバイスの場合、プロセッサの性能が一般のＰＣよりも劣っているため、プロセッサの負荷が増加するほどバッテリの使用量も共に増加するので、入力チャネルの数を制限する必要がある。
【０００７】
このような問題を解決するために、音声チャットの場合、オーディオデータをプレイヤデバイスから他のプレイヤデバイスに直接送信する代わりに、オーディオストリーミングサーバに送信し、オーディオストリーミングサーバにて各プレイヤデバイスから受信したオーディオをミキシングして各プレイヤデバイスに送信する方式でネットワークトラフィックとオーディオミキシングによるプロセッサの負荷問題を解決したりもした。
【０００８】
しかし、空間オーディオの場合、プレイヤ毎に音源との距離、方向などによって生成されるオーディオが変わるので、プレイヤ毎にオーディオを異なってミキシングしなければならない。
【０００９】
このように、オーディオを異なってミキシングするためには、より多くの演算量が必要であるので、１つのオーディオストリーミングサーバがコンテンツに参加する全てのプレイヤのオーディオをミキシングするには無理があるという問題が発生する恐れがあり、これは依然としてＮ（Ｎ-１）回のデータ伝送が必要であるという問題があった。
【００１０】
従って、今後、マルチプレイヤコンテンツで空間オーディオデータを効率的に伝送できる空間オーディオ伝送装置の開発が要求されている。
【先行技術文献】
【特許文献】
（【００１１】以降は省略されています）

関連特許