特許ウォッチ

公開番号2025102860
公報種別公開特許公報(A)
公開日2025-07-08
出願番号2025053712,2023522375
出願日2025-03-27,2021-10-11
発明の名称視聴覚レンダリング装置およびその動作方法
出願人コーニンクレッカフィリップスエヌヴェ,Koninklijke Philips N.V.
代理人弁理士法人M&Sパートナーズ
主分類H04S 7/00 20060101AFI20250701BHJP(電気通信技術)
要約【課題】仮想現実アプリケーションのユーザ体験を改善する。
【解決手段】視聴覚レンダリング装置は、視聴覚アイテムを受信する受信機201と、入力座標系を基準とした入力ポーズ及びレンダリングカテゴリ表示を含むメタデータを受信する受信機209と、ユーザ頭部動きデータを受信する頭部動きデータ受信機213と、ユーザ頭部動きデータに応答して、入力ポーズをレンダリング座標系内のレンダリングポーズにマッピングするマッパー211と、レンダリングポーズを使用して視聴覚アイテムをレンダリングするレンダラ203と、を含む。マッパーは、レンダリングカテゴリ表示に応答して視聴覚アイテムのレンダリングカテゴリを選択して、入力ポーズを、ユーザの頭部の動きを変化させるためのカテゴリ座標系内の固定ポーズに対応するレンダリングポーズにマッピングする。カテゴリ座標系は、レンダリングカテゴリの座標系変換から決定される。
【選択図】図2
特許請求の範囲【請求項１】
視聴覚アイテムを受信する第１の受信機と、
少なくとも一部の前記視聴覚アイテムのそれぞれについて入力ポーズおよびレンダリングカテゴリ表示を含むメタデータを受信するメタデータ受信機であって、前記入力ポーズは入力座標系を基準として提供され、前記レンダリングカテゴリ表示は、レンダリングカテゴリのセットのうちのあるレンダリングカテゴリを示す、メタデータ受信機と、
ユーザの頭部の動きを示すユーザ頭部動きデータを受信する受信機と、
前記ユーザ頭部動きデータに応答して、前記入力ポーズをレンダリング座標系内のレンダリングポーズにマッピングするマッパーであって、前記レンダリング座標系は前記頭部の動きに対して固定されている、マッパーと、
前記レンダリングポーズを使用して前記視聴覚アイテムをレンダリングするレンダラと、を備える視聴覚レンダリング装置であって、
各レンダリングカテゴリは、現実世界の座標系からカテゴリ座標系への座標系変換にリンクされており、前記座標系変換はカテゴリごとに異なり、少なくとも１つのカテゴリ座標系は、前記現実世界の座標系および前記レンダリング座標系に対して可変であり、
前記マッパーは、第１の視聴覚アイテムのレンダリングカテゴリ表示に応答して、前記第１の視聴覚アイテムの第１のレンダリングカテゴリを前記レンダリングカテゴリのセットから選択して、前記第１の視聴覚アイテムの入力ポーズを、前記ユーザの頭部の動きを変化させるための第１のカテゴリ座標系内の固定ポーズに対応する前記レンダリング座標系内のレンダリングポーズにマッピングし、前記第１のカテゴリ座標系は、前記第１のレンダリングカテゴリの第１の座標系変換から決定される、視聴覚レンダリング装置。
続きを表示（約 860 文字）【請求項２】
第２のカテゴリの第２の座標系変換は、前記第２のカテゴリのカテゴリ座標系を前記ユーザの頭部の動きと合わせるものである、請求項１に記載の視聴覚レンダリング装置。
【請求項３】
第３のカテゴリの第３の座標系変換は、前記第３のカテゴリのカテゴリ座標系を現実世界の座標系と合わせるものである、請求項１または２に記載の視聴覚レンダリング装置。
【請求項４】
前記第１の座標系変換は、前記ユーザ頭部動きデータに依存する、請求項１から３のいずれか一項に記載の視聴覚レンダリング装置。
【請求項５】
前記第１の座標系変換は平均頭部ポーズに依存する、請求項４に記載の視聴覚レンダリング装置。
【請求項６】
前記第１の座標系変換は、前記第１のカテゴリ座標系を平均頭部ポーズに合わせる、請求項５に記載の視聴覚レンダリング装置。
【請求項７】
異なるレンダリングカテゴリの異なる座標系変換は、前記ユーザ頭部動きデータに依存し、前記第１の座標系変換および前記異なる座標系変換の前記ユーザの頭部の動きへの依存関係は、異なる時間平均特性を有する、請求項４から６のいずれかに記載の視聴覚レンダリング装置。
【請求項８】
ユーザ胴体ポーズを示すユーザ胴体ポーズデータを受信する受信機をさらに備え、前記第１の座標系変換は、前記ユーザ胴体ポーズデータに依存する、請求項１から７のいずれか一項に記載の視聴覚レンダリング装置。
【請求項９】
前記第１の座標系変換は、前記第１のカテゴリ座標系をユーザ胴体ポーズに合わせる、請求項８に記載の視聴覚レンダリング装置。
【請求項１０】
外部デバイスのポーズを示すデバイスポーズデータを受信する受信機をさらに備え、前記第１の座標系変換は、前記デバイスポーズデータに依存する、請求項１から９のいずれか一項に記載の視聴覚レンダリング装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、視聴覚レンダリング装置およびその動作方法に関し、特に、限定はされないが、拡張／仮想現実アプリケーションなどをサポートするためにこれらを使用することに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、視聴覚コンテンツに基づく体験の多様性および範囲が大きく増大しており、そのようなコンテンツを利用および消費する新しいサービスや方法が継続的に開発および導入されている。特に、関与性や没入感がより高い体験をユーザに提供するために、多くの空間的インタラクティブサービス、アプリケーション、および体験が開発されている。
【０００３】
このようなアプリケーションの例としては、仮想現実（ＶＲ）アプリケーション、拡張現実（ＡＲ）アプリケーション、および急速に主流になりつつある複合現実（ＭＲ）アプリケーションがあり、多くのソリューションが消費者市場を標的としている。また、様々な標準化団体によって様々な規格が開発されている。そのような標準化活動は、例えばストリーミング、ブロードキャスト、およびレンダリングなど、ＶＲ／ＡＲ／ＭＲシステムの様々な側面のための規格を積極的に開発している。
【０００４】
ＶＲアプリケーションは、異なる世界／環境／シーンにいるユーザに対応するユーザ体験を提供する傾向がある一方、ＡＲ（複合現実ＭＲを含む）アプリケーションは、追加情報または仮想オブジェクトもしくは情報が追加された現在の環境にいるユーザに対応するユーザ体験を提供する傾向がある。したがって、ＶＲアプリケーションは完全に没入型の人工世界／シーンを提供する傾向がある一方、ＡＲアプリケーションは、ユーザが物理的に存在する現実のシーンに重ねられた部分的に人工の世界／シーンを提供する傾向がある。しかし、これらの用語はしばしば同義で使用され、大きく重複している。以下では、仮想現実／ＶＲという用語は仮想現実および拡張現実の両方を表すために使用される。
【０００５】
一例として、益々人気が高まっているのは、ユーザの動きや位置および向きの変化に適合するようにレンダリングのパラメータを変更するために、ユーザがシステムと能動的かつ動的にインタラクトすることができるように画像および音声を提供するサービスである。多くのアプリケーションにおいて、視聴者の事実上の視点および視線を変更する機能、例えば、提示されているシーン内で視聴者が移動して「見回す」ことを可能にする等の機能は非常に魅力的である。
【０００６】
このような機能により、特に、仮想現実体験をユーザに提供することができる。これは、ユーザが仮想環境内を（比較的）自由に動き回ったり、自分の位置および視線を動的に変更したりすることを可能にし得る。通常、このような仮想現実アプリケーションはシーンの三次元モデルに基づいており、特定の要求されるビューを提供するために、モデルは動的に評価される。この手法は、例えば、コンピュータやコンソール向けの一人称シューティングゲームのジャンルなどのゲームアプリケーションでよく知られている。
【０００７】
また、特に仮想現実アプリケーションの場合、提示される画像が三次元画像であることが望ましい。実際には、視聴者の没入感を最適化するために、通常は、ユーザが提示されたシーンを三次元シーンとして体験することが好ましい。実際には、仮想現実体験は好ましくは、ユーザが仮想世界に対する自身の位置、カメラの視点、および時点を選択することを可能にする。
【０００８】
視覚的なレンダリングに加えて、ほとんどのＶＲ／ＡＲアプリケーションは対応する音声体験をさらに提供する。多くのアプリケーションでは、音声は、好ましくは、視覚的シーン内の対応するオブジェクト（現在見えているオブジェクトと、現在見えていないオブジェクトとの両方を含む（例えば、ユーザの背後））の位置に対応する位置から音源が到達すると認識される空間音声体験を提供する。したがって、音声シーンおよび映像シーンは、一貫していて、両方が完全な空間的体験を提供するものとして知覚されることが好ましい。
【０００９】
音声に関しては、従来はバイノーラル音声レンダリング技術を用いたヘッドホン再生に焦点が当てられてきた。多くのシナリオで、ヘッドホン再生は、非常に没入感のあるパーソナライズされた体験をユーザに提供することができる。ヘッドトラッキングを使用すると、ユーザの頭部の動きに応じたレンダリングが可能となり、没入感が大幅に向上する。
【００１０】
ＩＶＡＳ（ＩｍｍｅｒｓｉｖｅＶｏｉｃｅａｎｄＡｕｄｉｏＳｅｒｖｉｃｅｓ）のために、３ＧＰＰコンソーシアムはいわゆるＩＶＡＳコーデック（３ＧＰＰＳＰ－１７０６１１‘ＮｅｗＷＩＤｏｎＥＶＳＣｏｄｅｃＥｘｔｅｎｓｉｏｎｆｏｒＩｍｍｅｒｓｉｖｅＶｏｉｃｅａｎｄＡｕｄｉｏＳｅｒｖｉｃｅｓ’）を開発している。このコーデックは、様々な音声ストリームを受信側での再生に適した形式に変換するレンダラを含む。具体的には、ヘッドホンまたはヘッドホンを内蔵したヘッドマウントＶＲデバイスを用いた再生のために、音声をバイノーラル形式にすることができる。
（【００１１】以降は省略されています）

関連特許