特許ウォッチ

公開番号2025084733
公報種別公開特許公報(A)
公開日2025-06-03
出願番号2025004877,2023107180
出願日2025-01-14,2023-06-29
発明の名称複数の表面点に対する深度を使用したユーザ表現
出願人アップルインコーポレイテッド,Apple Inc.
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20250527BHJP(計算;計数)
要約【課題】ユーザの外観の現在の表現を正確にまたは忠実に生成するシステム、方法及び電子デバイスを提供する。
【解決手段】方法は、センサデータがある時点に関連付けられているユーザのセンサデータ(例えば、ライブデータ)を取得することと、センサデータに基づいてユーザを表す値のセットを生成することと、値のセットを提供し、ある時点におけるユーザの描写を値のセットに基づいて表示することと、を含む。前記値のセットは、投影面の点の複数の3次元(3D)位置に対するユーザの部分の3D位置を定義する深度値及びユーザの部分の外観を定義する外観値(例えば、色、テクスチャ、不透明度など)を含む。
【選択図】図5
特許請求の範囲【請求項１】
方法であって、
デバイスのプロセッサにおいて、
ユーザのセンサデータであって、前記センサデータがある時点に関連付けられている、センサデータを取得することと、
前記センサデータに基づいて前記ユーザを表す値のセットであって、前記値のセットが、
投影面の点の複数の３次元（３Ｄ）位置に対する前記ユーザの部分の３Ｄ位置を定義する深度値、及び
前記ユーザの前記部分の外観を定義する外観値、を含む、値のセットを生成することと、
前記値のセットであって、前記時点における前記ユーザの描写が前記値のセットに基づいて表示される、前記値のセットを提供することと、
を含む、方法。
続きを表示（約 890 文字）【請求項２】
前記点が、前記投影面上の垂直線及び水平線に沿って規則的な間隔で離れて配置されている、請求項１に記載の方法。
【請求項３】
前記投影面が、非平面である、請求項１に記載の方法。
【請求項４】
前記投影面が、少なくとも部分的に円筒形である、請求項１に記載の方法。
【請求項５】
前記投影面が、平面である、請求項１に記載の方法。
【請求項６】
前記値のセットが、前記投影面の中央エリア上の前記点のサブセットが前記ユーザの顔の中央部分に対応するようなアライメントに基づいて生成される、請求項１に記載の方法。
【請求項７】
前記値のセットを生成することが、前記ユーザが複数の異なる顔の表情を表している間にキャプチャされた前記ユーザの顔の画像に更に基づく、請求項１に記載の方法。
【請求項８】
前記センサデータが、前記ユーザの第１のエリアのみに対応し、
画像データのセットが、前記第１のエリアとは異なる第３のエリアを含む第２のエリアに対応している、
請求項７に記載の方法。
【請求項９】
第２の期間に関連付けられたユーザの追加のセンサデータを取得することと、
前記第２の期間の前記追加のセンサデータに基づいて、前記ユーザを表す前記値のセットを更新することと、
前記更新された値のセットを提供することと、を更に含み、前記ユーザの前記描写が、前記更新された値のセットに基づいて前記第２の期間において更新される、
請求項１に記載の方法。
【請求項１０】
前記値のセットを提供することが、第２のデバイスとの通信セッション中に前記値のセットを有するフレームを含む３Ｄビデオデータのフレームのシーケンスを送信することを含み、前記第２のデバイスが、前記３Ｄビデオデータのフレームのシーケンスに基づいて前記ユーザのアニメーション化された描写をレンダリングする、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、概して、電子デバイスに関し、特に、コンピュータ生成コンテンツにおいてユーザを表すためのシステム、方法、及びデバイスに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
既存の技術では、電子デバイスのユーザの外観の、現在の（例えば、リアルタイムの）表現を正確に又は忠実に表さない場合がある。例えば、デバイスは、数分、数時間、数日、又は更には数年前に取得されたユーザの顔の画像に基づいて、ユーザのアバター表現を提供する場合がある。そのような表現は、ユーザの現在の（例えば、リアルタイムの）外観を正確に表さない場合があり、例えば、ユーザが笑っているときにユーザのアバターを笑っているように示さないか、又はユーザの現在のひげを示さない場合がある。したがって、ユーザのより正確な、忠実な、及び／又は現在の表現を効率的に提供するａ手段を提供することが望ましい場合がある。
【発明の概要】
【０００３】
本明細書に開示される様々な実装形態は、ユーザ表現（例えば、アバター）を生成するために使用される、ある時点におけるユーザの顔の３次元（３Ｄ）形状及び外観を表す値のセットを生成するデバイス、システム、及び方法を含む。いくつかの実装形態では、非平面形状（例えば、円筒形状）を有する表面を使用して、歪みを低減することができる。値のセットは、表面上の複数の点、例えば、部分的に円筒面上のグリッド内の点に対する、顔の部分の深度を定義する深度値を含む。例えば、１つの点の深度値は、顔の部分が表面上のその点の位置の後ろの深度Ｄ１にあること、例えば、その点から始まる光線に沿った深度Ｄ１にあることを定義することができる。本明細書で説明する技術は、既存のＲＧＢＤＡ画像（例えば、赤－緑－青－深度－アルファ画像）内の深度値とは異なる深度値を使用する。なぜなら、ＲＧＢＤＡ画像が、単一のカメラロケーションに対するコンテンツ深度を定義し、本明細書で説明する技術が、平面形状（例えば、円筒形状）の表面上の複数の点に対する顔の部分として深度を定義するからである。
【０００４】
表面上の複数の点に対して定義された深度値を有する比較的単純な値のセットを使用して、いくつかの利点を実現することができる。値のセットは、ＲＧＢＤＡ画像よりも正確なユーザ表現を可能にしながら、３Ｄメッシュ又は３Ｄ点群を使用するよりも少ない計算量及び帯域幅しか必要とし得ない。更に、値のセットは、既存のフォーマット、例えば、ＲＧＢＤＡ画像と同様の方法でフォーマット／パッケージ化されてもよく、これにより、そのようなフォーマットに基づくシステムとのより効率的な統合を可能にすることができる。
【０００５】
一般に、本明細書で説明する主題の１つの発明的態様は、デバイスのプロセッサにおいて、ユーザのセンサデータを取得するアクションを含む方法において具現化することができ、センサデータは、ある時点に関連付けられている。アクションは、センサデータに基づいてユーザを表す値のセットを生成することを更に含み、値のセットは、投影面の点の複数の３次元（３Ｄ）位置に対するユーザの部分の３Ｄ位置を定義する深度値、及びユーザの部分の外観を定義する外観値を含む。アクションは、値のセットを提供することを更に含み、その時点におけるユーザの描写は値のセットに基づいて表示される。
【０００６】
これら及び他の実施形態は、以下の特徴のうち１つ以上を任意選択的に含むことができる。
【０００７】
いくつかの態様では、点は、表面上の垂直線及び水平線に沿って規則的な間隔で離れて配置される。
【０００８】
いくつかの態様では、表面は、非平面である。いくつかの態様では、表面は、少なくとも部分的に円筒形である。いくつかの態様では、表面は、平面である。
【０００９】
いくつかの態様では、値のセットは、表面の中央エリア上の点のサブセットがユーザの顔の中央部分に対応するようなアライメントに基づいて生成される。いくつかの態様では、値のセットを生成することは、ユーザが複数の異なる顔の表情を表している間にキャプチャされたユーザの顔の画像に更に基づく。
【００１０】
いくつかの態様では、センサデータは、ユーザの第１のエリアのみに対応し、画像データのセットは、第１のエリアとは異なる第３のエリアを含む第２のエリアに対応する。
（【００１１】以降は省略されています）

関連特許