特許ウォッチ

公開番号2025017364
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2024160225,2022197322
出願日2024-09-17,2019-08-22
発明の名称プロセスデータ共有のための方法及びデバイス
出願人アップルインコーポレイテッド,Apple Inc.
代理人弁理士法人大塚国際特許事務所
主分類G06F 3/01 20060101AFI20250129BHJP(計算;計数)
要約【課題】決定論的プル/フェッチモデルを使用して低遅延でのデータ共有を提供するシステム、方法及びデバイスを提供する。
【解決手段】プロセス間で共有データにアクセスする方法であって、画像取得インタフェースによって取得した画像データを取得することと、画像取得インタフェースによって測定された慣性測定ユニット(IMU)情報に少なくとも部分的に基づいて、ポーズデータを決定することと、画像取得インタフェースを介して取得したアイトラッキング情報に少なくとも部分的に基づいて、視線推定を決定することと、プロセスの特性に少なくとも部分的に基づいて、画像データ、ポーズデータ、及び視線推定の構成を決定することと、構成、プロセスの特性及びデバイスに関連付けられたハードウェアタイミングパラメータのうちの少なくとも1つに少なくとも部分的に基づいて、プロセスのアクセススケジュールを決定することと、を含む。
【選択図】図8
特許請求の範囲【請求項１】
方法であって、１つ以上のプロセッサと、非一時的メモリと、画像取得インタフェースとを備えたデバイスにおいて、
前記画像取得インタフェースによって取得された視野に関連付けられた画像データを取得することと、
慣性測定ユニット（ＩＭＵ）情報に少なくとも部分的に基づくポーズデータであって、前記画像取得インタフェースによって測定されたユーザの現在の姿勢に対応する前記ポーズデータを決定することと、
前記画像取得インタフェースを介して取得されたアイトラッキング情報に少なくとも部分的に基づいて、視線推定を決定することと、
前記画像取得インタフェースと通信可能な複数のプロセスの複数の特性に少なくとも部分的に基づいて、前記画像データ、前記ポーズデータ、及び前記視線推定の構成を決定することと、
前記画像データ、前記ポーズデータ、及び前記視線推定の前記構成、前記複数のプロセスの前記複数の特性、並びに前記デバイスに関連付けられたハードウェアタイミングパラメータのうちの少なくとも１つに少なくとも部分的に基づいて、前記複数のプロセスのアクセススケジュールを決定することと、を含む、方法。
続きを表示（約 2,000 文字）【請求項２】
前記複数のプロセスの前記複数の特性に少なくとも部分的に基づいて、前記画像データ、前記ポーズデータ、及び前記視線推定の前記構成を決定することが、
前記複数のプロセスのうちの第１のプロセスであって、第１の特性のセットによって特徴付けられる前記第１のプロセスに対する、第１の画像データ、第１のポーズデータ、及び第１の視線推定のうちの少なくとも１つを取得することと、
前記複数のプロセスのうちの第２のプロセスであって、第２の特性のセットによって特徴付けられる前記第２のプロセスに対する、第２の画像データ、第２のポーズデータ、及び第２の視線推定のうちの少なくとも１つを取得することと、
前記第１の画像データ、前記第１のポーズデータ、及び前記第１の視線推定を、前記第２の画像データ、前記第２のポーズデータ、及び前記第２の視線推定と統合して、前記画像データ、前記ポーズデータ、及び前記視線推定であって、前記第１の特性のセット及び前記第２の特性のセットに少なくとも部分的に基づいて構成される前記画像データ、前記ポーズデータ、及び前記視線推定を生成することと、を含む、請求項１に記載の方法。
【請求項３】
前記アクセススケジュールが、決定論的モデルに基づいて決定され、前記方法が、
前記複数のプロセスの第１のプロセスに対して、前記第１のプロセスに対する入力、前記入力を提供するハードウェア又は第２のプロセスのうちの少なくとも１つ、及び前記ハードウェア又は前記第２のプロセスのうちの少なくとも１つから前記入力を取得するための時間パラメータを決定することと、
前記時間パラメータに少なくとも部分的に基づいて、前記第１のプロセスのウェイクタイムを計算することと、を含む、請求項１又は２のいずれか一項に記載の方法。
【請求項４】
タイムスタンプと関連付けられているフレームをレンダリングのためにベースデバイスから取得することと、
前記ポーズデータの軌跡及び前記タイムスタンプに基づいて、レンダリング時におけるレンダリングポーズを予測することと、
前記レンダリング時における前記レンダリングポーズを使用して前記フレームを調整することと、を更に含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記複数のプロセスのための前記アクセススケジュールを決定することが、
前記画像データ、前記ポーズデータ、及び前記視線推定の前記構成、前記複数のプロセスの前記複数の特性、並びに前記デバイスからの前記ハードウェアタイミングパラメータのうちの少なくとも１つを取得するベースデバイスによってデータの収集をトリガすることであって、前記データは、前記ベースデバイスによって他のデバイスからもまた収集されることと、
前記データに基づいて前記第２のデバイスによって決定される前記アクセススケジュールを前記第２のデバイスから受信することと、を含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
表示のためのシーンを生成するために、前記アクセススケジュールに従って前記構成にアクセスすることと、
前記構成から得られたデータであって、前記画像データ、前記ポーズデータ、及び前記視線推定のうちの少なくとも１つのサブセットである前記データを使用して、かつ前記アクセススケジュールに従って、前記シーンを表示することと、を更に含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記アクセススケジュールに従って前記構成にアクセスすることが、
前記複数のプロセスのうちのプロセスの予想実行時間を前記アクセススケジュールに基づいて決定することと、
前記構成に従って前記プロセスによって使用されるデータをフェッチすると、前記予想実行時間にデータアクセスするための前記プロセスをウェイクアップすることと、を含む、請求項６に記載の方法。
【請求項８】
前記画像データ、前記ポーズデータ、及び前記視線推定が、記憶デバイスに記憶され、前記画像データ、前記ポーズデータ、及び前記視線推定の前記構成が、前記画像データ、前記ポーズデータ、及び前記視線推定を前記記憶デバイスに記憶するためのレイアウト又はシーケンシングのうちの少なくとも１つを含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記画像取得インタフェースが、前記視野に関連付けられた前記画像データを取得するための画像センサを含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記画像取得インタフェースが、前記ユーザの前記現在の姿勢を測定するためのＩＭＵを含む、請求項１から９のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、概して、データ共有に関し、具体的には、決定論的プル／フェッチモデルを使用して低遅延でのデータ共有を提供するシステム、方法、及びデバイスに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境は、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品を含む。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
【０００３】
対照的に、コンピュータ生成現実（computer-generated reality、ＣＧＲ）環境は、人々が電子システムを介して感知及び／又は相互作用する全体的又は部分的にシミュレーションされた環境を指す。ＣＧＲでは、人の物理的動作のサブセット又はその表現がトラッキングされ、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則に適合するように調整される。例えば、ＣＧＲシステムは、人の頭部が回転するのを検出し、それに応じて、その人に提示するグラフィックコンテンツ及び音場を、そのような視界及び音が物理的環境において変化するであろうと似たように調整することができる。状況によっては（例えば、利用しやすさの理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）の調整は、物理的動作の表現（例えば、音声コマンド）に応じて行われてもよい。
【０００４】
人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちの任意の１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出すオーディオオブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトは、コンピュータ生成オーディオを含め、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性を可能にすることができる。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、及び／又はそれと相互作用することができる。
【０００５】
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
【０００６】
仮想現実（virtual reality、ＶＲ）環境とは、１つ以上の感覚について、全面的にコンピュータ生成感覚の入力に基づくように設計されたシミュレーション環境を指す。ＶＲ環境は、人が感知及び／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の物理的動きのサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
【０００７】
コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、複合現実（mixed reality、ＭＲ）環境は、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレーション環境を指す。仮想性の連続体上において、複合現実環境は、一方の端における完全な物理的環境と、他方の端における仮想現実環境との間にあるがこれらを含まないどこかにある。
【０００８】
いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応答し得る。また、ＭＲ環境を提示するための電子システムの一部は、仮想オブジェクトが現実のオブジェクト（すなわち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に関する所在場所及び／又は向きをトラッキングすることができる。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるような動きに責任を有し得る。
【０００９】
複合現実の例としては、拡張現実及び拡張仮想現実が挙げられる。
【００１０】
拡張現実（augmented reality、ＡＲ）環境は、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられたシミュレーション環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に提示する。人は、システムを使用して、物理的環境の画像又は動画によって物理的環境を間接的に見て、物理的環境上に重ねられた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルー動画」と呼ばれ、システムが、１つ以上の撮像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムは、仮想オブジェクトを、物理的環境に、例えば、ホログラムとして又は物理的表面上に投影するプロジェクションシステムを有してもよく、それによって、人は、システムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。
（【００１１】以降は省略されています）

関連特許