特許ウォッチ

公開番号2025016458
公報種別公開特許公報(A)
公開日2025-02-04
出願番号2024171404,2022554242
出願日2024-09-30,2021-03-15
発明の名称コンピュータ生成体験を提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
出願人アップルインコーポレイテッド,Apple Inc.
代理人弁理士法人大塚国際特許事務所
主分類G06F 3/01 20060101AFI20250128BHJP(計算;計数)
要約【課題】コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供する。
【解決手段】コンピューティングシステムは、第1の表示生成コンポーネントを介して、第1のコンピュータ生成環境を表示し、第2の表示生成コンポーネントを介して、第1の表示生成コンポーネントを介して第1のコンピュータ生成環境を閲覧する位置にいるコンピューティングシステムのユーザの一部分の視覚表現と、第1のコンピュータ生成環境内のコンテンツの視覚インジケーションを提供する1つ以上のグラフィック要素と、を同時に表示する。コンピューティングシステムは、ユーザの一部分の視覚表現を変更して、個別の期間にわたるユーザの外観の変化を表し、1つ以上のグラフィック要素を変更して、個別の期間にわたる第1のコンピュータ生成環境の変化を表す。
【選択図】なし
特許請求の範囲【請求項１】
第１の表示生成コンポーネントと、第２の表示生成コンポーネントと、１つ以上の入力デバイスと、を含むコンピューティングシステムにおいて、
前記第１の表示生成コンポーネントを介して、第１のコンピュータ生成環境を表示することと、
前記第１の表示生成コンポーネントを介して前記第１のコンピュータ生成環境を表示している間に、前記第２の表示生成コンポーネントを介して、
前記第１の表示生成コンポーネントを介して前記第１のコンピュータ生成環境を閲覧する位置にいる前記コンピューティングシステムのユーザの一部分の視覚表現と、
前記第１のコンピュータ生成環境内のコンテンツの視覚インジケーションを提供する１つ以上のグラフィック要素と、
を同時に表示することであって、
前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、
前記ユーザの前記一部分の前記視覚表現を変更して、個別の期間にわたる前記ユーザの外観の変化を表すことと、
前記第１のコンピュータ生成環境内のコンテンツの前記視覚インジケーションを提供する前記１つ以上のグラフィック要素を変更して、前記個別の期間にわたる前記第１のコンピュータ生成環境の変化を表すことと、
を含む、ことと、
を含む、方法。
続きを表示（約 2,000 文字）【請求項２】
前記ユーザの前記一部分の前記視覚表現を変更して、前記個別の期間にわたる前記ユーザの前記外観の変化を表すことが、
前記第１の表示生成コンポーネントに対する第１の方向の前記ユーザの前記一部分の移動に従って、前記第２の表示生成コンポーネント上の前記第１の方向の前記ユーザの前記一部分の前記視覚表現の移動を表示することと、
前記第１の表示生成コンポーネントに対する前記第１の方向に実質的に垂直な第２の方向の前記ユーザの前記一部分の移動に従って、前記第２の方向と実質的に反対の前記第２の表示生成コンポーネント上の第３の方向の前記ユーザの前記一部分の前記視覚表現の移動を表示することと、
を含む、請求項１に記載の方法。
【請求項３】
前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、前記視覚表現の第１の表示特性に対して指定された既定の特性値に従って、前記ユーザの前記一部分の前記視覚表現を生成することを含む、請求項１に記載の方法。
【請求項４】
前記視覚表現の前記第１の表示特性に対して指定された前記既定の特性値が、前記ユーザの前記一部分の前記視覚表現の不透明度の既定の低減量を含む、請求項３に記載の方法。
【請求項５】
前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、前記ユーザの前記一部分の前記視覚表現に既定の視覚効果を適用することを含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記第２の表示生成コンポーネントを介して前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、前記ユーザの前記一部分の前記視覚表現と、前記第１のコンピュータ生成環境の前記コンテンツの前記視覚インジケーションを提供する前記１つ以上のグラフィック要素との間に、拡散着色層を表示することを含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記第２の表示生成コンポーネントを介して前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、前記ユーザの前記一部分の前記視覚表現を第１のグラフィック解像度で表示することと、前記第１のコンピュータ生成環境の前記コンテンツの前記視覚インジケーションを提供する前記１つ以上のグラフィック要素を前記第１のグラフィック解像度とは異なる第２のグラフィック解像度で表示することと、を含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、
前記ユーザの前記外観の第１の変化が検出されたとの判定に従って、前記第１のコンピュータ生成環境内の前記コンテンツの前記視覚インジケーションを提供する前記１つ以上のグラフィック要素を変更することなく、前記ユーザの前記外観の前記第１の変化に従って、前記ユーザの前記一部分の前記視覚表現を変更することを含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、
前記ユーザの前記外観が変更されないままでいる間に、前記第１のコンピュータ生成環境内の前記コンテンツの第２の変化が検出されたとの判定に従って、前記ユーザの前記一部分の前記視覚表現を変更することなく、前記第１のコンピュータ生成環境内の前記コンテンツの前記第２の変化に従って、前記第１のコンピュータ生成環境内の前記コンテンツの前記視覚インジケーションを提供する前記１つ以上のグラフィック要素のうちの少なくとも１つを変更することを含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記ユーザの前記一部分の前記視覚表現と前記１つ以上のグラフィック要素を同時に表示することが、
前記ユーザの前記外観の第３の変化が前記第１のコンピュータ生成環境内の前記コンテンツの第４の変化とともに検出されたとの判定に従って、前記第１のコンピュータ生成環境内の前記コンテンツの前記第４の変化に従って、前記第１のコンピュータ生成環境内の前記コンテンツの前記視覚インジケーションを提供する前記１つ以上のグラフィック要素を変更することと連動して、前記ユーザの前記外観の前記第３の変化に従って、前記ユーザの前記一部分の前記視覚表現を変更することを含む、請求項１から９のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【関連出願の相互参照】
【０００１】
（優先権及び関連出願）
本出願は、２０２０年３月１６日出願の米国仮出願第６２／９９０，４０８号の優先権を主張する、２０２１年３月１２日出願の「ＤＥＶＩＣＥＳ，ＭＥＴＨＯＤＳ，ＡＮＤＧＲＡＰＨＩＣＡＬＵＳＥＲＩＮＴＥＲＦＡＣＥＳＦＯＲＰＲＯＶＩＤＩＮＧＣＯＭＰＵＴＥＲ－ＧＥＮＥＲＡＴＥＤＥＸＰＥＲＩＥＮＣＥＳ」と題された米国特許出願第１７／２００，６７６号の継続出願である。
続きを表示（約 7,400 文字）【技術分野】
【０００２】
本開示は、概して、１つ以上のディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、コンピュータ生成体験を提供する、１つ以上の表示生成コンポーネントと、１つ以上の入力デバイスと、を有するコンピューティングシステムに関する。
【背景技術】
【０００３】
拡張現実のためのコンピューティングシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界の表現を置換又は拡張する少なくともいくつかの仮想要素を含む。コンピューティングシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素としては、仮想三次元オブジェクト、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素が挙げられる。
【０００４】
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。加えて、仮想現実及び／又は複合現実体験を提供する多くのシステムは、ユーザが仮想現実及び複合現実体験に関与するときに、ユーザの顔をユーザの周囲から物理的に遮蔽して、外界との社会的相互作用及び情報交換を妨げる、ヘッドマウントディスプレイデバイスを使用する。
【発明の概要】
【０００５】
したがって、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピューティングシステムが必要とされている。また、ユーザが様々な仮想現実及び複合現実体験に関与している間に、周囲環境とのより良好な社会的相互作用、エチケット、及び情報交換を容易にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピューティングシステムが必要とされている。このような方法及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を任意選択的に補完又は置換する。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。そのような方法及びインタフェースはまた、例えば、ユーザがコンピューティングシステムによって提供される仮想現実体験及び／又は複合現実体験に関与するときに、同じ物理的環境に存在するユーザ及び他者の側における社会的手掛かり及び視覚情報の欠如による、誤り、中断、及び時間遅延を低減することによって、ユーザの体験を改善する。
【０００６】
表示生成コンポーネント及び１つ以上の入力デバイスを有するコンピューティングシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピューティングシステムは、１つ以上の関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピューティングシステムは、ポータブルデバイスである（例えば、ノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピューティングシステムは、パーソナル電子デバイス（例えば、ウォッチ又はヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピューティングシステムは、タッチパッドを有する。いくつかの実施形態では、コンピューティングシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピューティングシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピューティングシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピューティングシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピューティングシステムは、１つ以上の表示生成コンポーネントに加えて、１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピューティングシステムは、グラフィカルユーザインタフェース（graphical user interface、ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
【０００７】
本明細書に開示されるように、コンピューティングシステムは、少なくとも２つの表示生成コンポーネントを含み、第１の表示生成コンポーネントは、ユーザに面し、三次元コンピュータ生成体験をユーザに提供し、第２の表示生成コンポーネントは、ユーザから離れる方向に向き、ユーザに関連する状態情報（例えば、ユーザの目の移動）及び／又はユーザによって現在閲覧されているコンピュータ生成体験に関連する状態情報（例えば、ユーザによって閲覧されたコンテンツに関連するメタデータ及びコンテンツに関連付けられた没入レベル）を提供する。第１の表示生成コンポーネント及び第２の表示生成コンポーネントは、任意選択的に、ヘッドマウントディスプレイデバイス（head-mounted display device、ＨＭＤ）の同じハウジングに囲まれ、ＨＭＤを着用しているユーザに向かって内側に、及びユーザを取り囲む物理的環境に向かって外側にそれぞれ向く、２つのディスプレイである。第２の表示生成コンポーネントは、任意選択的に、第１の表示生成コンポーネントの背後に遮蔽されているユーザの一部分の視覚表現を含み、かつ第１の表示生成コンポーネントを介してユーザに現在示されているコンテンツに関連するメタデータ及び／又はそれに関連付けられた没入レベルを含む、リアルタイム状態情報を提供し、それにより、ユーザの周囲の物理的環境内の別の人（単数又は複数）は、第２の表示生成コンポーネントによって提供される視覚情報及びメタデータを見て、それに応じて行動することができ、例えば、ユーザが第１の表示生成コンポーネントを介してコンピュータ生成コンテンツを閲覧している間に、ユーザとの対話を不必要に回避する、又はユーザを不適切に邪魔するのとは対照的に、適切な場合にユーザに関与することができる。いくつかの実施形態では、コンピューティングシステムのユーザは、任意選択的に、第１の表示生成コンポーネントを介して提供されるコンピュータ生成環境に関与するときに、ユーザの意図した関与レベル及びプライバシーの必要性に適合させるために、コンピューティングシステムの異なるモードをアクティブ化し、コンピューティングシステムは、ユーザのそのような意図及び必要性を周囲の物理的環境内の人々に警告するために、様々なモードに関連する状態情報を提供し、それにより、周囲の物理的環境内の人々による意図しない、望ましくない、かつ／又は不必要な中断及び相互作用の回避が低減される。
【０００８】
本明細書に開示されるように、コンピューティングシステムが同じハウジング内に少なくとも２つの表示生成コンポーネントを含む場合、第２の（例えば、外側を向く）表示生成コンポーネントは、任意選択的に、現在のコンテキストに基づいてコンピュータ生成体験の利用可能性を示すコンテキスト情報を表示する。第１の（例えば、内側を向く）表示生成コンポーネントがユーザの目の前に配置されている（例えば、ユーザが、内側を向くディスプレイがユーザの目に面した状態でＨＭＤを着用している、又はユーザが、内側を向くディスプレイがユーザの目の前にある状態でＨＭＤを保持している）ことを検出したことに応じて、コンピューティングシステムは、第１の表示生成コンポーネントを介してコンピュータ生成体験をユーザに提供する。現在のコンテキストに基づいて外側を向くディスプレイを介して利用可能なコンピュータ生成体験をユーザに自動的に警告すること（例えば、ユーザが外側を向くディスプレイを閲覧する位置にいる間に（ユーザがユーザの頭部にＨＭＤを着用していない間に、ＨＭＤがテーブル上に配置されている間に、など））、及び／又は内側を向くディスプレイがユーザの目の前に配置されているときに（例えば、ユーザがユーザの頭部にＨＭＤを着用する、又は内部ディスプレイがユーザの顔若しくは目に面した状態でＨＭＤを保持しているときに）現在のコンテキストに対応するコンピュータ生成体験を自動的に表示することにより、様々なコンテキストにおいてユーザがどんなコンピュータ生成体験が利用可能かを見つけて、所望のコンピュータ生成体験を選択的に閲覧するために必要な入力の数、複雑さ、及び範囲を低減する（例えば、ＨＭＤを常に着用する必要なしに、かつ／又は所望のＣＧＲコンテンツアイテムの位置を特定するために選択可能なオプションを通してブラウザする、及び／若しくは所望のＣＧＲ体験を開始するためにＨＭＤを着用している間に表示されたコントロールをアクティブ化する必要なしに）。いくつかの実施形態では、第１の表示生成コンポーネントがユーザによって実際に着用されている（例えば、ユーザの手（単数又は複数）でユーザの目の前に保持されているのとは対照的に、ユーザの頭部又は身体にストラップで固定されている）かどうかに応じて、コンピューティングシステムは、任意選択的に、第１の表示生成コンポーネントの着用状態に対応する異なるコンピュータ生成体験を提供する（例えば、第１の表示生成コンポーネントがユーザによって実際に着用されていないときに、利用可能なコンピュータ生成体験のプレビュー（例えば、短縮した、二次元又は三次元の、対話型の、など）を表示し、第１の表示生成コンポーネントがユーザによって着用されているときに、利用可能なコンピュータ生成体験の完全なバージョンを表示する）。ユーザに対する表示生成コンポーネントの位置（例えば、ユーザがＣＧＲ体験を見ることを位置が可能にするかどうかに基づいて）だけでなく、表示生成コンポーネントがユーザによってしっかりと着用されているかどうか（例えば、ユーザの手が自由である、又は表示生成コンポーネントを現在の位置に保持するために必要であるかに基づいて）にも応じて、コンピュータ生成体験の異なるバージョン又は異なるコンピュータ生成体験を選択的に表示することにより、意図した結果をトリガするために必要な入力の数を低減し、完全なコンピュータ生成体験を不必要にアクティブ化することを回避し、それによって、ユーザがコンピュータ生成体験を簡単にプレビューすることを望むだけのときに、ユーザの時間を節約し、バッテリで電力を供給されている場合に、表示生成コンポーネント及びコンピューティングシステムのバッテリ電力を節約する。
【０００９】
本明細書に開示されるように、いくつかの実施形態では、コンピューティングシステムは、同じハウジング内の、又は同じ物理的支持構造体に取り付けられた、第１の表示生成コンポーネント及び第２の表示生成コンポーネントを含む。第１の表示生成コンポーネント及び第２の表示生成コンポーネントは、任意選択的に、非透明であり、反対方向を向く、それらのそれぞれの表示面を有する。表示生成コンポーネントは、ハウジング又は支持構造体とともに、かなりかさばることがあり、ユーザの頭部／身体に着脱することが煩雑であり得る。表示生成コンポーネントはまた、ユーザと周囲の物理的環境内の他者との間に有意な物理的バリアを一緒に形成する。外部ディスプレイ（例えば、第２の表示生成コンポーネント）を利用して、内部ディスプレイ（例えば、第１の表示生成コンポーネント）に表示されたＣＧＲコンテンツのメタデータに関連する状態情報（例えば、タイトル、進度、タイプなど）、表示されたＣＧＲコンテンツに関連付けられた没入レベル（例えば、完全なパススルー、複合現実、仮想現実など）、及び／又は表示されたＣＧＲコンテンツの視覚特性（例えば、変化する色、輝度など）、コンピューティングシステムの現在の表示モード（例えば、プライバシーモード、ペアレンタルコントロールモード、サイレントモードなど）、及び／又はユーザの特性（例えば、ユーザの目の外観、ユーザの識別子など）を示すことによって、ユーザが表示生成コンポーネントを物理的に取り外す必要なしに、ユーザと周囲環境内の他者との間の物理的バリアの存在の影響が低減され、所望の社会的相互作用への不必要な障害及びコンピュータ生成体験とのユーザの関与への不必要な中断が低減される。更に、外部ディスプレイを利用して、コンテキスト情報及びコンテキスト上関連するコンピュータ生成体験のインジケーションを示すことによって、ユーザは、どんなＣＧＲコンテンツが利用可能であるかを見つけるために、ＨＭＤを常に手に取って内部ディスプレイをユーザの目の前に置く必要がない。ユーザはまた、利用可能なＣＧＲ体験をプレビューするためにＨＭＤに完全にストラップで固定する必要がない。ユーザは、ユーザがＣＧＲ体験に完全に関与する（例えば、空中ジェスチャ及びマイクロジェスチャを用いてＣＧＲ環境と相互作用する）ことを望むときにＨＭＤを完全に着用する必要があるだけである。このようにして、ユーザがＨＭＤの内部ディスプレイをユーザの目の前に置く、及び／又はＨＭＤをユーザの頭部に完全にストラップで固定する必要がある回数は、どんなＣＧＲ体験が利用可能であるかを知るユーザの必要性を損なうことなく、及び／又は所望のＣＧＲ体験を楽しむユーザの能力を妨げることなく、低減される。
【００１０】
本明細書に開示されるように、コンピュータ生成体験は、現実世界の物理的オブジェクトとのユーザの物理的相互作用に応じて、コンピューティングシステムの表示生成コンポーネント（例えば、デバイスの単一の表示生成コンポーネント、ＨＭＤの内部ディスプレイなど）を介して提供される。具体的には、コンピューティングシステムは、表示生成コンポーネントを介して表示される三次元環境内の位置でコンピュータ生成体験が利用可能であるという視覚インジケーションを表示し、視覚インジケーションの位置は、三次元環境内の物理的オブジェクトの表現の位置に対応する。物理的オブジェクトに関連付けられた事前設定された基準を満たす第１の方法での物理的オブジェクトとの物理的相互作用を検出したことに応じて、コンピューティングシステムは、物理的オブジェクトと、任意選択的に第１の方法の物理的相互作用とに関連付けられたコンピュータ生成体験を表示する。例えば、コンピューティングシステムは、事前設定された基準が物理的オブジェクトのユーザの操作によって満たされる前に、ユーザの手及び物理的オブジェクトのパススルービューを表示し、コンピューティングシステムは、事前設定された基準が満たされた後に、物理的オブジェクトを操作するユーザの手（単数又は複数）のコンピュータ拡張表現を表示する。現実世界の物理的オブジェクトとの事前設定された物理的相互作用を検出したことに応じて、コンピュータ生成体験を自動的に開始することにより、物理的オブジェクトと相互作用するユーザの体験を向上させ、相互作用をより直感的にし、物理的オブジェクトと相互作用するときのユーザの誤りを低減する。
（【００１１】以降は省略されています）

関連特許