特許ウォッチ

公開番号2024125265
公報種別公開特許公報(A)
公開日2024-09-18
出願番号2024015549
出願日2024-02-05
発明の名称人工現実環境におけるユーザインターフェースインタラクションの容易化
出願人メタプラットフォームズテクノロジーズ, リミテッドライアビリティカンパニー,META PLATFORMS TECHNOLOGIES, LLC
代理人弁理士法人World IP
主分類G06F 3/01 20060101AFI20240910BHJP(計算;計数)
要約【課題】XR環境におけるユーザインターフェースインタラクションを容易にするためのコンピュータ実装方法の提供
【解決手段】方法は、ユーザの手の位置を追跡することを含み、ユーザの手の位置がUI要素の第1の閾値距離内にあることに基づいてUI要素を修正する第1のフィードバックを生成することによって、またはユーザの手の位置が縁部の第2の閾値距離内にあることに基づいてシステムUIの縁部を強調する第2のフィードバックを生成することによって、インタラクション機会を表明することをさらに含み、ユーザの手の位置を更新することを含み、ユーザの手がUI要素とインタラクトしたときに、ユーザの手の表現の場所を修正することによってUI要素とのインタラクションを表明すること、または縁部を掴んでいる表現の部分を強調する第3のフィードバックを生成することによって、縁部とのインタラクションを表明することをさらに含む。
【選択図】図2A
特許請求の範囲【請求項１】
人工現実（ＸＲ）環境におけるユーザインターフェース（ＵＩ）インタラクションを容易にするためのコンピュータ実装方法であって、
前記ＸＲ環境において、ＵＩ要素のセットを含むシステムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピュータ実装方法。
続きを表示（約 2,400 文字）【請求項２】
前記インタラクション機会を表明することが、前記第１のフィードバックを生成することを含み、かつ
前記第１のフィードバックが、前記ＵＩ要素のセットのうちの前記ＵＩ要素によってカバーされる前記システムＵＩの前記表面の量を増加させることをさらに含む、
請求項１に記載のコンピュータ実装方法。
【請求項３】
前記インタラクションを表明することが、前記ユーザの手の前記表現の前記場所を修正させることを含み、かつ
前記ユーザの手の前記表現の前記場所を修正させることが、前記ユーザの手の前記表現が前記システムＵＩの前記表面を越えて前記ＵＩ要素を押しているという決定に応答して、前記ＵＩ要素が前記システムＵＩの前記表面の下に拡張するのを防止することを含む、
請求項１に記載のコンピュータ実装方法。
【請求項４】
前記インタラクションを表明することが、前記ユーザの手の前記表現の前記場所を修正させることを含み、かつ
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという前記決定に応答して、前記ＵＩ要素のカラーリングまたは陰影を変更することによって前記ＵＩ要素をさらに強調する、
請求項１に記載のコンピュータ実装方法。
【請求項５】
前記ＵＩ要素がボタンＵＩ要素であり、
前記インタラクションを表明することが前記ユーザの手の前記表現の場所を修正させることを含み、
前記方法が、前記ユーザの手が、Ａ）前記ボタンＵＩ要素を第１の押下閾値を超えて押下して前記ボタンＵＩ要素とインタラクトし、Ｂ）次いで、前記ボタンＵＩ要素を第２の押下閾値を超えて解放して前記ボタンＵＩ要素とインタラクトした、という決定に応答して、前記ボタンＵＩ要素のアクティブ化を引き起こすことをさらに含み、かつ
前記第１の押下閾値が、前記第２の押下閾値よりも前記システムＵＩの前記表面に近い、
請求項１に記載のコンピュータ実装方法。
【請求項６】
前記ボタンＵＩ要素の前記アクティブ化を引き起こすことが、オーディオキューを出力することを含む、請求項５に記載のコンピュータ実装方法。
【請求項７】
前記インタラクションを表明することが、前記第３のフィードバックを生成することを含み、
前記ユーザの手の前記表現の前記少なくとも一部を強調する前記第３のフィードバックが、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも親指および１本または複数本の指を強調する、
請求項１に記載のコンピュータ実装方法。
【請求項８】
人工現実（ＸＲ）環境においてシステムユーザインターフェース（ＵＩ）とインタラクトするためのコンピューティングシステムであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムにプロセスを実施させる命令を格納する１つまたは複数のメモリと
を備え、前記プロセスが、
前記ＸＲ環境において、ＵＩ要素のセットを含む前記システムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピューティングシステム。
【請求項９】
前記システムＵＩまたは前記ＵＩ要素との前記インタラクションを表明することが、前記ユーザの手の前記表現の前記少なくとも一部が前記システムＵＩを掴んでいるときに前記システムＵＩの前記縁部を強調することにより前記第３のフィードバックを生成することを含む、請求項８に記載のコンピューティングシステム。
【請求項１０】
前記システムＵＩの前記縁部の前記一部を強調することが、Ａ）前記ユーザの手の前記表現が前記システムＵＩの前記縁部の閾値距離内にあったときに始まり、Ｂ）前記ユーザの手の前記表現の前記一部と前記システムＵＩの前記縁部の前記一部との間の距離が減少するにつれて、強調された前記縁部の量が増加する、請求項９に記載のコンピューティングシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【発明の概要】
【０００１】
関連出願の相互参照
本出願は、２０２３年２月８日に出願された「ＦａｃｉｌｉｔａｔｉｎｇＳｙｓｔｅｍＵｓｅｒＩｎｔｅｒｆａｃｅ（ＵＩ）ＩｎｔｅｒａｃｔｉｏｎｓｉｎａｎＡｒｔｉｆｉｃｉａｌＲｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，１４４号（代理人整理番号３５８９－０２３２ＵＳ０１）、２０２３年２月８日に出願された「ＦａｃｉｌｉｔａｔｉｎｇＳｙｓｔｅｍＵｓｅｒＩｎｔｅｒｆａｃｅ（ＵＩ）ＩｎｔｅｒａｃｔｉｏｎｓｉｎａｎＡｒｔｉｆｉｃｉａｌＲｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，２８２号（代理人整理番号３５８９－０２３２ＵＳ０２）、および２０２３年２月８日に出願された「Ｉｎｔｅｎｔ－ＢａｓｅｄＵｓｅｒＩｎｔｅｒｆａｃｅＭｏｄｉｆｉｃａｔｉｏｎｓｉｎａｎＡｒｔｉｆｉｃｉａｌＲｅａｌｉｔｙＥｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第号（代理人整理番号３５８９－０２６０ＵＳ０１）に関連し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
続きを表示（約 3,600 文字）【０００２】
技術分野
本開示は、人工現実（ＸＲ）環境におけるユーザのインタラクションの容易化に関する。より詳細には、本開示は、ＸＲ環境においてレンダリングされるシステムユーザインターフェース（ＵＩ）を取り扱い、使用し、または操作するためのシステムおよび方法に関する。
【０００３】
背景技術
人工現実（ＸＲ）技術の分野における最近の進歩は、例えばユーザ支援および娯楽のための様々な人工現実プラットフォームの開発につながっている。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含むことができ、それらのいずれも単一のチャネルまたは複数のチャネルで提示することができる。人工現実は、ユーザが３次元環境で友人と仮想的につながり、空間および時間を移動し、完全に新しい方法でゲームをプレイすることなどができ得る社会的つながりを提供することができる。
【０００４】
従来、既存のＸＲ環境は、ユーザが仮想オブジェクト（例えば、スクリーン）を介してなど、様々な形態でコンテンツを視聴することを可能にする。しかしながら、ＸＲ環境内のスクリーンなどの仮想オブジェクトとのインタラクションは、ユーザにとって複雑なタスクである場合がある。例えば、ユーザは、現実世界において仮想オブジェクトに物理的に触れることができない場合があるため、仮想オブジェクトとインタラクトすることが困難であると感じる場合がある。したがって、従来のＸＲ環境における仮想オブジェクトを使用する体験は、ユーザにとって満足のいくものではなく、困難である場合がある。
【図面の簡単な説明】
【０００５】
本技術のいくつかの実装形態が動作可能であるデバイスの全体像を示すブロック図である。
本技術のいくつかの実装形態において使用可能である仮想現実ヘッドセットを示す配線図である。
本技術のいくつかの実装形態において使用可能である複合現実ヘッドセットを示す配線図である。
いくつかの実装形態における、ユーザが人工現実環境とインタラクトするために片手または両手で保持することができるコントローラを示す配線図である。
本技術のいくつかの実装形態が動作可能である環境の全体像を示すブロック図である。
いくつかの実装形態において、開示された技術を用いるシステムで使用可能である構成要素を示すブロック図である。
人工現実（ＸＲ）環境におけるユーザとシステムユーザインターフェース（ＵＩ）とのインタラクションを容易にするための例示的な環境を示す概念図である。
ＸＲ環境におけるユーザインターフェースインタラクションを容易にするためのＵＩ要素に対応する第１のフィードバックを示す概念図である。
システムＵＩの縁部の一部の強調に対応する第２のフィードバックを表す概念図である。
ユーザの手とシステムＵＩのＵＩ要素とのインタラクションを示す概念図である。
システムＵＩのＵＩ要素のアクティブ化の一例を集合的に示す概念図である。
システムＵＩのＵＩ要素のアクティブ化の一例を集合的に示す概念図である。
ユーザの手の位置の近接度に基づくシステムＵＩの縁部の一部の強調を示す概念図である。
縁部の強調を完全に表し、縁部が掴まれていることに基づくユーザの手の表現を表す概念図である。
ＸＲ環境におけるユーザとＵＩ要素とのインタラクションのために本技術のいくつかの実装形態において使用される方法を示すフロー図である。
ＸＲ環境におけるユーザとシステムＵＩとのインタラクションのために本技術のいくつかの実装形態において使用される方法を示すフロー図である。
【発明を実施するための形態】
【０００６】
ここで導入された技法は、同様の参照番号が同一のまたは機能的に同様の要素を指示する添付の図面と併せて以下の「発明を実施するための形態」を参照することによって、より良く理解され得る。
【０００７】
本開示の態様は、人工現実（ＸＲ）環境におけるユーザインターフェースインタラクションを容易にすることに関する。インタラクション容易化システムは、ＸＲ環境におけるユーザインターフェースインタラクションを容易にするために提供されてもよい。ＸＲ環境におけるインタラクションを容易にするために、ＸＲ環境においてシステムユーザインターフェース（ＵＩ）をレンダリングしてもよい。インタラクション容易化システムは、物理環境におけるユーザとデバイスとのインタラクションと同様に、ＸＲ環境におけるユーザとシステムＵＩとの効果的な没入型インタラクションを容易にすることができる。ユーザの没入型体験のために、システムＵＩまたはシステムＵＩのＵＩ要素は、ＸＲ環境におけるユーザとシステムＵＩとの間のインタラクションに基づいて修正されてもよい。
【０００８】
例示的なシナリオでは、ユーザは、広範囲のアプリケーション、例えば、娯楽、ヘルスケア、自動車、教育、社会的および関係のつながりなどのためにＸＲ環境を利用してもよい。例えば、システムＵＩは、ＸＲ環境におけるコンテンツの視聴、インターネットのブラウジング、他のユーザとの接続、システム制御へのアクセスなどの様々なアプリケーションにアクセスするための媒体として利用されてもよい。インタラクション容易化システムは、システムＵＩを開くために、ＸＲデバイスを介してユーザから入力を受信してもよい。インタラクション容易化システムは、受信した入力に基づいてＸＲ環境においてシステムＵＩをレンダリングすることができる。さらに、インタラクション容易化システムは、システムＵＩおよび／またはシステムＵＩのＵＩ要素のセットのうちのＵＩ要素に対するユーザの手の位置を追跡することができる。追跡は、物理世界におけるユーザの手の実際の位置および／またはジェスチャを決定するために実施されてもよい。
【０００９】
一実施形態では、ユーザは、手をＵＩ要素に近づけるジェスチャを実施してもよい。追跡されたユーザの手の位置がＵＩ要素の第１の閾値距離内にあるという決定に基づいて、インタラクション容易化システムは、ＵＩ要素のアクティブ化の前に、ＵＩ要素を修正する第１のフィードバックを生成することができる。第１のフィードバックは、システムＵＩの表面の上にＵＩ要素を拡張することを含む。そのような第１のフィードバックは、ユーザとＵＩ要素とのインタラクション機会を表明してもよい。別の実施形態では、ユーザは、（例えば、システムＵＩを掴むために）手をシステムＵＩの縁部に近づけるジェスチャを実施してもよい。追跡されたユーザの手の位置がシステムＵＩの縁部の第２の閾値距離内にあるという決定に基づいて、コンピューティングシステムは、システムＵＩの縁部の少なくとも一部を強調する第２のフィードバックを生成してもよい。そのような第２のフィードバックは、ユーザとシステムＵＩとのインタラクション機会を表明してもよい。したがって、コンピューティングシステムは、没入型かつ効果的なユーザ体験のために、ユーザがシステムＵＩおよびシステムＵＩのＵＩ要素とのインタラクション機会を容易に識別することを可能にする。
【００１０】
さらに、コンピューティングシステムは、システムＵＩおよび／またはＵＩ要素のセットに対するユーザの手の位置を更新することができる。ユーザの手の位置がＵＩ要素とインタラクトしたという決定に応答して、コンピューティングシステムは、ユーザの手の表現（ＸＲ環境でレンダリングされる）の場所を、ユーザの手の現実世界での場所を直接追跡することから、ユーザの手の現実世界での場所およびＵＩ要素の場所の両方に基づく位置に修正させる。例えば、インタラクション容易化システムは、最初に、ユーザの手の表現をユーザの手の現実世界の位置に一致させる（システムが可能な限り近くする）ことができる。次いで、ユーザの手の位置がＵＩ要素とインタラクトしたという決定に続いて、ユーザの現実世界の手がＵＩ要素から閾値量だけ離れて移動してもユーザの手の表現がＵＩ要素から離れないように、ユーザの手の表現がＵＩ要素に取り付けられる。さらに、ユーザの手の位置がＵＩ要素とインタラクトして（例えば、ＵＩ要素を押下することによって）ＵＩ要素がアクティブ化されたとき、インタラクション容易化システムは、オーディオキューをさらに提供することができる。そのような修正は、ユーザに対するＵＩ要素のアクティブ化を表明する。
（【００１１】以降は省略されています）

関連特許