特許ウォッチ

公開番号2025015654
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2024198951,2023133400
出願日2024-11-14,2018-04-17
発明の名称ウェアラブルシステムのためのマルチモード実行およびテキスト編集
出願人マジックリープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類G06F 3/01 20060101AFI20250123BHJP(計算;計数)
要約【課題】好適なウェアラブルシステムのためのマルチモード実行およびテキスト編集を提供すること。
【解決手段】ウェアラブルシステムおよび方法の実施例は、複数の入力(例えば、ジェスチャ、頭部姿勢、眼視線、音声、および/または環境要因(例えば、場所))を使用して、実行されるべきコマンドおよび作用されるべき3次元(3D)環境内のオブジェクトを決定することができる。複数の入力はまた、例えば、テキストを構成、選択、または編集する等、ユーザがテキストと相互作用することを可能にするために、ウェアラブルシステムによって使用されることができる。
【選択図】図14
特許請求の範囲【請求項１】
本明細書に記載の発明。

発明の詳細な説明【技術分野】
【０００１】
本願は、２０１７年４月１９日に出願され“ＭＵＬＴＩ－ＭＯＤＡＬＣＯＮＴＥＸＴＵＡＬＴＡＳＫＥＸＥＣＵＴＩＯＮＦＯＲＡＵＧＭＥＮＴＥＤＲＥＡＬＩＴＹ”と題された米国仮出願第６２／４８７，３６４号および２０１７年１２月２２日に出願され“ＭＵＬＴＩ－ＭＯＤＡＬＴＥＸＴＣＯＭＰＯＳＩＴＩＯＮＡＮＤＥＤＩＴＩＮＧＦＯＲＡＵＧＭＥＮＴＥＤＲＥＡＬＩＴＹ”と題された米国仮出願第６２／６０９，６４７号に対する３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）のもとでの優先権の利益を主張するものであり、これらの開示は、全体が参照により本明細書中に援用される。
続きを表示（約 4,400 文字）【０００２】
本開示は、仮想現実および拡張現実結像ならびに可視化システムに関し、より具体的には、ユーザ入力の組み合わせを使用して、３次元（３Ｄ）環境内の仮想オブジェクトまたはテキストと相互作用することに関する。
【背景技術】
【０００３】
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進している。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、ならびにＭＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【０００４】
本明細書に説明されるウェアラブルシステムおよび方法の実施例は、複数の入力（例えば、ジェスチャ、頭部姿勢、眼視線、音声、または環境要因（例えば、場所））を使用して、実行されるべきコマンドおよび作用されるべき３次元（３Ｄ）環境内のオブジェクトを決定することができる。複数の入力はまた、例えば、テキストを構成、選択、または編集する等のユーザがテキストと相互作用することを可能にするために、ウェアラブルデバイスによって使用されることができる。
【０００５】
例えば、ウェアラブルディスプレイデバイスは、タスクの実行のために、マルチモード入力を解析するように構成されることができる。ウェアラブルデバイスは、頭部姿勢、眼視線、手のジェスチャ、音声コマンド、環境要因（例えば、ユーザの場所またはユーザの周囲のオブジェクト）等の複数の入力の組み合わせを使用して、ウェアラブルデバイスが作用するであろう、ユーザの環境内の仮想オブジェクト、ウェアラブルデバイスが仮想オブジェクト上で実行し得る、動作のタイプ、およびウェアラブルデバイスが動作を実行する方法を決定することができる。
【０００６】
別の実施例として、ウェアラブルデバイスは、テキストと相互作用するために、マルチモード入力を解析するように構成されることができる。ウェアラブルデバイスは、音声入力、眼視線、手のジェスチャ、およびトーテム入力等の複数の入力の組み合わせを使用して、テキストを構成（例えば、入力）編集することができる。ウェアラブルデバイスは、ユーザが、第１の入力モード（例えば、音声入力）を利用して、テキストをシステムに書き取らせ、第２の異なる入力モード（例えば、眼視線入力または身体ジェスチャ）を利用して、編集するためのテキストの部分を選択し、第１のモード、第２のモード、さらに別のモード、またはそれらのモードの組み合わせを利用して、選択されたテキストを編集することを可能にしてもよい。
本発明は、例えば、以下を提供する。
（項目１）
システムであって、
第１の入力モードにおける第１のユーザ入力データを入手するように構成されるウェアラブルシステムの第１のセンサと、
第２の入力モードにおける第２のユーザ入力データを入手するように構成される前記ウェアラブルシステムの第２のセンサであって、前記第２の入力モードは、前記第１の入力モードと異なる、第２のセンサと、
前記第１および第２のセンサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記第１の入力モードにおける第１のユーザ入力データおよび前記第２の入力モードにおける第２のユーザ入力データを備えるマルチモード入力を受信することと、
前記第１のユーザ入力データに基づいて、相互作用のための第１のセットの候補オブジェクトを識別することと、
前記第２のユーザ入力データに基づいて、相互作用のための第２のセットの候補オブジェクトを識別することと、
前記第１のユーザ入力データおよび前記第２のユーザ入力データの組み合わせに基づいて、標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定することと、
前記第１のユーザ入力データまたは前記第２のユーザ入力データのうちの少なくとも１つに基づいて、前記標的仮想オブジェクト上でのユーザインターフェース動作を決定することと、
前記ユーザインターフェース動作を前記標的仮想オブジェクト上で実施させる、マルチモード入力コマンドを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記マルチモード入力は、以下の入力モード、すなわち、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声のうちの少なくとも２つを備える、項目１に記載のシステム。
（項目３）
前記ユーザインターフェース動作は、前記標的仮想オブジェクトを選択する、移動させる、またはリサイズすることのうちの少なくとも１つを備える、項目１に記載のシステム。
（項目４）
前記ハードウェアプロセッサはさらに、前記ユーザインターフェース動作における前記標的仮想オブジェクトのための標的場所、配向、または移動のうちの少なくとも１つを決定するように構成される、項目１に記載のシステム。
（項目５）
前記標的仮想オブジェクトのための標的場所を決定するために、前記ハードウェアプロセッサは、前記標的仮想オブジェクトを載上するための物理的環境内の作業可能表面を識別するようにプログラムされる、項目４に記載のシステム。
（項目６）
前記作業可能表面は、
前記物理的環境内の物理的オブジェクト上の着目点（ＰＯＩ）に関する距離関数を計算することと、
平面公差外の前記ＰＯＩのうちの１つ以上のものを排除することと、
残りのＰＯＩに基づいて、前記作業可能表面の輪郭を描くことと
によって識別される、項目５に記載のシステム。
（項目７）
前記ハードウェアプロセッサは、前記標的仮想オブジェクトを前記標的場所の配向に合致するように自動的に配向するようにプログラムされる、項目５に記載のシステム。
（項目８）
前記動作は、前記第１の入力モードにおける第１のユーザ入力データに基づいて決定され、前記対象または前記パラメータのうちの少なくとも１つは、前記第１の入力モードおよび前記第２の入力モードの組み合わせに基づいて決定される、項目１に記載のシステム。
（項目９）
前記第１の入力モードは、前記ウェアラブルシステムのユーザの場所情報に基づく間接入力モードを備える、項目１に記載のシステム。
（項目１０）
前記ハードウェアプロセッサは、オブジェクトが前記ユーザの閾値範囲内にあることの決定に応答して、仮想オブジェクトを前記第１のセットのオブジェクトおよび前記第２のセットのオブジェクトからの前記標的仮想オブジェクトとして識別するようにプログラムされる、項目９に記載のシステム。
（項目１１）
前記ユーザインターフェース動作は、仮想アプリケーションと関連付けられ、前記仮想アプリケーションは、前記第１のセンサまたは前記第２のセンサのうちの一方に対してより応答性であるようにプログラムされる、項目１に記載のシステム。
（項目１２）
前記標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、前記第１のユーザ入力データおよび前記第２のユーザ入力データに基づいて、ツリーベースの分析を前記第１のセットの候補オブジェクトおよび前記第２のセットの前記候補オブジェクト上で実施するようにプログラムされる、項目１に記載のシステム。
（項目１３）
前記標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、
前記第１のユーザ入力データに基づいて、前記第１のセットの候補オブジェクト内の候補オブジェクトに関する第１の信頼度スコアを計算することと、
前記第２のユーザ入力データに基づいて、前記候補オブジェクトに関する第２の信頼度スコアを計算することと、
前記候補オブジェクトに関する集約されたスコアを少なくとも前記第１の信頼度スコアおよび前記第２の信頼度から計算することと、
前記集約されたスコアが閾値条件を満たすことの決定に応答して、前記候補オブジェクトを前記標的仮想オブジェクトとして設定することと
を行うようにプログラムされる、項目１２に記載のシステム。
（項目１４）
前記標的仮想オブジェクトを決定するために、前記ハードウェアプロセッサは、
【０００７】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
【図面の簡単な説明】
【０００８】
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
【０００９】
図２は、ウェアラブルシステムの実施例を図式的に図示する。
【００１０】
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
（【００１１】以降は省略されています）

関連特許