特許ウォッチ

公開番号2025142019
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2025118393,2023524125
出願日2025-07-14,2020-12-29
発明の名称眼運動に基づくエクステンデッドリアリティ環境相互作用の方法およびシステム
出願人アデイアガイズインコーポレイテッド
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20250919BHJP(計算;計数)
要約【課題】眼運動に基づくエクステンデッドリアリティ環境相互作用の方法およびシステムの提供。
【解決手段】エクステンデッドリアリティ環境相互作用のためのシステムおよび方法が、説明される。オブジェクトを含む、エクステンデッドリアリティ環境が、表示のために発生され、第1のセンサが、注視がエクステンデッドリアリティ環境の第1の部分からエクステンデッドリアリティ環境の第2の部分に偏移していることを検出するために使用され、オブジェクトは、エクステンデッドリアリティ環境の第1の部分から除外され、エクステンデッドリアリティ環境の第2の部分内に含まれる。注視における偏移のインジケータが、注視偏移を検出することに応答して、エクステンデッドリアリティ環境内での表示のために発生され、音声コマンドが、インジケータがオブジェクトの近傍にある間に第2のセンサによって検出される。
【選択図】図4
特許請求の範囲【請求項１】
ユーザの頭部上に装着されるように構成されている頭部搭載型デバイスであって、前記頭部搭載型デバイスは、
前記ユーザによる消費のための３次元（３Ｄ）画像を表示するための２つのディスプレイと、
前記ユーザの少なくとも１つの眼の少なくとも１つの画像を捕捉するように構成されている少なくとも１つのカメラと、
前記ユーザの前記少なくとも１つの眼の前記少なくとも１つの画像に少なくとも基づいて、前記ユーザの注視に関連付けられているデータを分析するように構成されている第１の回路網と、
前記第１の回路網とは異なる第２の回路網であって、前記第２の回路網は、前記ユーザによるメディアコンテンツの消費のための仮想３Ｄ環境を表示のために生成することを前記２つのディスプレイに行わせるメディアアプリケーションを実行するように構成されており、前記仮想３Ｄ環境は、選択されることが可能な複数の仮想現実（ＶＲ）オブジェクトを含む、第２の回路網と
を備え、
前記第２の回路網は、
前記第１の回路網を使用してなされた、前記ユーザの前記注視が少なくとも第１の所定の期間にわたって前記複数のＶＲオブジェクトの特定のＶＲオブジェクトに指向されていることを決定することに少なくとも部分的に基づいて、
前記複数のＶＲオブジェクトのうちの１つ以上に関する、個別のテキストデータを記憶するデータ構造にアクセスすることと、
前記特定のＶＲオブジェクトに関連付けられている前記データ構造によって示される前記個別のテキストデータが前記仮想３Ｄ環境内に表示されることを引き起こすことと、
前記第１の回路網を使用してなされた、前記ユーザの前記眼の注視が第２の所定の期間にわたって前記特定のＶＲオブジェクトに指向されていないことを決定することに少なくとも部分的に基づいて、
前記特定のＶＲオブジェクトに関連付けられている前記データ構造によって示される前記テキストデータを前記仮想３Ｄ環境内に表示することが停止されることを引き起こすことと
を行うようにさらに構成されている、頭部搭載型デバイス。
続きを表示（約 1,300 文字）【請求項２】
前記仮想３Ｄ環境は、メディアコンテンツの選択および消費のための双方向性メディアガイドアプリケーションのインターフェースを含む、請求項１に記載の頭部搭載型デバイス。
【請求項３】
前記双方向性メディアガイドアプリケーションの前記インターフェースは、前記双方向性メディアガイドアプリケーションを使用して再生するために利用可能なメディアコンテンツアイテムの選択または消費に関連付けられている複数のユーザインターフェース要素を含む、請求項２に記載の頭部搭載型デバイス。
【請求項４】
前記特定のＶＲオブジェクトは、メディアコンテンツアイテムの選択または消費に関連付けられている前記複数のユーザインターフェース要素のうちの１つである、請求項３に記載の頭部搭載型デバイス。
【請求項５】
前記第２の回路網は、前記ユーザの前記注視の現在の位置を示すインジケータを表示のために生成するようにさらに構成されている、請求項１に記載の頭部搭載型デバイス。
【請求項６】
前記ユーザの前記眼の注視が第２の所定の期間にわたって前記特定のＶＲオブジェクトに指向されていないことを決定することは、前記ユーザの前記眼の注視が前記第２の所定の期間にわたって前記特定のＶＲオブジェクトの場所に指向されていないことを決定することを含む、請求項１に記載の頭部搭載型デバイス。
【請求項７】
前記ユーザの前記眼の注視が第２の所定の期間にわたって前記特定のＶＲオブジェクトに指向されていないことを決定することは、前記ユーザの前記眼の注視が前記第２の所定の期間にわたって前記特定のＶＲオブジェクトの場所ではない前記仮想３Ｄ環境内の場所に指向されていることを決定することを含む、請求項１に記載の頭部搭載型デバイス。
【請求項８】
前記ユーザの前記注視が少なくとも前記第１の所定の期間にわたって前記複数のＶＲオブジェクトの前記特定のＶＲオブジェクトに指向されていることを決定することは、前記注視が少なくとも前記第１の所定の期間にわたって前記複数のＶＲオブジェクトの前記特定のＶＲオブジェクトに連続的に指向されていたことを決定することを含む、請求項１に記載の頭部搭載型デバイス。
【請求項９】
前記ユーザの前記注視が少なくとも前記第１の所定の期間にわたって前記複数のＶＲオブジェクトの前記特定のＶＲオブジェクトに指向されていることを決定することは、前記注視が少なくとも前記第１の所定の期間にわたって前記複数のＶＲオブジェクトの前記特定のＶＲオブジェクトに非連続的に指向されていたことを決定することを含む、請求項１に記載の頭部搭載型デバイス。
【請求項１０】
前記頭部搭載型デバイスは、少なくとも１つの付加的センサをさらに備え、
前記ユーザの前記注視が少なくとも前記第１の所定の期間にわたって前記複数のＶＲオブジェクトの前記特定のＶＲオブジェクトに指向されていることを決定することは、前記少なくとも１つの付加的センサからのデータにさらに少なくとも部分的に基づく、請求項１に記載の頭部搭載型デバイス。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、改良されたエクステンデッドリアリティ環境相互作用に関し、特に、眼運動を検出し、検出された眼運動に基づいて、エクステンデッドリアリティ環境内で動作を実施するためのシステムおよび方法が、開示される。
続きを表示（約 3,100 文字）【発明の概要】
【課題を解決するための手段】
【０００２】
メディア技術における進歩は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）技術等のエクステンデッドリアリティ（ＸＲ）技術の開発につながっている。ＶＲシステムは、３次元コンピュータ発生環境内にユーザを完全に没入させる（例えば、ユーザに環境内にいる感覚を与える）、または部分的に没入させ得る（例えば、ユーザに環境を見ている感覚を与える）。環境は、ユーザが相互作用し得るオブジェクトまたはアイテムを含み得る。ＡＲシステムは、実世界物体にわたってオーバーレイされる拡張された情報等の現実の修正されたバージョンを提供し得る。ＭＲシステムは、双方向性仮想オブジェクトを実世界にマッピングする。そのようなシステムは、立体ディスプレイまたはスマートグラスを備える、頭部搭載型デバイス等のウェアラブルを利用し得る。
【０００３】
ＸＲシステムは、多くの課題を導入する。例えば、環境を視認するために使用されているウェアラブルデバイスは、外部デバイス（例えば、レンズ）を含まない場合があるため、ＸＲシステムが、ユーザがＸＲ環境内で自身の視野または焦点を改変するときを検出することは、困難であり得る。別の実施例として、散瞳および縮瞳は、ユーザがＸＲ環境内で視認しているものまたはユーザの眼に入射する光の量に応じて、変動し得るが、ユーザは、自身の瞳孔に対する制御を有し得ず、したがって、ユーザの瞳孔を監視することは、ＸＲ環境内のユーザの注視または視野を決定するための信頼性のある方法ではない場合がある。さらに悪いことに、ユーザの視野が、正確に確認される場合であっても、ユーザの視野内に複数のオブジェクトが、存在する場合、ユーザが相互作用することを所望するオブジェクトを決定することは、困難であり得る。
【０００４】
加えて、ＸＲに対する現在のアプローチは、ある欠点に悩まされている。１つのアプローチでは、ユーザは、ＸＲ環境をナビゲートするために、ハンドジェスチャまたはジョイスティックを採用する。しかしながら、ＸＲ環境と相互作用するためにそのようなユーザ入力を要求することは、ＸＲの体験を損なう（すなわち、ＸＲ環境が現実ではないことをユーザに思い出させる）ことは言うまでもなく、ユーザにとって面倒または不便であり得る。加えて、ＸＲに対する現在のアプローチでは、ユーザが自身の視野内のオブジェクトに関する情報を便宜的に取得すること、またはユーザがＸＲ環境内で相互作用することは、可能ではない場合がある。
【０００５】
これらの問題を克服するために、ユーザの視野内のオブジェクトを識別し、ユーザの眼瞼運動を検出し、そのような検出に基づいて、修正された詳細レベルを用いてエクステンデッドリアリティ環境内でオブジェクトを表示のために再発生させるためのシステムおよび方法が、本明細書に提供される。本明細書に説明されるシステムおよび方法はまた、検出された眼瞼運動および記憶された眼瞼運動識別子を合致させるステップと、そのような合致に基づいて、オブジェクトに対してアクションを実施するステップとを提供する。加えて、オブジェクトを含む、エクステンデッドリアリティ環境の新しい部分へのユーザの注視偏移を反映するためのインジケータを発生させ、インジケータがオブジェクトの近傍にある間に音声コマンドが受信されるとき、アクションを実行するためのシステムおよび方法が、提供される。本明細書に説明されるシステムおよび方法はまた、オブジェクトを含む、エクステンデッドリアリティ環境の一部の近傍において、不透明度ベースのインジケータをエクステンデッドリアリティ環境内での表示のために発生させるステップと、オブジェクトの識別された境界に基づいて、そのようなインジケータの不透明度を変動させるステップとを提供する。加えて、ユーザが、エクステンデッドリアリティ環境内のアイテムについての付加的情報を便宜的に取得することを可能にするためのシステムおよび方法が、提供される。
【０００６】
本開示のいくつかの側面では、エクステンデッドリアリティシステムは、第１のオブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させ、１つまたはそれを上回るセンサから入力を受信する。受信された入力に基づいて、本システムは、視野内の第１のオブジェクトを識別し、眼瞼運動を検出し、眼瞼運動を検出することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させる。したがって、眼瞼運動は、ユーザに着目されるユーザの視野内のオブジェクトを決定することと関連付けられる課題を克服するために、監視されることができる。加えて、ユーザのそのような眼瞼運動を検出することは、ユーザが、例えば、エクステンデッドリアリティ環境内のユーザから遠く離れているように見えるオブジェクトのより細かい詳細を視認することを可能にし、これは、特に、視覚障害を有するユーザに関して、エクステンデッドリアリティシステムにおけるユーザ体験を改良し得る。
【０００７】
エクステンデッドリアリティ環境は、視野内の第１のオブジェクトおよび第２のオブジェクトを含む、複数のオブジェクトを備えてもよく、本システムは、検出された眼瞼運動が第１のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させてもよい。本システムが、検出された眼瞼運動が第２のオブジェクトと関連付けられることを決定する場合、本システムは、修正された詳細レベルを用いて第２のオブジェクトを表示のために再発生させてもよい。第１のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの一方にあってもよく、第２のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの他方にあってもよい。
【０００８】
いくつかの実施形態では、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップは、より高い分解能においてオブジェクトを提示するステップを含む。加えて、または代替として、１つまたはそれを上回るアクションが、１つまたはそれを上回る検出された眼瞼運動に基づいて、第１のオブジェクトに対して実施されてもよい。
【０００９】
本開示のいくつかの側面では、本システムは、ユーザに対する複数のオブジェクトの個別の仮想距離を算出し、視野内の第１のオブジェクトを識別するステップは、第１のオブジェクトが個別の仮想距離のユーザに最近接する仮想距離にあることを決定するステップを含む。
【００１０】
いくつかの実施形態では、眼瞼運動を検出するステップは、眼瞼の運動の量を決定するステップを含む、および／または眼瞼運動を検出するステップは、１つまたはそれを上回る眼瞼レベルを決定するステップを含む。本システムは、第１のオブジェクトが視野内に留まる間、ユーザがエクステンデッドリアリティ環境内で第１の位置から新しい位置にナビゲートしていることを検出し、新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させてもよい。
（【００１１】以降は省略されています）

関連特許