TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024103529
公報種別
公開特許公報(A)
公開日
2024-08-01
出願番号
2024080910,2022123239
出願日
2024-05-17,2017-04-19
発明の名称
視野周辺の視覚的背光
出願人
マジック リープ, インコーポレイテッド
,
Magic Leap,Inc.
代理人
個人
,
個人
,
個人
,
個人
,
個人
主分類
G06F
3/01 20060101AFI20240725BHJP(計算;計数)
要約
【課題】視野周辺の視覚的背光の提供。
【解決手段】ウェアラブルデバイスは、それを通してユーザが実または仮想オブジェクトを知覚し得る、視野を有することができる。本デバイスは、ユーザの視野外にあるオブジェクトと関連付けられたコンテキスト情報を表す、視覚的背光を表示することができる。視覚的背光は、視野の縁の近傍に表示されることができ、オブジェクトと関連付けられたコンテキスト情報が変化する、例えば、オブジェクトとユーザ(またはユーザの視野)の相対的位置が変化するにつれて、動的に変化することができる。
【選択図】図13
特許請求の範囲
【請求項1】
ユーザの3次元(3D)環境内の仮想オブジェクトのインジケーションを提供するためのシステムであって、前記システムは、
ウェアラブルデバイスのディスプレイシステムであって、前記ディスプレイシステムは、異なる深度平面において仮想オブジェクトを表示するために、異なる波面曲率において光を出力することによって、3次元ビューをユーザに提示するように構成されており、前記ディスプレイシステムは、前記ユーザの第1の眼のための第1のライトフィールドディスプレイと前記ユーザの第2の眼のための第2のライトフィールドディスプレイとを備え、前記第1のライトフィールドディスプレイおよび前記第2のライトフィールドディスプレイは、背光の視覚的表現をレンダリングするように構成されている、ディスプレイシステムと、
前記ユーザの姿勢に関連付けられたデータを入手するように構成されているセンサと、
前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサと
を備え、
前記ハードウェアプロセッサは、
前記ディスプレイシステムを介して、前記ユーザの視野(FOV)内の仮想オブジェクトを識別することと、
前記ユーザの姿勢に関連して前記仮想オブジェクトの場所を計算することと、
前記仮想オブジェクトに関連付けられた背光の視覚的表現を決定することであって、前記表現は、前記ユーザの前記FOV内の前記仮想オブジェクトの前記場所のインジケータを含み、前記表現は、第1の視覚的表現および第2の視覚的表現を含む、ことと、
前記第1のライトフィールドディスプレイによって、前記背光の前記第1の視覚的表現を前記第1の眼に関連付けられた第1のFOVの第1の縁にレンダリングすることと、
前記第2のライトフィールドディスプレイによって、前記背光の前記第2の視覚的表現を前記第2の眼に関連付けられた第2のFOVの第2の縁にレンダリングすることであって、前記第2の視覚的表現は、前記第1の視覚的表現と立体視的に合致しない、ことと、
前記ユーザの姿勢の変化を検出することと、
前記仮想オブジェクトが前記第1の眼の前記FOV内になく、前記第2の眼の前記FOV内にあるとき、前記第1の眼に関する前記背光の第3の視覚的表現をレンダリングし、前記第2の眼に関する前記背光の視覚的表現をレンダリングしないことであって、前記背光の前記第3の視覚的表現は、前記背光が相互作用可能かどうか、および/またはオペレーティングシステムオブジェクトであるかどうかを視覚的に示す、ことと
を行うようにプログラムされている、システム。
続きを表示(約 860 文字)
【請求項2】
前記ハードウェアプロセッサは、
前記ユーザの姿勢の変化を検出することと、
前記ユーザの姿勢の変化に基づいて、前記ユーザの前記FOV内の前記仮想オブジェクトの更新された場所を決定することと、
前記相互作用可能なオブジェクトの更新された場所に基づいて、前記背光の視覚的表現を更新することと
を行うようにさらにプログラムされている、請求項1に記載のシステム。
【請求項3】
前記ハードウェアプロセッサは、前記背光の内縁と前記ユーザの少なくとも1つの眼を共線形に整合させることによって、前記背光の設置を決定するようにプログラムされている、請求項1に記載のシステム。
【請求項4】
前記背光の視覚的表現は、位置、形状、色、サイズ、または、明るさのうちの少なくとも1つを含む、請求項1に記載のシステム。
【請求項5】
前記背光のサイズは、前記仮想オブジェクトの近接度または切迫度のうちの少なくとも1つを示す、請求項4に記載のシステム。
【請求項6】
前記ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも1つを含む、請求項1に記載のシステム。
【請求項7】
前記仮想オブジェクトは、ユーザのビューから隠されたオブジェクトを含む、請求項1に記載のシステム。
【請求項8】
前記仮想オブジェクトは、ユーザインターフェース動作に応答して、知覚可能になる、請求項1に記載のシステム。
【請求項9】
前記仮想オブジェクトは、物理的オブジェクトの仮想要素を含む、請求項1に記載のシステム。
【請求項10】
前記ハードウェアプロセッサは、
前記仮想オブジェクトに関連付けられたユーザ入力を受信することと、
前記ユーザ入力に応答して、前記仮想オブジェクトをレンダリングすることと
を行うようにプログラムされている、請求項1に記載のシステム。
発明の詳細な説明
【技術分野】
【0001】
(関連出願の相互参照)
本願は、2016年4月21日に出願され、“RENDERING AURAS FOR OBJECTS IN AN AUGMENTED OR VIRTUAL REALITY ENVIRONMENT”と題された米国仮出願第62/325,685号に対する35 U.S.C. § 119(e)の下での優先権の利益を主張するものであり、該米国仮出願は、その全体が参照により本明細書中に援用される。
続きを表示(約 7,200 文字)
【0002】
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、ユーザに環境内のオブジェクトを知らせることに関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VR、AR、またはMR技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、およびMR技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0004】
一実施形態では、ユーザの3次元(3D)環境内の相互作用可能オブジェクトのインジケーションを提供するためのシステムが、開示される。本システムは、3次元ビューをユーザに提示し、ユーザの動眼視野(FOR)内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムを備えることができる。FORは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含むことができる。本システムはまた、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、センサによって入手されたデータに基づいて、ユーザの姿勢を決定することと、少なくとも部分的にユーザの姿勢に基づいて、ユーザの視野(FOV)を決定することであって、FOVは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なFORの一部を含む、ことと、ユーザのFOV外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光(aura)の視覚的表現を決定することと、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのFOVの縁にあるように、背光の視覚的表現をレンダリングすることとを行うようにプログラムされることができる。
【0005】
別の実施形態では、ユーザの3次元(3D)環境内の相互作用可能オブジェクトのインジケーションを提供するための方法が、開示される。本方法は、3次元(3D)ビューをユーザに提示し、ユーザの動眼視野(FOR)内のオブジェクトとのユーザ相互作用を可能にするように構成される、ディスプレイシステムであって、FORは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含むことができる、ディスプレイシステムと、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサとを有する、ウェアラブルデバイスの制御下で実施されてもよい。本方法は、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野(FOV)を決定することであって、FOVは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なFORの一部を含む、ことと、ユーザのFOV外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光の視覚的表現を決定することと、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのFOVの縁にあるように、背光の視覚的表現をレンダリングすることとを含むことができる。
【0006】
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
例えば、本願は以下の項目を提供する。
(項目1)
ユーザの3次元(3D)環境内の相互作用可能オブジェクトのインジケーションを提供するためのシステムであって、前記方法は、
3次元ビューをユーザに提示し、ユーザの動眼視野(FOR)内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記FORは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ディスプレイシステムと、
前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、
前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記センサによって入手されたデータに基づいて、前記ユーザの姿勢を決定することと、
少なくとも部分的に前記ユーザの姿勢に基づいて、前記ユーザの視野(FOV)を決定することであって、前記FOVは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記FORの一部を含む、ことと、
前記ユーザのFOV外に位置する相互作用可能オブジェクトを識別することと、
前記相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、
前記コンテキスト情報に基づいて、背光の視覚的表現を決定することと、
前記ユーザによって知覚可能な前記視覚的背光の少なくとも一部が前記ユーザのFOVの縁にあるように、前記背光の視覚的表現をレンダリングすることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記ディスプレイシステムは、前記ユーザの第1の眼のための第1のライトフィールドディスプレイと、前記ユーザの第2の眼のための第2のライトフィールドディスプレイとを備え、前記背光の視覚的表現をレンダリングするために、前記ハードウェアプロセッサは、
前記背光の第1の視覚的表現を前記第1のライトフィールドディスプレイによって前記第1の眼と関連付けられた第1のFOVの第1の縁にレンダリングすることと、
前記背光の第2の視覚的表現を前記第2のライトフィールドディスプレイによって前記第2の眼と関連付けられた第2のFOVの第2の縁にレンダリングすることと
を行うようにプログラムされる、項目1に記載のシステム。
(項目3)
前記背光の第1の表現および前記背光の第2の表現は、前記ユーザの周辺視覚に合致するように各眼に対して別個にレンダリングされる、項目2に記載のシステム。
(項目4)
前記コンテキスト情報は、前記ユーザ、前記3D環境、または前記相互作用可能オブジェクトの特性と関連付けられた情報を含む、項目1に記載のシステム。
(項目5)
前記3D環境と関連付けられた情報は、前記ユーザの環境の光条件を含み、前記背光の設置は、前記光条件下の前記相互作用可能オブジェクトの光学効果をシミュレートすることによって決定される、項目4に記載のシステム。
(項目6)
前記ハードウェアプロセッサはさらに、
前記ユーザの姿勢の変化を検出することと、
前記ユーザの姿勢の変化に基づいて、前記3D環境内の前記相互作用可能オブジェクトの更新された場所を決定することと、
前記相互作用可能オブジェクトの更新された場所に基づいて、前記背光の視覚的表現を更新することと
を行うようにプログラムされる、項目1-5のいずれか1項に記載のシステム。
(項目7)
前記更新された場所が前記ユーザのFOV内にあることの決定に応答して、前記ハードウェアプロセッサは、前記背光の内縁と前記ユーザの少なくとも1つの眼を共線形に整合させることによって、前記背光の設置を決定するようにプログラムされる、項目6に記載のシステム。
(項目8)
前記背光の視覚的表現は、位置、形状、色、サイズ、または明るさのうちの少なくとも1つを含む、項目1-5のいずれか1項に記載のシステム。
(項目9)
前記背光のサイズは、前記相互作用可能オブジェクトの近接度または切迫度のうちの少なくとも1つを示す、項目8に記載のシステム。
(項目10)
前記ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも1つを含む、項目1-5のいずれか1項に記載のシステム。
(項目11)
ユーザの3次元(3D)環境内の相互作用可能オブジェクトのインジケーションを提供するための方法であって、前記方法は、
ウェアラブルデバイスであって、3次元(3D)ビューをユーザに提示し、ユーザの動眼視野(FOR)内のオブジェクトとのユーザ相互作用を可能にするように構成されるディスプレイシステムであって、前記FORは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ディスプレイシステムと、前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサとを有する、ウェアラブルデバイスの制御下で、
少なくとも部分的に、前記ユーザの姿勢に基づいて、ユーザの視野(FOV)を決定することであって、前記FOVは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記FORの一部を含む、ことと、
前記ユーザのFOV外に位置する相互作用可能オブジェクトを識別することと、
前記相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、
前記コンテキスト情報に基づいて、背光の視覚的表現を決定することと、
前記ユーザによって知覚可能な前記視覚的背光の少なくとも一部が前記ユーザのFOVの縁にあるように、前記背光の視覚的表現をレンダリングすることと
を含む、方法。
(項目12)
【図面の簡単な説明】
【0007】
図1は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図2は、ウェアラブルシステムの実施例を図式的に図示する。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図5は、導波管によって出力され得る、例示的出射ビームを示す。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図7は、ウェアラブルシステムの実施例のブロック図である。
図8は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図9は、ウェアラブルシステムの別の実施例のブロック図である。
図10は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。
図11は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図12は、視野(FOV)内の仮想オブジェクトおよび動眼視野(FOR)内の仮想オブジェクトの実施例を図式的に図示する。
図13は、ユーザにユーザのFOR内のオブジェクトを知らせる実施例を図式的に図示する。
図14Aは、FOVの縁上にある視覚的背光の斜視図を図式的に図示する。
図14Bは、ユーザのFOV内にあるオブジェクトに関する対応する背光を不可視にする実施例を図式的に図示する。
図15Aおよび15Bは、視覚的背光を伴うユーザ体験の実施例を図式的に図示する。
図15Aおよび15Bは、視覚的背光を伴うユーザ体験の実施例を図式的に図示する。
図16は、視覚的背光の視覚的表現をレンダリングする例示的プロセスを図示する。
図17は、コンテキスト情報に基づいて視覚的背光の視覚的表現を決定する例示的プロセスを図示する。
【発明を実施するための形態】
【0008】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。加えて、本開示における図は、例証目的のためのものであって、正確な縮尺ではない。図は、FOVを長方形として示すが、FOVの本提示は、限定することを意図するものではない。FOVの2次元表現は、任意の形状、例えば、円形、卵形、三角形、多角形、丸みを帯びた正方形、組み合わせ、または同等物であることができる。
【0009】
概要
ウェアラブルシステムは、拡張または仮想現実コンテンツを表示するように構成されることができる。故に、ユーザの視覚的コンピューティング体験は、ユーザを囲繞する3D環境まで延長されることができる。しかしながら、ウェアラブルシステムを通して知覚されるユーザ視野(FOV)(ユーザのFOVとも称される)は、ヒトの眼の自然なFOVより小さくあり得るかまたはユーザを囲繞する環境全体より小さくあり得る。したがって、ユーザの環境内には、最初は、ユーザのFOV外にあるが、続いて、ユーザのFOVの中に移動し得る、または、続いて、ユーザの姿勢が変化する(ユーザのFOVを変化させるであろう)場合に知覚可能になり得る、物理的または仮想オブジェクトが存在し得る。例えば、ゲームの状況では、ユーザは、ロボットのアバタを見つけようとし得る。ロボットが、ユーザの現在のFOVのわずかに外にある場合、ユーザは、ロボットが近傍にあることのキューをウェアラブルシステムから受信しないであろう。ユーザが、その頭部を若干移動させる場合、ロボットは、突然、ユーザのFOVに進入し得、これは、ユーザを驚かせ得る。さらに、ウェアラブルシステムを通したユーザのFOVが、比較的に小さい場合、ユーザがその頭部または視線を直接ロボットに方向転換しない限り、ユーザがロボットを見つけることは、困難であることが証明され得る。
【0010】
ユーザの視覚的体験を改良するために、ウェアラブルシステムは、ユーザにユーザのFOV外のオブジェクトについて知らせてもよい。例えば、ウェアラブルシステムは、ユーザの現在のFOV外の対応するオブジェクトに関する視覚的背光の視覚的表現をレンダリングすることができる。背光の視覚的表現は、オブジェクト、ユーザの環境、またはユーザと関連付けられたコンテキスト情報を示すために使用されることができる。例えば、より明るいまたはより大きい背光は、オブジェクトがFOVにより近いことを示し得る一方、より暗いまたはより小さい背光は、オブジェクトがFOVからより遠いことを示し得る。同様に、背光の色は、オブジェクトのタイプを示すために使用されてもよい。例えば、敵のアバタ(仮想ゲームにおいて)は、赤色背光と関連付けられてもよい一方、味方のアバタ(仮想ゲームにおいて)は、緑色背光と関連付けられてもよく、システム通知は、青色背光と関連付けられてもよい。視覚的背光の一部は、ユーザのFOVの縁上に設置されることができる。背光のサイズ、形状、または位置は、ユーザのFOVが変化するにつれて、またはオブジェクトが移動するにつれて、変化してもよい。故に、背光の視覚的表現または背光の視覚的表現の変化は、それによって、現在ユーザのFOV外にある近傍オブジェクトについての有用なキューをユーザに提供することができる。
ウェアラブルシステムの3Dディスプレイの実施例
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
個人
ドットパターン
2か月前
個人
防災情報システム
18日前
個人
情報処理システム
5日前
個人
指先受の付いたマウス。
1日前
個人
家計支援システム2
1か月前
個人
介護者指名システム
12日前
コクヨ株式会社
収納ケース
1か月前
個人
モノ造りプロトコルレイヤー
1か月前
有限会社マイコム
制御盤のAI見積
25日前
エムケー精工株式会社
洗車場システム
14日前
株式会社Haul
採用支援方法
13日前
キヤノン株式会社
情報処理装置
27日前
個人
施解錠制御システム
1か月前
個人
生活困窮者相談業務支援システム
1か月前
中国電力株式会社
販売支援方法
1か月前
株式会社Asuka
本人認証方法
15日前
株式会社にしがき
会員権システム
19日前
株式会社アジラ
行動推定システム
1か月前
トヨタ自動車株式会社
表認識方法
19日前
個人
災害情報表示システム
22日前
株式会社COLORS
表示制御装置
1か月前
株式会社mov
情報処理装置
12日前
トヨタ自動車株式会社
情報処理装置
19日前
株式会社JVCケンウッド
処理装置
18日前
トヨタ自動車株式会社
画像処理装置
1か月前
トヨタ自動車株式会社
画像処理装置
18日前
トヨタ自動車株式会社
画像処理装置
14日前
個人
人流データ取得システム
1か月前
トヨタ自動車株式会社
画像処理装置
1か月前
トヨタ自動車株式会社
図面表示装置
1か月前
株式会社INFIY
情報処理システム
28日前
株式会社野村総合研究所
提案推薦装置
1か月前
株式会社アイラボ
ICタグ広告
4日前
セコム工業株式会社
物品管理具
1か月前
三菱電機株式会社
情報検索装置
1か月前
長屋印刷株式会社
思い出の品保管方法
18日前
続きを見る
他の特許を見る