特許ウォッチ

公開番号2024103529
公報種別公開特許公報(A)
公開日2024-08-01
出願番号2024080910,2022123239
出願日2024-05-17,2017-04-19
発明の名称視野周辺の視覚的背光
出願人マジックリープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類G06F 3/01 20060101AFI20240725BHJP(計算;計数)
要約【課題】視野周辺の視覚的背光の提供。
【解決手段】ウェアラブルデバイスは、それを通してユーザが実または仮想オブジェクトを知覚し得る、視野を有することができる。本デバイスは、ユーザの視野外にあるオブジェクトと関連付けられたコンテキスト情報を表す、視覚的背光を表示することができる。視覚的背光は、視野の縁の近傍に表示されることができ、オブジェクトと関連付けられたコンテキスト情報が変化する、例えば、オブジェクトとユーザ(またはユーザの視野)の相対的位置が変化するにつれて、動的に変化することができる。
【選択図】図13
特許請求の範囲【請求項１】
ユーザの３次元（３Ｄ）環境内の仮想オブジェクトのインジケーションを提供するためのシステムであって、前記システムは、
ウェアラブルデバイスのディスプレイシステムであって、前記ディスプレイシステムは、異なる深度平面において仮想オブジェクトを表示するために、異なる波面曲率において光を出力することによって、３次元ビューをユーザに提示するように構成されており、前記ディスプレイシステムは、前記ユーザの第１の眼のための第１のライトフィールドディスプレイと前記ユーザの第２の眼のための第２のライトフィールドディスプレイとを備え、前記第１のライトフィールドディスプレイおよび前記第２のライトフィールドディスプレイは、背光の視覚的表現をレンダリングするように構成されている、ディスプレイシステムと、
前記ユーザの姿勢に関連付けられたデータを入手するように構成されているセンサと、
前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサと
を備え、
前記ハードウェアプロセッサは、
前記ディスプレイシステムを介して、前記ユーザの視野（ＦＯＶ）内の仮想オブジェクトを識別することと、
前記ユーザの姿勢に関連して前記仮想オブジェクトの場所を計算することと、
前記仮想オブジェクトに関連付けられた背光の視覚的表現を決定することであって、前記表現は、前記ユーザの前記ＦＯＶ内の前記仮想オブジェクトの前記場所のインジケータを含み、前記表現は、第１の視覚的表現および第２の視覚的表現を含む、ことと、
前記第１のライトフィールドディスプレイによって、前記背光の前記第１の視覚的表現を前記第１の眼に関連付けられた第１のＦＯＶの第１の縁にレンダリングすることと、
前記第２のライトフィールドディスプレイによって、前記背光の前記第２の視覚的表現を前記第２の眼に関連付けられた第２のＦＯＶの第２の縁にレンダリングすることであって、前記第２の視覚的表現は、前記第１の視覚的表現と立体視的に合致しない、ことと、
前記ユーザの姿勢の変化を検出することと、
前記仮想オブジェクトが前記第１の眼の前記ＦＯＶ内になく、前記第２の眼の前記ＦＯＶ内にあるとき、前記第１の眼に関する前記背光の第３の視覚的表現をレンダリングし、前記第２の眼に関する前記背光の視覚的表現をレンダリングしないことであって、前記背光の前記第３の視覚的表現は、前記背光が相互作用可能かどうか、および／またはオペレーティングシステムオブジェクトであるかどうかを視覚的に示す、ことと
を行うようにプログラムされている、システム。
続きを表示（約 860 文字）【請求項２】
前記ハードウェアプロセッサは、
前記ユーザの姿勢の変化を検出することと、
前記ユーザの姿勢の変化に基づいて、前記ユーザの前記ＦＯＶ内の前記仮想オブジェクトの更新された場所を決定することと、
前記相互作用可能なオブジェクトの更新された場所に基づいて、前記背光の視覚的表現を更新することと
を行うようにさらにプログラムされている、請求項１に記載のシステム。
【請求項３】
前記ハードウェアプロセッサは、前記背光の内縁と前記ユーザの少なくとも１つの眼を共線形に整合させることによって、前記背光の設置を決定するようにプログラムされている、請求項１に記載のシステム。
【請求項４】
前記背光の視覚的表現は、位置、形状、色、サイズ、または、明るさのうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項５】
前記背光のサイズは、前記仮想オブジェクトの近接度または切迫度のうちの少なくとも１つを示す、請求項４に記載のシステム。
【請求項６】
前記ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項７】
前記仮想オブジェクトは、ユーザのビューから隠されたオブジェクトを含む、請求項１に記載のシステム。
【請求項８】
前記仮想オブジェクトは、ユーザインターフェース動作に応答して、知覚可能になる、請求項１に記載のシステム。
【請求項９】
前記仮想オブジェクトは、物理的オブジェクトの仮想要素を含む、請求項１に記載のシステム。
【請求項１０】
前記ハードウェアプロセッサは、
前記仮想オブジェクトに関連付けられたユーザ入力を受信することと、
前記ユーザ入力に応答して、前記仮想オブジェクトをレンダリングすることと
を行うようにプログラムされている、請求項１に記載のシステム。

発明の詳細な説明【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１６年４月２１日に出願され、“ＲＥＮＤＥＲＩＮＧＡＵＲＡＳＦＯＲＯＢＪＥＣＴＳＩＮＡＮＡＵＧＭＥＮＴＥＤＯＲＶＩＲＴＵＡＬＲＥＡＬＩＴＹＥＮＶＩＲＯＮＭＥＮＴ”と題された米国仮出願第６２／３２５，６８５号に対する３５Ｕ．Ｓ．Ｃ． § １１９（ｅ）の下での優先権の利益を主張するものであり、該米国仮出願は、その全体が参照により本明細書中に援用される。
続きを表示（約 7,200 文字）【０００２】
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、ユーザに環境内のオブジェクトを知らせることに関する。
【背景技術】
【０００３】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【０００４】
一実施形態では、ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するためのシステムが、開示される。本システムは、３次元ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムを備えることができる。ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含むことができる。本システムはまた、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、センサによって入手されたデータに基づいて、ユーザの姿勢を決定することと、少なくとも部分的にユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光（ａｕｒａ）の視覚的表現を決定することと、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのＦＯＶの縁にあるように、背光の視覚的表現をレンダリングすることとを行うようにプログラムされることができる。
【０００５】
別の実施形態では、ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するための方法が、開示される。本方法は、３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ディスプレイシステムであって、ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含むことができる、ディスプレイシステムと、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサとを有する、ウェアラブルデバイスの制御下で実施されてもよい。本方法は、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、ＦＯＶは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、ことと、ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、コンテキスト情報に基づいて、背光の視覚的表現を決定することと、ユーザによって知覚可能な視覚的背光の少なくとも一部がユーザのＦＯＶの縁にあるように、背光の視覚的表現をレンダリングすることとを含むことができる。
【０００６】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
例えば、本願は以下の項目を提供する。
（項目１）
ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するためのシステムであって、前記方法は、
３次元ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記ＦＯＲは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ディスプレイシステムと、
前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、
前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記センサによって入手されたデータに基づいて、前記ユーザの姿勢を決定することと、
少なくとも部分的に前記ユーザの姿勢に基づいて、前記ユーザの視野（ＦＯＶ）を決定することであって、前記ＦＯＶは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記ＦＯＲの一部を含む、ことと、
前記ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、
前記相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、
前記コンテキスト情報に基づいて、背光の視覚的表現を決定することと、
前記ユーザによって知覚可能な前記視覚的背光の少なくとも一部が前記ユーザのＦＯＶの縁にあるように、前記背光の視覚的表現をレンダリングすることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記ディスプレイシステムは、前記ユーザの第１の眼のための第１のライトフィールドディスプレイと、前記ユーザの第２の眼のための第２のライトフィールドディスプレイとを備え、前記背光の視覚的表現をレンダリングするために、前記ハードウェアプロセッサは、
前記背光の第１の視覚的表現を前記第１のライトフィールドディスプレイによって前記第１の眼と関連付けられた第１のＦＯＶの第１の縁にレンダリングすることと、
前記背光の第２の視覚的表現を前記第２のライトフィールドディスプレイによって前記第２の眼と関連付けられた第２のＦＯＶの第２の縁にレンダリングすることと
を行うようにプログラムされる、項目１に記載のシステム。
（項目３）
前記背光の第１の表現および前記背光の第２の表現は、前記ユーザの周辺視覚に合致するように各眼に対して別個にレンダリングされる、項目２に記載のシステム。
（項目４）
前記コンテキスト情報は、前記ユーザ、前記３Ｄ環境、または前記相互作用可能オブジェクトの特性と関連付けられた情報を含む、項目１に記載のシステム。
（項目５）
前記３Ｄ環境と関連付けられた情報は、前記ユーザの環境の光条件を含み、前記背光の設置は、前記光条件下の前記相互作用可能オブジェクトの光学効果をシミュレートすることによって決定される、項目４に記載のシステム。
（項目６）
前記ハードウェアプロセッサはさらに、
前記ユーザの姿勢の変化を検出することと、
前記ユーザの姿勢の変化に基づいて、前記３Ｄ環境内の前記相互作用可能オブジェクトの更新された場所を決定することと、
前記相互作用可能オブジェクトの更新された場所に基づいて、前記背光の視覚的表現を更新することと
を行うようにプログラムされる、項目１－５のいずれか１項に記載のシステム。
（項目７）
前記更新された場所が前記ユーザのＦＯＶ内にあることの決定に応答して、前記ハードウェアプロセッサは、前記背光の内縁と前記ユーザの少なくとも１つの眼を共線形に整合させることによって、前記背光の設置を決定するようにプログラムされる、項目６に記載のシステム。
（項目８）
前記背光の視覚的表現は、位置、形状、色、サイズ、または明るさのうちの少なくとも１つを含む、項目１－５のいずれか１項に記載のシステム。
（項目９）
前記背光のサイズは、前記相互作用可能オブジェクトの近接度または切迫度のうちの少なくとも１つを示す、項目８に記載のシステム。
（項目１０）
前記ユーザの姿勢は、頭部姿勢または視線の方向のうちの少なくとも１つを含む、項目１－５のいずれか１項に記載のシステム。
（項目１１）
ユーザの３次元（３Ｄ）環境内の相互作用可能オブジェクトのインジケーションを提供するための方法であって、前記方法は、
ウェアラブルデバイスであって、３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成されるディスプレイシステムであって、前記ＦＯＲは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ディスプレイシステムと、前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサとを有する、ウェアラブルデバイスの制御下で、
少なくとも部分的に、前記ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を決定することであって、前記ＦＯＶは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記ＦＯＲの一部を含む、ことと、
前記ユーザのＦＯＶ外に位置する相互作用可能オブジェクトを識別することと、
前記相互作用可能オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、
前記コンテキスト情報に基づいて、背光の視覚的表現を決定することと、
前記ユーザによって知覚可能な前記視覚的背光の少なくとも一部が前記ユーザのＦＯＶの縁にあるように、前記背光の視覚的表現をレンダリングすることと
を含む、方法。
（項目１２）
【図面の簡単な説明】
【０００７】
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２は、視野（ＦＯＶ）内の仮想オブジェクトおよび動眼視野（ＦＯＲ）内の仮想オブジェクトの実施例を図式的に図示する。
図１３は、ユーザにユーザのＦＯＲ内のオブジェクトを知らせる実施例を図式的に図示する。
図１４Ａは、ＦＯＶの縁上にある視覚的背光の斜視図を図式的に図示する。
図１４Ｂは、ユーザのＦＯＶ内にあるオブジェクトに関する対応する背光を不可視にする実施例を図式的に図示する。
図１５Ａおよび１５Ｂは、視覚的背光を伴うユーザ体験の実施例を図式的に図示する。
図１５Ａおよび１５Ｂは、視覚的背光を伴うユーザ体験の実施例を図式的に図示する。
図１６は、視覚的背光の視覚的表現をレンダリングする例示的プロセスを図示する。
図１７は、コンテキスト情報に基づいて視覚的背光の視覚的表現を決定する例示的プロセスを図示する。
【発明を実施するための形態】
【０００８】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。加えて、本開示における図は、例証目的のためのものであって、正確な縮尺ではない。図は、ＦＯＶを長方形として示すが、ＦＯＶの本提示は、限定することを意図するものではない。ＦＯＶの２次元表現は、任意の形状、例えば、円形、卵形、三角形、多角形、丸みを帯びた正方形、組み合わせ、または同等物であることができる。
【０００９】
概要
ウェアラブルシステムは、拡張または仮想現実コンテンツを表示するように構成されることができる。故に、ユーザの視覚的コンピューティング体験は、ユーザを囲繞する３Ｄ環境まで延長されることができる。しかしながら、ウェアラブルシステムを通して知覚されるユーザ視野（ＦＯＶ）（ユーザのＦＯＶとも称される）は、ヒトの眼の自然なＦＯＶより小さくあり得るかまたはユーザを囲繞する環境全体より小さくあり得る。したがって、ユーザの環境内には、最初は、ユーザのＦＯＶ外にあるが、続いて、ユーザのＦＯＶの中に移動し得る、または、続いて、ユーザの姿勢が変化する（ユーザのＦＯＶを変化させるであろう）場合に知覚可能になり得る、物理的または仮想オブジェクトが存在し得る。例えば、ゲームの状況では、ユーザは、ロボットのアバタを見つけようとし得る。ロボットが、ユーザの現在のＦＯＶのわずかに外にある場合、ユーザは、ロボットが近傍にあることのキューをウェアラブルシステムから受信しないであろう。ユーザが、その頭部を若干移動させる場合、ロボットは、突然、ユーザのＦＯＶに進入し得、これは、ユーザを驚かせ得る。さらに、ウェアラブルシステムを通したユーザのＦＯＶが、比較的に小さい場合、ユーザがその頭部または視線を直接ロボットに方向転換しない限り、ユーザがロボットを見つけることは、困難であることが証明され得る。
【００１０】
ユーザの視覚的体験を改良するために、ウェアラブルシステムは、ユーザにユーザのＦＯＶ外のオブジェクトについて知らせてもよい。例えば、ウェアラブルシステムは、ユーザの現在のＦＯＶ外の対応するオブジェクトに関する視覚的背光の視覚的表現をレンダリングすることができる。背光の視覚的表現は、オブジェクト、ユーザの環境、またはユーザと関連付けられたコンテキスト情報を示すために使用されることができる。例えば、より明るいまたはより大きい背光は、オブジェクトがＦＯＶにより近いことを示し得る一方、より暗いまたはより小さい背光は、オブジェクトがＦＯＶからより遠いことを示し得る。同様に、背光の色は、オブジェクトのタイプを示すために使用されてもよい。例えば、敵のアバタ（仮想ゲームにおいて）は、赤色背光と関連付けられてもよい一方、味方のアバタ（仮想ゲームにおいて）は、緑色背光と関連付けられてもよく、システム通知は、青色背光と関連付けられてもよい。視覚的背光の一部は、ユーザのＦＯＶの縁上に設置されることができる。背光のサイズ、形状、または位置は、ユーザのＦＯＶが変化するにつれて、またはオブジェクトが移動するにつれて、変化してもよい。故に、背光の視覚的表現または背光の視覚的表現の変化は、それによって、現在ユーザのＦＯＶ外にある近傍オブジェクトについての有用なキューをユーザに提供することができる。
ウェアラブルシステムの３Ｄディスプレイの実施例
（【００１１】以降は省略されています）

関連特許