特許ウォッチ

公開番号2024103533
公報種別公開特許公報(A)
公開日2024-08-01
出願番号2024081639,2023009319
出願日2024-05-20,2016-11-02
発明の名称眼追跡に基づく動的ディスプレイ較正
出願人マジックリープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類H04N 17/00 20060101AFI20240725BHJP(電気通信技術)
要約【課題】好適な眼追跡に基づく動的ディスプレイ較正を提供すること。
【解決手段】ディスプレイと併用するためのライトフィールド計測システムの実施例が、開示される。ライトフィールド計測は、投影されたライトフィールドの画像を捕捉し、捕捉された画像を使用して、ライトフィールドの種々の領域に関する焦点深度(または側方焦点位置)を判定してもよい。判定された焦点深度(または側方位置)は、次いで、意図される焦点深度(または側方位置)と比較され、ディスプレイの不完全度を定量化してもよい。測定された不完全度に基づいて、適切な誤差補正は、ライトフィールドに行われ、測定された不完全度を補正してもよい。ディスプレイは、頭部搭載型ディスプレイ内の光学ディスプレイ要素、例えば、複数の深度平面またはライトフィールドディスプレイを生成可能な光学ディスプレイ要素であることができる。
【選択図】図26
特許請求の範囲【請求項１】
本明細書に記載の発明。

発明の詳細な説明【技術分野】
【０００１】
（関連出願の相互参照）
本願は、米国出願第６２／２５０，９２５号、出願日２０１５年１１月４日、発明の名称ＬＩＧＨＴＦＩＥＬＤＤＩＳＰＬＡＹＭＥＴＲＯＬＯＧＹ、米国出願第６２／２７８，７７９号、出願日２０１６年１月１４日、発明の名称ＬＩＧＨＴＦＩＥＬＤＥＲＲＯＲＣＯＲＲＥＣＴＩＯＮ、米国出願第６２／２５０，９３４号、出願日２０１５年１１月４日、発明の名称ＡＵＴＯＭＡＴＥＤＣＡＬＩＢＲＡＴＩＯＮＩＭＡＧＥＰＲＯＪＥＣＴＩＯＮＡＮＤＣＡＰＴＵＲＥＦＯＲＤＩＳＰＬＡＹＣＡＬＩＢＲＡＴＩＯＮ、米国出願第６２／２７８，８２４号、出願日２０１６年１月１４日、発明の名称ＤＹＮＡＭＩＣＣＡＬＩＢＲＡＴＩＯＮＯＦＡＤＩＳＰＬＡＹＢＡＳＥＤＯＮＥＹＥ－ＴＲＡＣＫＩＮＧ、米国出願第６２／２７８，７９４号、出願日２０１６年１月１４日、発明の名称ＣＨＲＯＭＡＴＩＣＢＡＬＡＮＣＩＮＧＡＤＩＳＰＬＡＹＨＡＶＩＮＧＶＡＲＹＩＮＧＣＨＲＯＭＡＴＩＣＩＴＹＡＣＲＯＳＳＡＦＩＥＬＤＯＦＶＩＥＷに対する優先権の利益を主張するものであり、これらのすべては、全体が参照により本明細書中に援用される。
続きを表示（約 7,000 文字）【０００２】
（分野）
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、イメージングおよび可視化システムの光学性質を測定および較正するための計測システムに関する。本開示はまた、眼追跡に基づく、仮想現実および拡張現実イメージングおよび可視化システムの動的較正に関する。
【背景技術】
【０００３】
（背景）
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報の提示を伴う、または複合現実「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生成することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【０００４】
（要約）
イメージングシステムの実施形態は、画像を視認者の眼に向かって投影させるための投影デバイスであって、画像は、仮想オブジェクトからの光を表すライトフィールドを備え、仮想オブジェクトは、１つまたはそれを上回る意図される焦点深度に位置するかのように投影されるように構成される、投影デバイスと、ライトフィールド内の不完全度を測定するためのライトフィールド計測デバイスとを備える。ライトフィールド計測デバイスは、ライトフィールドの一部に対応する１つまたはそれを上回る画像を捕捉し、１つまたはそれを上回る捕捉された画像を分析し、ライトフィールドの一部が合焦する深度に対応する、１つまたはそれを上回る知覚された焦点深度を識別し、少なくとも部分的に、識別された焦点深度に基づいて、深度マップを作成し、作成された深度マップと１つまたはそれを上回る意図される焦点深度を比較するように構成されてもよい。本システムは、ウェアラブルディスプレイシステムを動的に較正するために使用され得る、空間および／または色彩不完全度のための較正を生成することができる。
【０００５】
本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ディスプレイシステムであって、
眼追跡カメラと、
ディスプレイと、
前記ディスプレイのために、複数の較正を記憶するように構成される、非一過性データ記憶装置であって、前記複数の較正における各較正は、前記ディスプレイに対する較正位置と関連付けられる、非一過性データ記憶装置と、
前記眼追跡カメラ、前記ディスプレイ、および前記非一過性データ記憶装置と通信する、ハードウェアプロセッサであって、
前記眼追跡カメラからの情報に基づいて、前記ディスプレイのユーザの前記ディスプレイに対する眼位置を判定することと、
少なくとも部分的に、前記判定された眼位置に基づいて、前記複数の較正のうちの１つまたはそれを上回るものにアクセスすることと、
少なくとも部分的に、前記複数の較正のうちの１つまたはそれを上回るものに基づいて、少なくとも部分的に、前記ディスプレイ内の不完全度を補正するために前記ディスプレイに適用するための補正を計算することと、
前記補正を前記ディスプレイに適用することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ディスプレイシステム。
（項目２）
較正位置の数は、２、３、４、５、６、７、８、９、またはそれを上回る、項目１に記載のディスプレイシステム。
（項目３）
前記較正位置は、グリッド内で前記ディスプレイにわたって分散される、項目１に記載のディスプレイシステム。
（項目４）
前記グリッドは、２×２、３×３、５×５、または９×９グリッドを備える、項目３に記載のディスプレイシステム。
（項目５）
前記複数の較正のうちの１つまたはそれを上回るものは、前記眼位置に最も近い較正位置と関連付けられた較正を備える、項目１に記載のディスプレイシステム。
（項目６）
前記補正を計算するために、前記ハードウェアプロセッサは、少なくとも部分的に、前記複数の較正のうちの１つまたはそれを上回るもの較正位置および前記判定された眼位置に基づいて、前記複数の較正のうちの１つまたはそれを上回るものの間で内挿または外挿するようにプログラムされる、項目１に記載のディスプレイシステム。
（項目７）
前記ディスプレイは、前記ユーザの第１の眼と関連付けられた第１のディスプレイと、前記ユーザの第２の眼と関連付けられた第２のディスプレイとを備え、前記ハードウェアプロセッサは、前記第１のディスプレイに対する前記ユーザの眼位置を判定し、前記第２のディスプレイのための補正を計算するために前記判定された眼位置を適用するようにプログラムされる、項目１に記載のディスプレイシステム。
（項目８）
前記ディスプレイは、前記ユーザの第１の眼と関連付けられた第１のディスプレイと、前記ユーザの第２の眼と関連付けられた第２のディスプレイとを備え、前記複数の較正の少なくともいくつかは、前記第１のディスプレイおよび前記第２のディスプレイのための平均較正を表す、項目１に記載のディスプレイシステム。
（項目９）
前記ディスプレイは、ライトフィールドディスプレイを備える、項目１に記載のディスプレイシステム。
（項目１０）
前記ディスプレイは、複数の導波管を備える、スタック可能導波管アセンブリを備える、項目１に記載のディスプレイシステム。
（項目１１）
前記ディスプレイは、頭部搭載型ウェアラブルディスプレイシステムとして構成される、項目１に記載のディスプレイシステム。
（項目１２）
前記複数の較正における各較正は、前記ディスプレイの空間不完全度、前記ディスプレイの色彩不完全度、または前記空間不完全度および前記色彩不完全度の両方を補正する、項目１－１１のいずれか１項に記載のディスプレイシステム。
（項目１３）
前記空間不完全度は、面内平行移動、回転、スケーリング、もしくはワーピング誤差、または面外もしくは焦点深度誤差のうちの１つまたはそれを上回るものを備える、項目１２に記載のディスプレイシステム。
（項目１４）
前記色彩不完全度は、前記ディスプレイによって表示可能な色と関連付けられた輝度平坦性または色彩均一性誤差のうちの１つまたはそれを上回るものを備える、項目１２に記載のディスプレイシステム。
（項目１５）
ディスプレイを較正するための方法であって、
コンピュータハードウェアによって行われる動的較正システムの制御下で、
前記ディスプレイのユーザに関する眼位置を判定するステップと、
少なくとも部分的に、前記判定された眼位置に基づいて、前記ディスプレイのための較正にアクセスするステップであって、前記較正は、関連付けられた較正位置および前記判定された眼位置に基づいて選択される、ステップと、
少なくとも部分的に、前記アクセスされた較正に基づいて、少なくとも部分的に、前記ディスプレイ内の不完全度を補正するために前記ディスプレイに適用するための補正を計算するステップと、
前記補正を前記ディスプレイに適用するステップと、
を含む、方法。
（項目１６）
前記較正にアクセスするステップは、１つまたはそれを上回る較正を複数の較正から選択するステップを含み、各較正は、前記ディスプレイに対する異なる較正位置と関連付けられる、項目１５に記載の方法。
【図面の簡単な説明】
【０００６】
図１は、人物によって視認されるある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。
図２は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、較正パターンを投影させるときに生じ得る、例示的歪曲を図示する。
図８は、表示されるイメージング場所と予期される画像場所との間の歪曲を可視化するために生成され得る、別の例示的ベクトル場を図示する。
図９Ａは、例示的ＸＹ平行移動空間誤差を図示する。
図９Ｂは、例示的集合回転空間誤差を図示する。
図９Ｃおよび９Ｄは、集合スケーリング空間誤差の実施例を図示する。
図９Ｃおよび９Ｄは、集合スケーリング空間誤差の実施例を図示する。
図９Ｅは、ＸＹ平行移動、回転、およびスケーリングの補正が行われた後の残りの空間誤差の実施例を図示する。
図１０Ａは、異なる深度において視認されるように意図される、複数の深度平面の実施例を図示する。
図１０Ｂ－１０Ｅは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図１０Ｂ－１０Ｅは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図１０Ｂ－１０Ｅは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図１０Ｂ－１０Ｅは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図１１は、投影された試験画像の捕捉された画像を図示する。
図１２Ａは、投影された試験画像の捕捉された画像から生成され得る、強度ヒストグラムを図示する。
図１２Ｂは、投影された試験画像の捕捉された画像から生成された強度プロファイルを図示する。
図１３は、最頻値、中央値、および平均値間の差異を図示する、例示的強度ヒストグラムを図示する。
図１４Ａは、投影された試験画像の捕捉された画像から生成された赤色－緑色－青色（ＲＧＢ）強度マップを図示する。
図１４Ｂは、最大色非平衡誤差の実施例をマッピングする、プロットを図示する。
図１５は、色彩補正後の赤色、緑色、および青色層を伴う例示的ディスプレイに関するＲＧＢ強度マップを図示する。
図１６は、画像補正をディスプレイシステムに行うためのプロセスの実施例のフローチャートである。
図１７Ａおよび１７Ｂは、通常ライトフィールドおよび不完全なライトフィールドを用いて視認されるオブジェクトの実施例を図示する。
図１８は、いくつかの実施形態による、投影されたライトフィールドの焦点深度を測定するためのライトフィールド計測システムの実施例を図式的に図示する。
図１９Ａは、特定の焦点深度上に集束されるカメラによって捕捉され得る、画像の実施例の略図である。
図１９Ｂおよび１９Ｃは、深度グラフおよび深度マップの実施例を図示する。
図１９Ｂおよび１９Ｃは、深度グラフおよび深度マップの実施例を図示する。
図２０は、ライトフィールドディスプレイによって生成された仮想標的パターンの品質を測定するためのプロセスの実施例のフローチャートである。
図２１は、ディスプレイを較正するための方法の実施例を図示する、フローチャートである。
図２２は、ディスプレイを較正するための較正パターンを使用する、システムの実施例を図式的に図示する。
図２３Ａは、例示的格子縞較正パターンを図示する。
図２３Ｂは、例示的単一ピクセル較正パターンを図示する。
図２４は、投影されたライトフィールドを較正するための例示的プロセスのフローチャートである。
図２５Ａは、導波管、内部結合光学要素、光再分散要素、および外部結合光学要素を含む、ディスプレイの実施例を図式的に図示する、上面図である。
図２５Ｂは、軸Ａ－Ａ’に沿って図７Ａに描写されるディスプレイの断面図である。
図２６は、較正が基準位置（ドットによって示される）のグリッドにおける空間および／または色彩誤差を補正するために適用され得る、ディスプレイのための動的較正システムの実施例を図式的に図示する。
図２７は、眼追跡に基づいて、ディスプレイを動的に較正するための例示的方法を図示する、フローチャートである。
図２８は、特定のディスプレイと関連付けられた工場較正システムおよび動的較正システムの相互作用の実施例を図式的に図示する、プロセスフロー図である。
【発明を実施するための形態】
【０００７】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【０００８】
（概要）
３次元（３Ｄ）ディスプレイが、深度の真の感覚、より具体的には、表面深度のシミュレートされた感覚をもたらすためには、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に応答する遠近調節が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を被り、不安定イメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【０００９】
ＶＲおよびＡＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に、異なり得（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴を合焦させるために要求される眼の遠近調節に基づいて、および／または合焦から外れた異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、真実味のある深度の知覚を提供する。
【００１０】
（３Ｄディスプレイ）
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。図１は、拡張現実場面１００を描写し、ＡＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
（【００１１】以降は省略されています）

関連特許