TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024103533
公報種別
公開特許公報(A)
公開日
2024-08-01
出願番号
2024081639,2023009319
出願日
2024-05-20,2016-11-02
発明の名称
眼追跡に基づく動的ディスプレイ較正
出願人
マジック リープ, インコーポレイテッド
,
Magic Leap,Inc.
代理人
個人
,
個人
,
個人
,
個人
,
個人
主分類
H04N
17/00 20060101AFI20240725BHJP(電気通信技術)
要約
【課題】好適な眼追跡に基づく動的ディスプレイ較正を提供すること。
【解決手段】ディスプレイと併用するためのライトフィールド計測システムの実施例が、開示される。ライトフィールド計測は、投影されたライトフィールドの画像を捕捉し、捕捉された画像を使用して、ライトフィールドの種々の領域に関する焦点深度(または側方焦点位置)を判定してもよい。判定された焦点深度(または側方位置)は、次いで、意図される焦点深度(または側方位置)と比較され、ディスプレイの不完全度を定量化してもよい。測定された不完全度に基づいて、適切な誤差補正は、ライトフィールドに行われ、測定された不完全度を補正してもよい。ディスプレイは、頭部搭載型ディスプレイ内の光学ディスプレイ要素、例えば、複数の深度平面またはライトフィールドディスプレイを生成可能な光学ディスプレイ要素であることができる。
【選択図】図26
特許請求の範囲
【請求項1】
本明細書に記載の発明。
発明の詳細な説明
【技術分野】
【0001】
(関連出願の相互参照)
本願は、米国出願第62/250,925号、出願日2015年11月4日、発明の名称LIGHT FIELD DISPLAY METROLOGY、米国出願第62/278,779号、出願日2016年1月14日、発明の名称LIGHT FIELD ERROR CORRECTION、米国出願第62/250,934号、出願日2015年11月4日、発明の名称AUTOMATED CALIBRATION IMAGE PROJECTION AND CAPTURE FOR DISPLAY CALIBRATION、米国出願第62/278,824号、出願日2016年1月14日、発明の名称DYNAMIC CALIBRATION OF A DISPLAY BASED ON EYE-TRACKING、米国出願第62/278,794号、出願日2016年1月14日、発明の名称CHROMATIC BALANCING A DISPLAY HAVING VARYING CHROMATICITY ACROSS A FIELD OF VIEWに対する優先権の利益を主張するものであり、これらのすべては、全体が参照により本明細書中に援用される。
続きを表示(約 7,000 文字)
【0002】
(分野)
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、イメージングおよび可視化システムの光学性質を測定および較正するための計測システムに関する。本開示はまた、眼追跡に基づく、仮想現実および拡張現実イメージングおよび可視化システムの動的較正に関する。
【背景技術】
【0003】
(背景)
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報の提示を伴う、または複合現実「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、VR、AR、またはMR技術を生成することは、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、およびMR技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0004】
(要約)
イメージングシステムの実施形態は、画像を視認者の眼に向かって投影させるための投影デバイスであって、画像は、仮想オブジェクトからの光を表すライトフィールドを備え、仮想オブジェクトは、1つまたはそれを上回る意図される焦点深度に位置するかのように投影されるように構成される、投影デバイスと、ライトフィールド内の不完全度を測定するためのライトフィールド計測デバイスとを備える。ライトフィールド計測デバイスは、ライトフィールドの一部に対応する1つまたはそれを上回る画像を捕捉し、1つまたはそれを上回る捕捉された画像を分析し、ライトフィールドの一部が合焦する深度に対応する、1つまたはそれを上回る知覚された焦点深度を識別し、少なくとも部分的に、識別された焦点深度に基づいて、深度マップを作成し、作成された深度マップと1つまたはそれを上回る意図される焦点深度を比較するように構成されてもよい。本システムは、ウェアラブルディスプレイシステムを動的に較正するために使用され得る、空間および/または色彩不完全度のための較正を生成することができる。
【0005】
本明細書に説明される主題の1つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
ディスプレイシステムであって、
眼追跡カメラと、
ディスプレイと、
前記ディスプレイのために、複数の較正を記憶するように構成される、非一過性データ記憶装置であって、前記複数の較正における各較正は、前記ディスプレイに対する較正位置と関連付けられる、非一過性データ記憶装置と、
前記眼追跡カメラ、前記ディスプレイ、および前記非一過性データ記憶装置と通信する、ハードウェアプロセッサであって、
前記眼追跡カメラからの情報に基づいて、前記ディスプレイのユーザの前記ディスプレイに対する眼位置を判定することと、
少なくとも部分的に、前記判定された眼位置に基づいて、前記複数の較正のうちの1つまたはそれを上回るものにアクセスすることと、
少なくとも部分的に、前記複数の較正のうちの1つまたはそれを上回るものに基づいて、少なくとも部分的に、前記ディスプレイ内の不完全度を補正するために前記ディスプレイに適用するための補正を計算することと、
前記補正を前記ディスプレイに適用することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ディスプレイシステム。
(項目2)
較正位置の数は、2、3、4、5、6、7、8、9、またはそれを上回る、項目1に記載のディスプレイシステム。
(項目3)
前記較正位置は、グリッド内で前記ディスプレイにわたって分散される、項目1に記載のディスプレイシステム。
(項目4)
前記グリッドは、2×2、3×3、5×5、または9×9グリッドを備える、項目3に記載のディスプレイシステム。
(項目5)
前記複数の較正のうちの1つまたはそれを上回るものは、前記眼位置に最も近い較正位置と関連付けられた較正を備える、項目1に記載のディスプレイシステム。
(項目6)
前記補正を計算するために、前記ハードウェアプロセッサは、少なくとも部分的に、前記複数の較正のうちの1つまたはそれを上回るもの較正位置および前記判定された眼位置に基づいて、前記複数の較正のうちの1つまたはそれを上回るものの間で内挿または外挿するようにプログラムされる、項目1に記載のディスプレイシステム。
(項目7)
前記ディスプレイは、前記ユーザの第1の眼と関連付けられた第1のディスプレイと、前記ユーザの第2の眼と関連付けられた第2のディスプレイとを備え、前記ハードウェアプロセッサは、前記第1のディスプレイに対する前記ユーザの眼位置を判定し、前記第2のディスプレイのための補正を計算するために前記判定された眼位置を適用するようにプログラムされる、項目1に記載のディスプレイシステム。
(項目8)
前記ディスプレイは、前記ユーザの第1の眼と関連付けられた第1のディスプレイと、前記ユーザの第2の眼と関連付けられた第2のディスプレイとを備え、前記複数の較正の少なくともいくつかは、前記第1のディスプレイおよび前記第2のディスプレイのための平均較正を表す、項目1に記載のディスプレイシステム。
(項目9)
前記ディスプレイは、ライトフィールドディスプレイを備える、項目1に記載のディスプレイシステム。
(項目10)
前記ディスプレイは、複数の導波管を備える、スタック可能導波管アセンブリを備える、項目1に記載のディスプレイシステム。
(項目11)
前記ディスプレイは、頭部搭載型ウェアラブルディスプレイシステムとして構成される、項目1に記載のディスプレイシステム。
(項目12)
前記複数の較正における各較正は、前記ディスプレイの空間不完全度、前記ディスプレイの色彩不完全度、または前記空間不完全度および前記色彩不完全度の両方を補正する、項目1-11のいずれか1項に記載のディスプレイシステム。
(項目13)
前記空間不完全度は、面内平行移動、回転、スケーリング、もしくはワーピング誤差、または面外もしくは焦点深度誤差のうちの1つまたはそれを上回るものを備える、項目12に記載のディスプレイシステム。
(項目14)
前記色彩不完全度は、前記ディスプレイによって表示可能な色と関連付けられた輝度平坦性または色彩均一性誤差のうちの1つまたはそれを上回るものを備える、項目12に記載のディスプレイシステム。
(項目15)
ディスプレイを較正するための方法であって、
コンピュータハードウェアによって行われる動的較正システムの制御下で、
前記ディスプレイのユーザに関する眼位置を判定するステップと、
少なくとも部分的に、前記判定された眼位置に基づいて、前記ディスプレイのための較正にアクセスするステップであって、前記較正は、関連付けられた較正位置および前記判定された眼位置に基づいて選択される、ステップと、
少なくとも部分的に、前記アクセスされた較正に基づいて、少なくとも部分的に、前記ディスプレイ内の不完全度を補正するために前記ディスプレイに適用するための補正を計算するステップと、
前記補正を前記ディスプレイに適用するステップと、
を含む、方法。
(項目16)
前記較正にアクセスするステップは、1つまたはそれを上回る較正を複数の較正から選択するステップを含み、各較正は、前記ディスプレイに対する異なる較正位置と関連付けられる、項目15に記載の方法。
【図面の簡単な説明】
【0006】
図1は、人物によって視認されるある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。
図2は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図5は、導波管によって出力され得る、例示的出射ビームを示す。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図7は、較正パターンを投影させるときに生じ得る、例示的歪曲を図示する。
図8は、表示されるイメージング場所と予期される画像場所との間の歪曲を可視化するために生成され得る、別の例示的ベクトル場を図示する。
図9Aは、例示的XY平行移動空間誤差を図示する。
図9Bは、例示的集合回転空間誤差を図示する。
図9Cおよび9Dは、集合スケーリング空間誤差の実施例を図示する。
図9Cおよび9Dは、集合スケーリング空間誤差の実施例を図示する。
図9Eは、XY平行移動、回転、およびスケーリングの補正が行われた後の残りの空間誤差の実施例を図示する。
図10Aは、異なる深度において視認されるように意図される、複数の深度平面の実施例を図示する。
図10B-10Eは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図10B-10Eは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図10B-10Eは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図10B-10Eは、投影された深度平面を視認するときに生じ得る、例示的面外空間誤差を図示する。
図11は、投影された試験画像の捕捉された画像を図示する。
図12Aは、投影された試験画像の捕捉された画像から生成され得る、強度ヒストグラムを図示する。
図12Bは、投影された試験画像の捕捉された画像から生成された強度プロファイルを図示する。
図13は、最頻値、中央値、および平均値間の差異を図示する、例示的強度ヒストグラムを図示する。
図14Aは、投影された試験画像の捕捉された画像から生成された赤色-緑色-青色(RGB)強度マップを図示する。
図14Bは、最大色非平衡誤差の実施例をマッピングする、プロットを図示する。
図15は、色彩補正後の赤色、緑色、および青色層を伴う例示的ディスプレイに関するRGB強度マップを図示する。
図16は、画像補正をディスプレイシステムに行うためのプロセスの実施例のフローチャートである。
図17Aおよび17Bは、通常ライトフィールドおよび不完全なライトフィールドを用いて視認されるオブジェクトの実施例を図示する。
図18は、いくつかの実施形態による、投影されたライトフィールドの焦点深度を測定するためのライトフィールド計測システムの実施例を図式的に図示する。
図19Aは、特定の焦点深度上に集束されるカメラによって捕捉され得る、画像の実施例の略図である。
図19Bおよび19Cは、深度グラフおよび深度マップの実施例を図示する。
図19Bおよび19Cは、深度グラフおよび深度マップの実施例を図示する。
図20は、ライトフィールドディスプレイによって生成された仮想標的パターンの品質を測定するためのプロセスの実施例のフローチャートである。
図21は、ディスプレイを較正するための方法の実施例を図示する、フローチャートである。
図22は、ディスプレイを較正するための較正パターンを使用する、システムの実施例を図式的に図示する。
図23Aは、例示的格子縞較正パターンを図示する。
図23Bは、例示的単一ピクセル較正パターンを図示する。
図24は、投影されたライトフィールドを較正するための例示的プロセスのフローチャートである。
図25Aは、導波管、内部結合光学要素、光再分散要素、および外部結合光学要素を含む、ディスプレイの実施例を図式的に図示する、上面図である。
図25Bは、軸A-A’に沿って図7Aに描写されるディスプレイの断面図である。
図26は、較正が基準位置(ドットによって示される)のグリッドにおける空間および/または色彩誤差を補正するために適用され得る、ディスプレイのための動的較正システムの実施例を図式的に図示する。
図27は、眼追跡に基づいて、ディスプレイを動的に較正するための例示的方法を図示する、フローチャートである。
図28は、特定のディスプレイと関連付けられた工場較正システムおよび動的較正システムの相互作用の実施例を図式的に図示する、プロセスフロー図である。
【発明を実施するための形態】
【0007】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【0008】
(概要)
3次元(3D)ディスプレイが、深度の真の感覚、より具体的には、表面深度のシミュレートされた感覚をもたらすためには、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に応答する遠近調節が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を被り、不安定イメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0009】
VRおよびAR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に、異なり得(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴を合焦させるために要求される眼の遠近調節に基づいて、および/または合焦から外れた異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、真実味のある深度の知覚を提供する。
【0010】
(3Dディスプレイ)
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。図1は、拡張現実場面100を描写し、AR技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
個人
多重無線通信方法
2か月前
個人
スピーカーシステム
5日前
個人
デジタル放送受信装置
1か月前
ブラザー工業株式会社
複合機
2か月前
オンキヨー株式会社
電子機器
2か月前
個人
スピーカーキャビネット
1か月前
エムケー精工株式会社
音響装置
1か月前
日本精機株式会社
遠隔操作装置
18日前
日本精機株式会社
遠隔操作装置
25日前
株式会社三井光機製作所
暗視装置
2か月前
キヤノン株式会社
撮像装置
2か月前
キヤノン株式会社
操作機器
2か月前
キヤノン株式会社
撮像装置
2か月前
キヤノン株式会社
撮像装置
20日前
キヤノン株式会社
撮像装置
4日前
個人
インターネット通信装置
28日前
個人
配信用音源制作システム
14日前
キヤノン電子株式会社
画像読取装置
2か月前
キヤノン電子株式会社
画像読取装置
2か月前
個人
コメント荒らし判別プログラム
2か月前
キヤノン株式会社
画像読取装置
1か月前
キヤノン株式会社
画像読取装置
22日前
富士通株式会社
光信号増幅
1か月前
日本放送協会
LDM送信システム
2か月前
個人
電子透かしの埋め込み及び抽出方法
2か月前
キヤノン電子株式会社
画像処理システム
1か月前
キヤノン電子株式会社
画像読取システム
20日前
キヤノン電子株式会社
画像読取システム
3か月前
キヤノン電子株式会社
画像読取システム
2か月前
三菱電機株式会社
中継装置
1か月前
シャープ株式会社
表示装置
2か月前
キヤノン株式会社
撮像装置
2か月前
キヤノン電子株式会社
画像読取システム
1か月前
株式会社CT
顧客開発推進システム
2か月前
アイホン株式会社
インターホン機器
2か月前
綜合警備保障株式会社
遠隔監視装置
1か月前
続きを見る
他の特許を見る