特許ウォッチ

公開番号2024025804
公報種別公開特許公報(A)
公開日2024-02-26
出願番号2023206824,2020529704
出願日2023-12-07,2018-12-14
発明の名称ディスプレイデバイスのための向上された姿勢決定
出願人マジックリープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類G06T 7/70 20170101AFI20240216BHJP(計算;計数)
要約【課題】ディスプレイデバイスのための向上された姿勢決定の提供。
【解決手段】ユーザの頭部姿勢を決定するために、結像デバイスを有する、頭部搭載型ディスプレイシステムは、頭部姿勢を決定するために使用されるであろう、顕著な点に対応する点を伴う、実世界環境の現在の画像を取得することができる。顕著な点は、パッチベースであって、前の画像から現在の画像上に投影されている第1の顕著な点を、現在の画像から抽出されている現在の画像内に含まれる第2の顕著な点とともに含む。各顕著な点は、続いて、実世界環境内の顕著な点の場所を示す、記述子ベースのマップ情報に基づいて、実世界点と合致される。結像デバイスの配向は、合致に基づいて、かつ現在の画像内で捕捉されたビュー内の顕著な点の相対的位置に基づいて、決定される。配向は、頭部搭載型ディスプレイシステムの装着者の頭部姿勢を外挿するために使用されてもよい。
【選択図】図15
特許請求の範囲【請求項１】
本明細書に記載の発明。

発明の詳細な説明【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１７年１２月１５日に出願された、米国仮出願第６２／５９９，６２０号、および２０１８年１月３０日に出願された、米国仮出願第６２／６２３，６０６号の優先権を主張する。これらの出願はそれぞれ、参照することによって全体として本明細書に組み込まれる。
続きを表示（約 3,800 文字）【０００２】
本願はさらに、以下の特許出願のそれぞれの全体を参照することによって組み込む。２０１４年１１月２７日に出願され、２０１５年７月２３日に米国特許公開第２０１５／０２０５１２６号として公開された、米国特許出願第１４／５５５，５８５号、２０１５年４月１８日に出願され、２０１５年１０月２２日に米国特許公開第２０１５／０３０２６５２号として公開された、米国特許出願第１４／６９０，４０１号、２０１４年３月１４日に出願され、２０１６年８月１６日に発行された、現米国特許第９，４１７，４５２号である、米国特許出願第１４／２１２，９６１号、２０１４年７月１４日に出願され、２０１５年１０月２９日に米国特許公開第２０１５／０３０９２６３号として公開された、米国特許出願第１４／３３１，２１８号、２０１４年３月１１日に出願され、２０１４年１０月１６日に米国特許公開第２０１４／０３０６８６６号として公開された、米国特許出願第１４／２０５，１２６号、２０１７年５月１７日に出願された、米国特許出願第１５／５９７，６９４号、および２０１７年９月２７日に出願された、米国特許出願第１５／７１７７４７号。
【０００３】
（分野）
本開示は、ディスプレイシステムに関し、より具体的には、拡張現実ディスプレイシステムに関する。
【背景技術】
【０００４】
（関連技術の説明）
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」シナリオは、一種のＡＲシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオでは、ＡＲ画像コンテンツは実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚されてもよい。
【０００５】
図１を参照すると、拡張現実場面１０が、描写され、ＡＲ技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定２０と、コンクリートプラットフォーム３０とが見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、これらの要素４０、５０が実世界内に存在しないにもかかわらず、実世界プラットフォーム３０上に立っているロボット像４０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ５０等の「仮想コンテンツ」を「見ている」と知覚する。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＡＲ技術の生成は、困難である。
【０００６】
本明細書に開示されるシステムおよび方法は、ＡＲまたはＶＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【０００７】
いくつかの非限定的実施形態は、１つ以上の結像デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える、システムを含む。動作は、１つ以上の結像デバイスを介して、実世界環境の現在の画像を取得するステップであって、現在の画像は、姿勢を決定するための複数の点を含む、ステップと、前の画像からのパッチベースの第１の顕著な点を現在の画像内の複数の点のうちの対応するもの上に投影させるステップと、第２の顕著な点を現在の画像から抽出するステップと、顕著な点に関する個別の記述子を提供するステップと、現在の画像と関連付けられた顕著な点と実世界環境の記述子ベースのマップ内に規定された実世界場所を合致させるステップと、合致に基づいて、システムと関連付けられた姿勢を決定するステップであって、姿勢は、少なくとも、実世界環境内の１つ以上の結像デバイスの配向を示す、ステップとを含む。
【０００８】
上記の実施形態では、動作はさらに、現在の画像上のパッチベースの第１の顕著な点の位置を調節するステップを含んでもよく、位置を調節するステップは、第１の顕著な点と関連付けられた第１のパッチを取得するステップであって、第１のパッチは、第１の顕著な点を包含する前の画像の一部と、第１の顕著な点の周囲の前の画像のエリアとを含む、ステップと、第１のパッチに類似する現在の画像内の第２のパッチを位置特定するステップであって、第１の顕著な点は、第２のパッチ内の第１のパッチと類似する場所に位置付けられる、ステップとを含む。第２のパッチを位置特定するステップは、前の画像内の第１のパッチと現在の画像内の第２のパッチとの間の差異を最小限にするステップを含んでもよい。パッチベースの第１の顕著な点を現在の画像上に投影させるステップは、少なくとも部分的に、本システムの慣性測定ユニットからの情報に基づいてもよい。第２の顕著な点を抽出するステップは、現在の画像の画像エリアが、前の画像から投影された閾値数未満の顕著な点を有することを決定するステップと、１つ以上の記述子ベースの顕著な点を画像エリアから抽出するステップであって、抽出された顕著な点は、第２の顕著な点を含む、ステップとを含んでもよい。画像エリアは、現在の画像の全体を備える、または画像は、現在の画像のサブセットを備えてもよい。画像エリアは、現在の画像のサブセットを備えてもよく、本システムは、処理制約または１つ以上の以前の決定された姿勢間の差異のうちの１つ以上のものに基づいて、サブセットと関連付けられたサイズを調節するように構成されてもよい。現在の画像と関連付けられた顕著な点と実世界環境のマップ内に規定された実世界場所を合致するステップは、マップ情報にアクセスするステップであって、マップ情報は、顕著な点の実世界場所と、関連付けられた記述子とを備える、ステップと、現在の画像の顕著な点に関する記述子と実世界場所における顕著な点に関する記述子を合致させるステップとを含んでもよい。動作はさらに、マップ情報内に提供される顕著な点を現在の画像上に投影させるステップであって、投影は、慣性測定ユニット、拡張カルマンフィルタ、または視覚的慣性オドメトリのうちの１つ以上のものに基づく、ステップを含んでもよい。本システムは、少なくとも、１つ以上の結像デバイスを使用して、マップを生成するように構成されてもよい。姿勢を決定するステップは、現在の画像内で捕捉されたビュー内の顕著な点の実世界場所および顕著な点の相対的位置に基づいてもよい。動作はさらに、現在の画像の後続画像のために、パッチが、後続画像上に投影されるために利用可能な顕著な点を備え得るように、現在の画像から抽出された個別の顕著な点と関連付けられたパッチを生成するステップを含んでもよい。記述子を提供するステップは、顕著な点毎に記述子を生成するステップを含んでもよい。
【０００９】
他の実施形態では、拡張現実ディスプレイシステムが、提供される。拡張現実ディスプレイデバイスは、１つ以上の結像デバイスと、１つ以上のプロセッサとを備える。プロセッサは、実世界環境の現在の画像を取得し、前の画像内に含まれるパッチベースの顕著な点が、現在の画像上に投影されるように、フレーム／フレーム追跡を現在の画像上で実施し、マップデータベース内に含まれる記述子ベースの顕著な点が、現在の画像の顕著な点と合致されるように、マップ／フレーム追跡を現在の画像上で実施し、ディスプレイデバイスと関連付けられた姿勢を決定するように構成される。
【００１０】
上記の実施形態では、フレーム／フレーム追跡はさらに、測光誤差最適化を使用して、投影されたパッチの場所を精緻化するステップを含んでもよい。マップ／フレーム追跡はさらに、パッチベースの顕著な点に関する記述子を決定するステップと、顕著な点に関する記述子とマップデータベース内の記述子ベースの顕著な点を合致させるステップを含んでもよい。１つ以上のプロセッサはさらに、少なくとも１つ以上の結像デバイスを使用して、マップデータベースを生成するように構成されてもよい。拡張現実ディスプレイシステムはさらに、異なる深度平面に対応する異なる波面発散を伴う光を出力するように構成される、複数の導波管を備えてもよく、出力光は、少なくとも部分的に、ディスプレイデバイスと関連付けられた姿勢に基づいて、位置する。
（【００１１】以降は省略されています）

関連特許