TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024025804
公報種別公開特許公報(A)
公開日2024-02-26
出願番号2023206824,2020529704
出願日2023-12-07,2018-12-14
発明の名称ディスプレイデバイスのための向上された姿勢決定
出願人マジック リープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類G06T 7/70 20170101AFI20240216BHJP(計算;計数)
要約【課題】ディスプレイデバイスのための向上された姿勢決定の提供。
【解決手段】ユーザの頭部姿勢を決定するために、結像デバイスを有する、頭部搭載型ディスプレイシステムは、頭部姿勢を決定するために使用されるであろう、顕著な点に対応する点を伴う、実世界環境の現在の画像を取得することができる。顕著な点は、パッチベースであって、前の画像から現在の画像上に投影されている第1の顕著な点を、現在の画像から抽出されている現在の画像内に含まれる第2の顕著な点とともに含む。各顕著な点は、続いて、実世界環境内の顕著な点の場所を示す、記述子ベースのマップ情報に基づいて、実世界点と合致される。結像デバイスの配向は、合致に基づいて、かつ現在の画像内で捕捉されたビュー内の顕著な点の相対的位置に基づいて、決定される。配向は、頭部搭載型ディスプレイシステムの装着者の頭部姿勢を外挿するために使用されてもよい。
【選択図】図15
特許請求の範囲【請求項1】
本明細書に記載の発明。

発明の詳細な説明【技術分野】
【0001】
(関連出願の相互参照)
本願は、2017年12月15日に出願された、米国仮出願第62/599,620号、および2018年1月30日に出願された、米国仮出願第62/623,606号の優先権を主張する。これらの出願はそれぞれ、参照することによって全体として本明細書に組み込まれる。
続きを表示(約 3,800 文字)【0002】
本願はさらに、以下の特許出願のそれぞれの全体を参照することによって組み込む。2014年11月27日に出願され、2015年7月23日に米国特許公開第2015/0205126号として公開された、米国特許出願第14/555,585号、2015年4月18日に出願され、2015年10月22日に米国特許公開第2015/0302652号として公開された、米国特許出願第14/690,401号、2014年3月14日に出願され、2016年8月16日に発行された、現米国特許第9,417,452号である、米国特許出願第14/212,961号、2014年7月14日に出願され、2015年10月29日に米国特許公開第2015/0309263号として公開された、米国特許出願第14/331,218号、2014年3月11日に出願され、2014年10月16日に米国特許公開第2014/0306866号として公開された、米国特許出願第14/205,126号、2017年5月17日に出願された、米国特許出願第15/597,694号、および2017年9月27日に出願された、米国特許出願第15/717747号。
【0003】
(分野)
本開示は、ディスプレイシステムに関し、より具体的には、拡張現実ディスプレイシステムに関する。
【背景技術】
【0004】
(関連技術の説明)
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオでは、AR画像コンテンツは実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚されてもよい。
【0005】
図1を参照すると、拡張現実場面10が、描写され、AR技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定20と、コンクリートプラットフォーム30とが見える。これらのアイテムに加え、AR技術のユーザはまた、これらの要素40、50が実世界内に存在しないにもかかわらず、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚する。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、AR技術の生成は、困難である。
【0006】
本明細書に開示されるシステムおよび方法は、ARまたはVR技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0007】
いくつかの非限定的実施形態は、1つ以上の結像デバイスと、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、動作を実施させる、命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える、システムを含む。動作は、1つ以上の結像デバイスを介して、実世界環境の現在の画像を取得するステップであって、現在の画像は、姿勢を決定するための複数の点を含む、ステップと、前の画像からのパッチベースの第1の顕著な点を現在の画像内の複数の点のうちの対応するもの上に投影させるステップと、第2の顕著な点を現在の画像から抽出するステップと、顕著な点に関する個別の記述子を提供するステップと、現在の画像と関連付けられた顕著な点と実世界環境の記述子ベースのマップ内に規定された実世界場所を合致させるステップと、合致に基づいて、システムと関連付けられた姿勢を決定するステップであって、姿勢は、少なくとも、実世界環境内の1つ以上の結像デバイスの配向を示す、ステップとを含む。
【0008】
上記の実施形態では、動作はさらに、現在の画像上のパッチベースの第1の顕著な点の位置を調節するステップを含んでもよく、位置を調節するステップは、第1の顕著な点と関連付けられた第1のパッチを取得するステップであって、第1のパッチは、第1の顕著な点を包含する前の画像の一部と、第1の顕著な点の周囲の前の画像のエリアとを含む、ステップと、第1のパッチに類似する現在の画像内の第2のパッチを位置特定するステップであって、第1の顕著な点は、第2のパッチ内の第1のパッチと類似する場所に位置付けられる、ステップとを含む。第2のパッチを位置特定するステップは、前の画像内の第1のパッチと現在の画像内の第2のパッチとの間の差異を最小限にするステップを含んでもよい。パッチベースの第1の顕著な点を現在の画像上に投影させるステップは、少なくとも部分的に、本システムの慣性測定ユニットからの情報に基づいてもよい。第2の顕著な点を抽出するステップは、現在の画像の画像エリアが、前の画像から投影された閾値数未満の顕著な点を有することを決定するステップと、1つ以上の記述子ベースの顕著な点を画像エリアから抽出するステップであって、抽出された顕著な点は、第2の顕著な点を含む、ステップとを含んでもよい。画像エリアは、現在の画像の全体を備える、または画像は、現在の画像のサブセットを備えてもよい。画像エリアは、現在の画像のサブセットを備えてもよく、本システムは、処理制約または1つ以上の以前の決定された姿勢間の差異のうちの1つ以上のものに基づいて、サブセットと関連付けられたサイズを調節するように構成されてもよい。現在の画像と関連付けられた顕著な点と実世界環境のマップ内に規定された実世界場所を合致するステップは、マップ情報にアクセスするステップであって、マップ情報は、顕著な点の実世界場所と、関連付けられた記述子とを備える、ステップと、現在の画像の顕著な点に関する記述子と実世界場所における顕著な点に関する記述子を合致させるステップとを含んでもよい。動作はさらに、マップ情報内に提供される顕著な点を現在の画像上に投影させるステップであって、投影は、慣性測定ユニット、拡張カルマンフィルタ、または視覚的慣性オドメトリのうちの1つ以上のものに基づく、ステップを含んでもよい。本システムは、少なくとも、1つ以上の結像デバイスを使用して、マップを生成するように構成されてもよい。姿勢を決定するステップは、現在の画像内で捕捉されたビュー内の顕著な点の実世界場所および顕著な点の相対的位置に基づいてもよい。動作はさらに、現在の画像の後続画像のために、パッチが、後続画像上に投影されるために利用可能な顕著な点を備え得るように、現在の画像から抽出された個別の顕著な点と関連付けられたパッチを生成するステップを含んでもよい。記述子を提供するステップは、顕著な点毎に記述子を生成するステップを含んでもよい。
【0009】
他の実施形態では、拡張現実ディスプレイシステムが、提供される。拡張現実ディスプレイデバイスは、1つ以上の結像デバイスと、1つ以上のプロセッサとを備える。プロセッサは、実世界環境の現在の画像を取得し、前の画像内に含まれるパッチベースの顕著な点が、現在の画像上に投影されるように、フレーム/フレーム追跡を現在の画像上で実施し、マップデータベース内に含まれる記述子ベースの顕著な点が、現在の画像の顕著な点と合致されるように、マップ/フレーム追跡を現在の画像上で実施し、ディスプレイデバイスと関連付けられた姿勢を決定するように構成される。
【0010】
上記の実施形態では、フレーム/フレーム追跡はさらに、測光誤差最適化を使用して、投影されたパッチの場所を精緻化するステップを含んでもよい。マップ/フレーム追跡はさらに、パッチベースの顕著な点に関する記述子を決定するステップと、顕著な点に関する記述子とマップデータベース内の記述子ベースの顕著な点を合致させるステップを含んでもよい。1つ以上のプロセッサはさらに、少なくとも1つ以上の結像デバイスを使用して、マップデータベースを生成するように構成されてもよい。拡張現実ディスプレイシステムはさらに、異なる深度平面に対応する異なる波面発散を伴う光を出力するように構成される、複数の導波管を備えてもよく、出力光は、少なくとも部分的に、ディスプレイデバイスと関連付けられた姿勢に基づいて、位置する。
(【0011】以降は省略されています)

特許ウォッチbot のツイートを見る
この特許をJ-PlatPatで参照する

関連特許

個人
乗降調査装置
1日前
個人
自動販売機
8日前
日本精機株式会社
投影装置
1日前
個人
コメント配信システム
29日前
個人
リユース統合システム
21日前
日本精機株式会社
投影システム
2日前
個人
広告提供方法
29日前
株式会社SUBARU
車両
9日前
個人
釣PAID降水確率ポイント
1か月前
小林クリエイト株式会社
RFタグ
8日前
個人
チラシ掲載位置表示システム
19日前
株式会社SUBARU
車両
1か月前
個人
モノづくり知識情報システム
27日前
個人
情報処理装置及びプログラム
26日前
17LIVE株式会社
サーバ
1日前
株式会社協同印刷
防災・災害マウス
14日前
太陽誘電株式会社
触覚生成装置
12日前
株式会社ゼロボード
価格決定システム
今日
株式会社イトーキ
分析装置
12日前
株式会社カネカ
異常推定システム
20日前
中国電力株式会社
ゲームシステム
27日前
株式会社フォーバル
仕訳システム
20日前
株式会社カクシン
管理装置
1か月前
日本信号株式会社
自転車貸出システム
2日前
日本電気株式会社
勤務管理装置
7日前
個人
ブロックチェーンと既存網との接続方法
21日前
小林クリエイト株式会社
あて先表示システム
8日前
日本電気株式会社
端末及び認証システム
2日前
個人
防災訓練オフ会
9日前
NVデバイス株式会社
視線検出システム
20日前
NISSHA株式会社
指装着型コントローラー
7日前
日本信号株式会社
駐車場システム
15日前
原田産業株式会社
衣服の注文方法
23日前
トヨタ自動車株式会社
サーバ装置
8日前
日本信号株式会社
所持物検査装置
6日前
株式会社日立製作所
演算装置
21日前
続きを見る