TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024025804
公報種別
公開特許公報(A)
公開日
2024-02-26
出願番号
2023206824,2020529704
出願日
2023-12-07,2018-12-14
発明の名称
ディスプレイデバイスのための向上された姿勢決定
出願人
マジック リープ, インコーポレイテッド
,
Magic Leap,Inc.
代理人
個人
,
個人
,
個人
,
個人
,
個人
主分類
G06T
7/70 20170101AFI20240216BHJP(計算;計数)
要約
【課題】ディスプレイデバイスのための向上された姿勢決定の提供。
【解決手段】ユーザの頭部姿勢を決定するために、結像デバイスを有する、頭部搭載型ディスプレイシステムは、頭部姿勢を決定するために使用されるであろう、顕著な点に対応する点を伴う、実世界環境の現在の画像を取得することができる。顕著な点は、パッチベースであって、前の画像から現在の画像上に投影されている第1の顕著な点を、現在の画像から抽出されている現在の画像内に含まれる第2の顕著な点とともに含む。各顕著な点は、続いて、実世界環境内の顕著な点の場所を示す、記述子ベースのマップ情報に基づいて、実世界点と合致される。結像デバイスの配向は、合致に基づいて、かつ現在の画像内で捕捉されたビュー内の顕著な点の相対的位置に基づいて、決定される。配向は、頭部搭載型ディスプレイシステムの装着者の頭部姿勢を外挿するために使用されてもよい。
【選択図】図15
特許請求の範囲
【請求項1】
本明細書に記載の発明。
発明の詳細な説明
【技術分野】
【0001】
(関連出願の相互参照)
本願は、2017年12月15日に出願された、米国仮出願第62/599,620号、および2018年1月30日に出願された、米国仮出願第62/623,606号の優先権を主張する。これらの出願はそれぞれ、参照することによって全体として本明細書に組み込まれる。
続きを表示(約 3,800 文字)
【0002】
本願はさらに、以下の特許出願のそれぞれの全体を参照することによって組み込む。2014年11月27日に出願され、2015年7月23日に米国特許公開第2015/0205126号として公開された、米国特許出願第14/555,585号、2015年4月18日に出願され、2015年10月22日に米国特許公開第2015/0302652号として公開された、米国特許出願第14/690,401号、2014年3月14日に出願され、2016年8月16日に発行された、現米国特許第9,417,452号である、米国特許出願第14/212,961号、2014年7月14日に出願され、2015年10月29日に米国特許公開第2015/0309263号として公開された、米国特許出願第14/331,218号、2014年3月11日に出願され、2014年10月16日に米国特許公開第2014/0306866号として公開された、米国特許出願第14/205,126号、2017年5月17日に出願された、米国特許出願第15/597,694号、および2017年9月27日に出願された、米国特許出願第15/717747号。
【0003】
(分野)
本開示は、ディスプレイシステムに関し、より具体的には、拡張現実ディスプレイシステムに関する。
【背景技術】
【0004】
(関連技術の説明)
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオでは、AR画像コンテンツは実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚されてもよい。
【0005】
図1を参照すると、拡張現実場面10が、描写され、AR技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定20と、コンクリートプラットフォーム30とが見える。これらのアイテムに加え、AR技術のユーザはまた、これらの要素40、50が実世界内に存在しないにもかかわらず、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚する。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、AR技術の生成は、困難である。
【0006】
本明細書に開示されるシステムおよび方法は、ARまたはVR技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0007】
いくつかの非限定的実施形態は、1つ以上の結像デバイスと、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、動作を実施させる、命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える、システムを含む。動作は、1つ以上の結像デバイスを介して、実世界環境の現在の画像を取得するステップであって、現在の画像は、姿勢を決定するための複数の点を含む、ステップと、前の画像からのパッチベースの第1の顕著な点を現在の画像内の複数の点のうちの対応するもの上に投影させるステップと、第2の顕著な点を現在の画像から抽出するステップと、顕著な点に関する個別の記述子を提供するステップと、現在の画像と関連付けられた顕著な点と実世界環境の記述子ベースのマップ内に規定された実世界場所を合致させるステップと、合致に基づいて、システムと関連付けられた姿勢を決定するステップであって、姿勢は、少なくとも、実世界環境内の1つ以上の結像デバイスの配向を示す、ステップとを含む。
【0008】
上記の実施形態では、動作はさらに、現在の画像上のパッチベースの第1の顕著な点の位置を調節するステップを含んでもよく、位置を調節するステップは、第1の顕著な点と関連付けられた第1のパッチを取得するステップであって、第1のパッチは、第1の顕著な点を包含する前の画像の一部と、第1の顕著な点の周囲の前の画像のエリアとを含む、ステップと、第1のパッチに類似する現在の画像内の第2のパッチを位置特定するステップであって、第1の顕著な点は、第2のパッチ内の第1のパッチと類似する場所に位置付けられる、ステップとを含む。第2のパッチを位置特定するステップは、前の画像内の第1のパッチと現在の画像内の第2のパッチとの間の差異を最小限にするステップを含んでもよい。パッチベースの第1の顕著な点を現在の画像上に投影させるステップは、少なくとも部分的に、本システムの慣性測定ユニットからの情報に基づいてもよい。第2の顕著な点を抽出するステップは、現在の画像の画像エリアが、前の画像から投影された閾値数未満の顕著な点を有することを決定するステップと、1つ以上の記述子ベースの顕著な点を画像エリアから抽出するステップであって、抽出された顕著な点は、第2の顕著な点を含む、ステップとを含んでもよい。画像エリアは、現在の画像の全体を備える、または画像は、現在の画像のサブセットを備えてもよい。画像エリアは、現在の画像のサブセットを備えてもよく、本システムは、処理制約または1つ以上の以前の決定された姿勢間の差異のうちの1つ以上のものに基づいて、サブセットと関連付けられたサイズを調節するように構成されてもよい。現在の画像と関連付けられた顕著な点と実世界環境のマップ内に規定された実世界場所を合致するステップは、マップ情報にアクセスするステップであって、マップ情報は、顕著な点の実世界場所と、関連付けられた記述子とを備える、ステップと、現在の画像の顕著な点に関する記述子と実世界場所における顕著な点に関する記述子を合致させるステップとを含んでもよい。動作はさらに、マップ情報内に提供される顕著な点を現在の画像上に投影させるステップであって、投影は、慣性測定ユニット、拡張カルマンフィルタ、または視覚的慣性オドメトリのうちの1つ以上のものに基づく、ステップを含んでもよい。本システムは、少なくとも、1つ以上の結像デバイスを使用して、マップを生成するように構成されてもよい。姿勢を決定するステップは、現在の画像内で捕捉されたビュー内の顕著な点の実世界場所および顕著な点の相対的位置に基づいてもよい。動作はさらに、現在の画像の後続画像のために、パッチが、後続画像上に投影されるために利用可能な顕著な点を備え得るように、現在の画像から抽出された個別の顕著な点と関連付けられたパッチを生成するステップを含んでもよい。記述子を提供するステップは、顕著な点毎に記述子を生成するステップを含んでもよい。
【0009】
他の実施形態では、拡張現実ディスプレイシステムが、提供される。拡張現実ディスプレイデバイスは、1つ以上の結像デバイスと、1つ以上のプロセッサとを備える。プロセッサは、実世界環境の現在の画像を取得し、前の画像内に含まれるパッチベースの顕著な点が、現在の画像上に投影されるように、フレーム/フレーム追跡を現在の画像上で実施し、マップデータベース内に含まれる記述子ベースの顕著な点が、現在の画像の顕著な点と合致されるように、マップ/フレーム追跡を現在の画像上で実施し、ディスプレイデバイスと関連付けられた姿勢を決定するように構成される。
【0010】
上記の実施形態では、フレーム/フレーム追跡はさらに、測光誤差最適化を使用して、投影されたパッチの場所を精緻化するステップを含んでもよい。マップ/フレーム追跡はさらに、パッチベースの顕著な点に関する記述子を決定するステップと、顕著な点に関する記述子とマップデータベース内の記述子ベースの顕著な点を合致させるステップを含んでもよい。1つ以上のプロセッサはさらに、少なくとも1つ以上の結像デバイスを使用して、マップデータベースを生成するように構成されてもよい。拡張現実ディスプレイシステムはさらに、異なる深度平面に対応する異なる波面発散を伴う光を出力するように構成される、複数の導波管を備えてもよく、出力光は、少なくとも部分的に、ディスプレイデバイスと関連付けられた姿勢に基づいて、位置する。
(【0011】以降は省略されています)
特許ウォッチbot のツイートを見る
この特許をJ-PlatPatで参照する
関連特許
個人
情報検索装置
1か月前
個人
ノートPC寝台
1か月前
個人
ドットパターン
1か月前
個人
防災情報システム
9日前
個人
電子文書の閲覧用電子機器
1か月前
個人
家計支援システム2
1か月前
個人
介護者指名システム
3日前
コクヨ株式会社
収納ケース
1か月前
個人
モノ造りプロトコルレイヤー
1か月前
キヤノン電子株式会社
携帯情報端末
1か月前
有限会社マイコム
制御盤のAI見積
16日前
個人
生活困窮者相談業務支援システム
27日前
個人
施解錠制御システム
1か月前
株式会社Haul
採用支援方法
4日前
エムケー精工株式会社
洗車場システム
5日前
キヤノン株式会社
情報処理装置
18日前
中国電力株式会社
販売支援方法
25日前
株式会社Asuka
本人認証方法
6日前
株式会社にしがき
会員権システム
10日前
個人
災害情報表示システム
13日前
トヨタ自動車株式会社
表認識方法
10日前
大和製衡株式会社
組合せ計数装置
1か月前
株式会社アジラ
行動推定システム
1か月前
株式会社広島銀行
本人確認システム
1か月前
株式会社JVCケンウッド
処理装置
9日前
株式会社ゼロワン
ケア支援システム
1か月前
トヨタ自動車株式会社
画像処理装置
26日前
個人
人流データ取得システム
1か月前
トヨタ自動車株式会社
画像処理装置
1か月前
トヨタ自動車株式会社
画像処理装置
9日前
トヨタ自動車株式会社
画像処理装置
5日前
トヨタ自動車株式会社
情報処理装置
10日前
有限会社カツミ工業
管理装置
1か月前
ブラザー工業株式会社
印刷制御装置
1か月前
トヨタ自動車株式会社
図面表示装置
1か月前
株式会社COLORS
表示制御装置
1か月前
続きを見る
他の特許を見る