TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2025101456
公報種別公開特許公報(A)
公開日2025-07-07
出願番号2023218311
出願日2023-12-25
発明の名称画像処理装置、画像処理装置の制御方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20250630BHJP(計算;計数)
要約【課題】HMDとは独立して移動する移動体に追従するCGについて違和感のない再投影処理を実現する画像表示装置を提供する。
【解決手段】画像処理装置は、表示装置の位置姿勢の情報を取得する第1取得手段と、表示装置とは独立して移動する移動体の表示装置に対する相対的な位置姿勢の情報を取得する第2取得手段と、表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第1のオブジェクト、および移動体の位置姿勢に基づいて現実空間に配置される第2のオブジェクトのレンダリング処理を行うレンダリング手段と、レンダリング処理の間の表示装置の位置姿勢の変化に基づいて第1のオブジェクトの再投影処理を行い、レンダリング処理の間の移動体の表示装置に対する相対的な位置姿勢の変化に基づいて第2のオブジェクトの再投影処理を行う再投影手段とを有する。
【選択図】図5
特許請求の範囲【請求項1】
表示装置の位置姿勢の情報を取得する第1取得手段と、
前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得する第2取得手段と、
前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第1のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第2のオブジェクトのレンダリング処理を行うレンダリング手段と、
前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第1のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第2のオブジェクトの再投影処理を行う再投影手段と
を有することを特徴とする画像処理装置。
続きを表示(約 1,400 文字)【請求項2】
前記第1のオブジェクトを再投影処理した第1の画像と、前記第2のオブジェクトを再投影処理した第2の画像とを合成して前記表示装置に表示するように制御する表示制御手段を
さらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記表示制御手段は、前記第1の画像の奥行情報、および前記第2の画像の奥行情報を用いて、前記第1の画像と前記第2の画像とを合成する
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記第1のオブジェクトを再投影処理した第1の画像と、前記第2のオブジェクトを再投影処理した第2の画像と、前記レンダリング処理の後に撮像装置が撮像した前記現実空間の撮像画像とを合成して前記表示装置に表示するように制御する表示制御手段を
さらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記表示制御手段は、前記第1の画像の奥行情報、前記第2の画像の奥行情報、および前記撮像画像の奥行情報を用いて、前記第1の画像と前記第2の画像と前記撮像画像とを合成する
ことを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記レンダリング手段は、前記第1のオブジェクトおよび前記第2のオブジェクトのそれぞれに対して、互いに識別可能なIDを付与し、
前記再投影手段は、前記IDに基づいて前記第1のオブジェクトと前記第2のオブジェクトとを識別する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記レンダリング手段は、前記第1のオブジェクトのデータおよび前記第2のオブジェクトのデータのそれぞれに含まれる複数のチャンネルのいずれかに、それぞれの前記IDを格納することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記レンダリング手段は、前記複数のチャンネルのうち透過度の情報を含むチャンネルの一部に前記IDを格納する
ことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記レンダリング手段は、前記第1のオブジェクトおよび前記第2のオブジェクトの少なくともいずれかの前記レンダリング処理を外部装置で行う
ことを特徴とする請求項1に記載の画像処理装置。
【請求項10】
表示装置の位置姿勢の情報を取得するステップと、
前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得するステップと、
前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第1のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第2のオブジェクトのレンダリング処理を行うステップと、
前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第1のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第2のオブジェクトの再投影処理を行うステップと
を有することを特徴とする画像処理装置の制御方法。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関する。
続きを表示(約 1,900 文字)【背景技術】
【0002】
近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として、複合現実(Mixed Reality、MR)の技術が知られている。MR技術は、例えばビデオシースルー型HMD(Head Mounted Display)を利用して実現される。ビデオシースルー型HMDは、HMDを装着したユーザの瞳位置から観察される被写体をビデオカメラなどで撮像し、撮像した画像にCG(Computer Graphics)を重畳表示した複合現実画像を、ユーザが観察できるようにする。
【0003】
MRシステムでは、複数のカメラおよび各種センサなどを用いて、HMDを装着したユーザが体験する空間でのHMDの位置姿勢の情報を取得することができる。また、HMDとは独立して移動する移動体をユーザが保持し、HMD搭載のカメラで移動体を撮影することによって、移動体の位置情報を取得することが可能となる。移動体の位置情報に基づいてCGを描画することで、ユーザはHMDとは独立して移動するCGを含めてMRを体験することができる。ユーザがHMDを装着して体験する映像は、一般的にはCG画像の遅延が生じるため、映像酔いを引き起こす可能性がある。そこで、CG画像の遅延を打ち消すために、HMDは、位置姿勢の変化に応じて再投影処理を行う。特許文献1および特許文献2は、HMDの動きに基づいてCGを表示するまでの映像遅延(Motioをn-to-Photon Latency)を改善させる技術を開示している。
【先行技術文献】
【特許文献】
【0004】
特表2019-506015号公報
国際公開第2019/229816号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、HMDとは独立して移動する移動体に対応するCGは、HMDの位置姿勢の変化に応じて再投影処理を行うと移動体に追従しなくなる。移動体に対応するCGが適切に再投影されなければ、ユーザは違和感を覚えるおそれがある。
【0006】
そこで、本発明は、HMDとは独立して移動する移動体に追従するCGについて違和感のない再投影処理を実現する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、表示装置の位置姿勢の情報を取得する第1取得手段と、前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得する第2取得手段と、前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第1のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第2のオブジェクトのレンダリング処理を行うレンダリング手段と、前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第1のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第2のオブジェクトの再投影処理を行う再投影手段とを有することを特徴とする画像処理装置である。
【0008】
本発明の第2の態様は、表示装置の位置姿勢の情報を取得するステップと、前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得するステップと、前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第1のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第2のオブジェクトのレンダリング処理を行うステップと、前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第1のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第2のオブジェクトの再投影処理を行うステップとを有することを特徴とする画像処理装置の制御方法である。
【0009】
本発明の第3の態様は、コンピュータを上述した画像処理装置の各手段として機能させるためのプログラムである。
【発明の効果】
【0010】
本発明によれば、HMDとは独立して移動する移動体に追従するCGについて違和感のない再投影処理を実現する画像表示装置を提供することができる。
【図面の簡単な説明】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

キヤノン株式会社
トナー
3日前
キヤノン株式会社
トナー
15日前
キヤノン株式会社
トナー
3日前
キヤノン株式会社
トナー
8日前
キヤノン株式会社
トナー
8日前
キヤノン株式会社
測距装置
9日前
キヤノン株式会社
記録装置
15日前
キヤノン株式会社
通信端末
3日前
キヤノン株式会社
電源装置
8日前
キヤノン株式会社
電子機器
8日前
キヤノン株式会社
撮像装置
4日前
キヤノン株式会社
記録装置
15日前
キヤノン株式会社
記録装置
15日前
キヤノン株式会社
記録装置
11日前
キヤノン株式会社
記録装置
11日前
キヤノン株式会社
撮像装置
15日前
キヤノン株式会社
画像読取装置
15日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
画像形成装置
3日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
15日前
キヤノン株式会社
情報処理装置
8日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
9日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
8日前
キヤノン株式会社
画像形成装置
15日前
キヤノン株式会社
情報処理装置
4日前
キヤノン株式会社
画像形成装置
10日前
キヤノン株式会社
画像形成装置
8日前
キヤノン株式会社
画像形成装置
15日前
キヤノン株式会社
画像形成装置
9日前
続きを見る