特許ウォッチ

公開番号2025101456
公報種別公開特許公報(A)
公開日2025-07-07
出願番号2023218311
出願日2023-12-25
発明の名称画像処理装置、画像処理装置の制御方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20250630BHJP(計算;計数)
要約【課題】HMDとは独立して移動する移動体に追従するCGについて違和感のない再投影処理を実現する画像表示装置を提供する。
【解決手段】画像処理装置は、表示装置の位置姿勢の情報を取得する第1取得手段と、表示装置とは独立して移動する移動体の表示装置に対する相対的な位置姿勢の情報を取得する第2取得手段と、表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第1のオブジェクト、および移動体の位置姿勢に基づいて現実空間に配置される第2のオブジェクトのレンダリング処理を行うレンダリング手段と、レンダリング処理の間の表示装置の位置姿勢の変化に基づいて第1のオブジェクトの再投影処理を行い、レンダリング処理の間の移動体の表示装置に対する相対的な位置姿勢の変化に基づいて第2のオブジェクトの再投影処理を行う再投影手段とを有する。
【選択図】図5
特許請求の範囲【請求項１】
表示装置の位置姿勢の情報を取得する第１取得手段と、
前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得する第２取得手段と、
前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第１のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第２のオブジェクトのレンダリング処理を行うレンダリング手段と、
前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第１のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第２のオブジェクトの再投影処理を行う再投影手段と
を有することを特徴とする画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１のオブジェクトを再投影処理した第１の画像と、前記第２のオブジェクトを再投影処理した第２の画像とを合成して前記表示装置に表示するように制御する表示制御手段を
さらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、前記第１の画像の奥行情報、および前記第２の画像の奥行情報を用いて、前記第１の画像と前記第２の画像とを合成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１のオブジェクトを再投影処理した第１の画像と、前記第２のオブジェクトを再投影処理した第２の画像と、前記レンダリング処理の後に撮像装置が撮像した前記現実空間の撮像画像とを合成して前記表示装置に表示するように制御する表示制御手段を
さらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記第１の画像の奥行情報、前記第２の画像の奥行情報、および前記撮像画像の奥行情報を用いて、前記第１の画像と前記第２の画像と前記撮像画像とを合成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記レンダリング手段は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれに対して、互いに識別可能なＩＤを付与し、
前記再投影手段は、前記ＩＤに基づいて前記第１のオブジェクトと前記第２のオブジェクトとを識別する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記レンダリング手段は、前記第１のオブジェクトのデータおよび前記第２のオブジェクトのデータのそれぞれに含まれる複数のチャンネルのいずれかに、それぞれの前記ＩＤを格納することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記レンダリング手段は、前記複数のチャンネルのうち透過度の情報を含むチャンネルの一部に前記ＩＤを格納する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記レンダリング手段は、前記第１のオブジェクトおよび前記第２のオブジェクトの少なくともいずれかの前記レンダリング処理を外部装置で行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
表示装置の位置姿勢の情報を取得するステップと、
前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得するステップと、
前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第１のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第２のオブジェクトのレンダリング処理を行うステップと、
前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第１のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第２のオブジェクトの再投影処理を行うステップと
を有することを特徴とする画像処理装置の制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として、複合現実（ＭｉｘｅｄＲｅａｌｉｔｙ、ＭＲ）の技術が知られている。ＭＲ技術は、例えばビデオシースルー型ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）を利用して実現される。ビデオシースルー型ＨＭＤは、ＨＭＤを装着したユーザの瞳位置から観察される被写体をビデオカメラなどで撮像し、撮像した画像にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を重畳表示した複合現実画像を、ユーザが観察できるようにする。
【０００３】
ＭＲシステムでは、複数のカメラおよび各種センサなどを用いて、ＨＭＤを装着したユーザが体験する空間でのＨＭＤの位置姿勢の情報を取得することができる。また、ＨＭＤとは独立して移動する移動体をユーザが保持し、ＨＭＤ搭載のカメラで移動体を撮影することによって、移動体の位置情報を取得することが可能となる。移動体の位置情報に基づいてＣＧを描画することで、ユーザはＨＭＤとは独立して移動するＣＧを含めてＭＲを体験することができる。ユーザがＨＭＤを装着して体験する映像は、一般的にはＣＧ画像の遅延が生じるため、映像酔いを引き起こす可能性がある。そこで、ＣＧ画像の遅延を打ち消すために、ＨＭＤは、位置姿勢の変化に応じて再投影処理を行う。特許文献１および特許文献２は、ＨＭＤの動きに基づいてＣＧを表示するまでの映像遅延（Ｍｏｔｉｏをｎ－ｔｏ－ＰｈｏｔｏｎＬａｔｅｎｃｙ）を改善させる技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
特表２０１９－５０６０１５号公報
国際公開第２０１９／２２９８１６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＨＭＤとは独立して移動する移動体に対応するＣＧは、ＨＭＤの位置姿勢の変化に応じて再投影処理を行うと移動体に追従しなくなる。移動体に対応するＣＧが適切に再投影されなければ、ユーザは違和感を覚えるおそれがある。
【０００６】
そこで、本発明は、ＨＭＤとは独立して移動する移動体に追従するＣＧについて違和感のない再投影処理を実現する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、表示装置の位置姿勢の情報を取得する第１取得手段と、前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得する第２取得手段と、前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第１のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第２のオブジェクトのレンダリング処理を行うレンダリング手段と、前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第１のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第２のオブジェクトの再投影処理を行う再投影手段とを有することを特徴とする画像処理装置である。
【０００８】
本発明の第２の態様は、表示装置の位置姿勢の情報を取得するステップと、前記表示装置とは独立して移動する移動体の前記表示装置に対する相対的な位置姿勢の情報を取得するステップと、前記表示装置の位置姿勢に基づいてユーザの視界となる現実空間に配置される第１のオブジェクト、および前記移動体の位置姿勢に基づいて前記現実空間に配置される第２のオブジェクトのレンダリング処理を行うステップと、前記レンダリング処理の間の前記表示装置の位置姿勢の変化に基づいて前記第１のオブジェクトの再投影処理を行い、前記レンダリング処理の間の前記移動体の前記表示装置に対する相対的な位置姿勢の変化に基づいて前記第２のオブジェクトの再投影処理を行うステップとを有することを特徴とする画像処理装置の制御方法である。
【０００９】
本発明の第３の態様は、コンピュータを上述した画像処理装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、ＨＭＤとは独立して移動する移動体に追従するＣＧについて違和感のない再投影処理を実現する画像表示装置を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許