特許ウォッチ

公開番号2025167990
公報種別公開特許公報(A)
公開日2025-11-07
出願番号2024073062
出願日2024-04-26
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 15/00 20110101AFI20251030BHJP(計算;計数)
要約【課題】配信装置にて、複数の撮像装置により取得される複数の撮像画像に基づいて生成される3Dモデルに対して設置された仮想カメラから取得されるデプス画像を配信し、受信装置にて、デプス画像を用いて3Dモデルを再構成する。その際、仮想カメラの設置位置によっては、再構成される3Dモデルの品質が低下する可能性があった。
【解決手段】第1の画像処理装置20は、現実空間における複数の撮像装置の位置及び姿勢に対応する仮想空間における複数の第1仮想カメラの光軸に基づいて複数の第2仮想カメラの位置及び姿勢を設定し、前記複数の第2仮想カメラのそれぞれと、前記複数の撮像装置により取得される複数の撮像画像に基づいて生成される被写体の3Dモデルと、の距離を示す複数のデプス画像を生成する。
【選択図】図2
特許請求の範囲【請求項１】
現実空間における複数の撮像装置の位置及び姿勢に対応する仮想空間における複数の第１仮想カメラの光軸に基づいて複数の第２仮想カメラの位置及び姿勢を設定する設定手段と、
前記複数の第２仮想カメラのそれぞれと、前記複数の撮像装置により取得される複数の撮像画像に基づいて生成される被写体の３Ｄモデルと、の距離を示す複数のデプス画像を生成する生成手段と
を有することを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記複数の第２仮想カメラは、前記複数の第１仮想カメラの光軸上に設定されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記デプス画像を符号化する符号化手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項４】
符号化された複数の前記デプス画像と、前記複数の第２仮想カメラの位置及び姿勢を示す視点情報と、を前記符号化された複数の前記デプス画像および前記視点情報とに基づいて前記３Ｄモデルを再構成する他の装置に出力する出力手段を有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記複数の第２仮想カメラそれぞれにおいて、前記被写体の３Ｄモデルを含む仮想視点画像を生成し、
前記符号化手段は、複数の前記仮想視点画像を符号化し、
前記出力手段は、符号化された複数の前記仮想視点画像を前記他の装置に出力することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、前記複数の第２仮想カメラそれぞれにおいて、前記仮想視点画像における各画素が前記被写体の３Ｄモデルの構成要素と対応しているか否かを示す対応情報を生成し、
前記符号化手段は、複数の前記対応情報を符号化し、
前記出力手段は、符号された複数の前記対応情報を前記他の装置に出力することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記複数の第２仮想カメラは、前記複数の第１仮想カメラより、前記被写体の３Ｄモデルに近い位置に設定されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記生成手段は、１つの前記第２仮想カメラに対し、１つの前記デプス画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
現実空間における複数の撮像装置の位置及び姿勢に対応する仮想空間における複数の第１仮想カメラの光軸に基づいて設定された複数の第２仮想カメラのそれぞれと、前記撮像装置により取得される複数の撮像画像に基づいて生成される被写体の３Ｄモデルと、の距離を示す符号化された複数のデプス画像および前記複数の第２仮想カメラの位置及び姿勢を示す第１視点情報を取得する取得手段と、
前記符号化された複数のデプス画像を復号する復号手段と、
復号された前記複数のデプス画像と、前記第１視点情報と、に基づいて前記被写体の３Ｄモデルを生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
前記第１仮想カメラおよび前記第２仮想カメラと異なる第３仮想カメラの位置及び姿勢を示す第２視点情報を取得し、
前記生成手段は、前記第２視点情報と、前記被写体の３Ｄモデルとに基づいて、仮想視点画像を生成することを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、３Ｄモデルを示す３Ｄモデルデータを圧縮及び配信するための画像処理装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
複数台の撮像装置で撮影した複数の撮像画像を用いて被写体（オブジェクト）の３Ｄモデルを示す３Ｄモデルデータを生成し、その３Ｄモデルが存在する仮想空間内に仮想的に配置したカメラ（仮想カメラ）から見た仮想視点画像を生成する技術がある。昨今では、サーバ上で被写体の３Ｄモデルデータを生成し、その３Ｄモデルデータを圧縮及び配信し、ユーザがＰＣやタブレット等の自身のローカル端末（クライアント）で仮想カメラを操作して仮想視点画像を表示する技術が注目されている。
【０００３】
３Ｄモデルデータを圧縮及び配信する技術において、配信側のデバイスでは、３Ｄモデルを取り囲むように複数の仮想カメラ（仮想カメラ群）を配置し、複数の仮想カメラのデプス画像とテクスチャ画像をそれぞれ生成する。そして、生成したデプス画像とテクスチャ画像を圧縮し、圧縮したデプス画像とテクスチャ画像と複数の仮想カメラの位置及び姿勢を示す情報とをユーザに配信する方法がある。受信側のデバイスでは、圧縮されたデプス画像とテクスチャ画像を復号し、復号したデプス画像とテクスチャ画像と複数の仮想カメラの位置及び姿勢を示す情報とに基づき、３Ｄモデルを再構成する。
【０００４】
特許文献１では、デプス画像の圧縮率の向上を目的に、フレーム間のデプス画像上の主要なオブジェクトの位置の変動が小さくなるように、仮想カメラ群の視点を決定する方法が記載されている。デプス画像を符号化した際に符号化ストリームに含められる動きベクトルが小さくなることにより、デプス画像の圧縮率の向上が期待される。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０１８／０７９２６０号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、配信側のデバイスにて設定される仮想カメラ群の位置及び姿勢に依っては、受信側のデバイスにて再構成される３Ｄモデルの品質が低下する虞があった。例えば、配信側のデバイスで生成される３Ｄモデルの形状が複雑な場合、仮想カメラ群の位置及び姿勢によっては、３Ｄモデルの複雑な形状をデプス画像にて十分に表現することができておらず、ユーザ側で再構成した３Ｄモデルの形状精度が低下する恐れがある。つまり、配信側で生成される３Ｄモデルの形状に対し、受信側で再構成される３Ｄモデルの形状が大きく異なる恐れがある。そのため、３Ｄモデルをより正確に再構成しようとすると、仮想カメラ群の位置及び姿勢を適切に決める必要がある。
【０００７】
そこで、本開示は、受信側のデバイスにて生成される３Ｄモデルの品質が低下する可能性を低減することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本開示に係る画像処理装置は、以下の構成を有する。すなわち、現実空間における複数の撮像装置の位置及び姿勢に対応する仮想空間における複数の第１仮想カメラの光軸に基づいて複数の第２仮想カメラの位置及び姿勢を設定する設定手段と、前記複数の第２仮想カメラのそれぞれと、前記複数の撮像装置により取得される複数の撮像画像に基づいて生成される被写体の３Ｄモデルと、の距離を示す複数のデプス画像を生成する生成手段とを有する。
【発明の効果】
【０００９】
本開示によれば、受信側のデバイスにて生成される３Ｄモデルの品質が低下する可能性を低減することができる。
【図面の簡単な説明】
【００１０】
（ａ）は画像処理システム１の構成例を示すブロック図、（ｂ）は画像処理装置のハードウェア構成例を示す図である。
第１の画像処理装置２０及び第２の画像処理装置３０の機能構成の一例を示す図である。
（ａ）撮影システム１０の構成例を示す図、（ｂ）物理カメラ群３０２に対応する第１仮想カメラ群３０５を設定し、第１仮想カメラ群３０５により生成される被写体の３Ｄモデル３０４を示す図、（ｃ）第１仮想カメラ群３０５の視点情報に基づいて設定される第２仮想カメラ群３０７を示す図である。
実施例１に関わる仮想カメラの視点情報の生成を説明する図である。
実施例１に関わる３Ｄモデルデータの圧縮と配信処理の一例を示すフローチャートである。
実施例１に関わる３Ｄモデルデータの受信と仮想視点画像の生成処理の一例を示すフローチャートである。
実施例１に関わる仮想カメラ群の視点情報の生成処理の一例を示すフローチャートである。
実施例１に関わる３Ｄモデルの復元処理の一例を示すフローチャートである。
実施例２に関わる仮想カメラ群の視点情報の生成を説明する図である。
実施例２に関わる３Ｄモデルデータの圧縮と配信処理の一例を示すフローチャートである。
実施例２に関わる３Ｄモデルの復元処理の一例を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許