特許ウォッチ

公開番号2024097254
公報種別公開特許公報(A)
公開日2024-07-18
出願番号2023000706
出願日2023-01-05
発明の名称画像処理装置、画像処理方法およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 19/597 20140101AFI20240710BHJP(電気通信技術)
要約【課題】 3Dモデルを生成するためのデータを伝送する際に、伝送帯域を圧迫してしまう虞があった。
【解決手段】第1の画像処理装置20が、被写体とカメラとの距離に基づいて決定されるデプス値を有するデプス画像を複数のカメラごとに取得する。次に、判定部304が、複数のデプス画像のうち、特定のデプス画像に含まれる被写体の第1の部分領域に基づいて、第1の部分領域に対応する第2の部分領域を他のデプス画像から特定する。変更デプス画像生成部305が、他のデプス画像の第2の部分領域のデプス値間の差を減らすように信号処理された変更デプス画像を生成する。符号化部307が、生成した複数の変更デプス画像を符号化し、伝送部308にて伝送する。
【選択図】図3
特許請求の範囲【請求項１】
被写体とカメラとの距離に基づいて決定されるデプス値を有するデプス画像を複数のカメラごとに取得する取得手段と、
前記取得手段で取得した複数の前記デプス画像のうち、特定のデプス画像に含まれる前記被写体の第１の部分領域に基づいて、当該第１の部分領域に対応する第２の部分領域を他のデプス画像から特定する特定手段と、
前記他のデプス画像の前記第２の部分領域のデプス値間の差を減らすよう信号処理された変更デプス画像を生成する生成手段と、
前記生成手段により生成された複数の前記変更デプス画像を符号化する符号化手段と、
前記符号化手段により符号化された複数の前記変更デプス画像を出力する出力手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記生成手段は、前記他のデプス画像の前記第２の部分領域のデプス値間の差をなくすように変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記他のデプス画像の前記第２の部分領域のデプス値を初期値に変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成手段は、前記特定のデプス画像において、前記第１の部分領域のデプス値を変更せず、前記第１の部分領域と異なる領域のデプス値間の差を減らすように変更することにより、前記第１の部分領域を含む特定のデプス画像を信号処理した変更デプス画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特定手段は、前記被写体を複数の領域に区分した被写体領域ごとに前記第１の部分領域を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特定手段は、前記取得手段で取得した複数の前記デプス画像のうち、前記デプス画像に含まれる前記被写体の部分領域が所定の条件を満たす前記デプス画像を特定のデプス画像として特定し、当該部分領域を前記第１の部分領域と特定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記所定の条件は、前記部分領域が他のデプス画像に含まれる被写体の部分領域より大きいことであることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記取得手段は、前記被写体の３次元形状を示す３Ｄモデルと、前記デプス画像に対応するカメラの位置および姿勢を示すカメラパラメータとを取得し、
前記特定手段は、前記３Ｄモデルと前記カメラパラメータと前記デプス画像とに基づいて、前記デプス画像に含まれる前記被写体の部分領域を特定することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記取得手段は、前記被写体の３次元形状を示す３Ｄモデルを生成するために用いられるカメラのうち、前記被写体の部分領域を撮像するカメラのデプス画像を取得することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記デプス画像は、仮想空間に位置する仮想的なカメラに基づいて生成されることを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、３Ｄモデルを生成するためのデータを伝送する技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
オブジェクトの３次元形状を示す３Ｄモデルを伝送する技術において、オブジェクトと複数のカメラとの間の距離を示す複数のデプス画像を生成および符号化し、符号化したデプス画像をクライアントに伝送する方法がある。クライアントは、デプス画像を復号し、復号したデプス画像に基づき、３Ｄモデルを復元する。特許文献１では、伝送するデータ量を削減するために、３Ｄモデルから生成したデプス画像を３Ｄモデル毎に異なる方式で伝送する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１８／１２３８０１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、クライアントが復元する３Ｄモデルの再現性を高くするため、生成するデプス画像の視点を増やすと、伝送するデータ量が増加し、伝送帯域を圧迫してしまう虞があった。
【０００５】
そこで、本開示は、３Ｄモデルを生成するためのデータを伝送する際のデータ量を低減することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本開示の画像処理装置は以下の構成を有する。すなわち、
被写体とカメラとの距離に基づいて決定されるデプス値を有するデプス画像を複数のカメラごとに取得する取得手段と、
前記取得手段で取得した複数の前記デプス画像のうち、特定のデプス画像に含まれる前記被写体の第１の部分領域に基づいて、当該第１の部分領域に対応する第２の部分領域を他のデプス画像から特定する特定手段と、
前記他のデプス画像の前記第２の部分領域のデプス値間の差を減らすよう信号処理された変更デプス画像を生成する生成手段と、
前記生成手段により生成された複数の前記変更デプス画像を符号化する符号化手段と、
前記符号化手段により符号化された複数の前記変更デプス画像を出力する出力手段と、
を有する。
【発明の効果】
【０００７】
本開示によれば、３Ｄモデルを生成するためのデータを伝送する際のデータ量を低減することができる。
【図面の簡単な説明】
【０００８】
画像処理システムの構成図である。
画像処理装置のハードウェア構成図である。
画像処理システムの機能構成例を示すブロック図である。
実施形態１に関わる変更デプス画像および変更テクスチャ画像の生成を説明する図である。
実施形態１に関わる３Ｄモデルデータの生成と送信処理の一例を示すフローチャートである。
実施形態１に関わる３Ｄモデルデータの受信と仮想視点画像の生成処理の一例を示すフローチャートである。
実施形態１に関わる所定条件の判定の制御の一例を示すフローチャートである。
実施形態２に関わる３Ｄモデルデータの伝送画像の生成を説明する図である。
実施形態２に関わる３Ｄモデルデータの伝送画像の生成の制御の一例を示すフローチャートである。
実施形態１に関わる３Ｄモデルの復元処理の一例を示すフローチャートである。
実施形態３に関わる３Ｄモデルデータの生成と送信処理の一例を示すフローチャートである。
実施形態４に関わる３Ｄモデルデータの生成と送信処理の一例を示すフローチャートである。
実施形態５に関わる３Ｄモデルの復元処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本開示に好適な実施形態について詳細に説明する。ただし、本開示は以下の実施形態に限定するものではない。なお、各図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複する説明は省略する。
【００１０】
（実施形態１）
本実施形態では、複数視点のデプス画像とテクスチャ画像から生成される変更デプス画像と変更テクスチャ画像をサーバからクライアントに伝送する処理を説明する。
（【００１１】以降は省略されています）

関連特許