特許ウォッチ

公開番号2025043542
公報種別公開特許公報(A)
公開日2025-04-01
出願番号2023150880
出願日2023-09-19
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 17/20 20060101AFI20250325BHJP(計算;計数)
要約【課題】複数のオブジェクトの3次元形状が1つの3次元形状データにより表現される場合であっても、オブジェクトごとに3次元形状データを独立に処理することを可能にする。
【解決手段】画像処理装置100は、複数のオブジェクトの3次元形状を示す時系列の3次元形状データを含む3次元形状シーケンスデータを取得し、複数のオブジェクトのうちの2以上のオブジェクトの3次元形状が1つの3次元形状として結合された結合形状のデータが時系列の3次元形状データに含まれる場合に、結合形状のデータを2以上のオブジェクトのそれぞれに対応する3次元形状データであるオブジェクト形状データに分離して、複数のオブジェクトのそれぞれに対応するオブジェクト形状データを生成し、オブジェクトごとの時系列のオブジェクト形状データを含む3次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成する。
【選択図】図2
特許請求の範囲【請求項１】
複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,800 文字）【請求項２】
前記分離手段は、前記結合形状のデータを含む３次元形状データに時系列において隣接する３次元形状データにおける、前記２以上のオブジェクトの３次元形状が互いに結合していない単一形状のデータを変形することにより、当該結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面に対応する時系列の色付き点群データを前記時系列の３次元形状データとして含む色付き点群シーケンスデータであり、
前記分離手段は、前記時系列の色付き点群データにおける各点の位置を示す情報に基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、色付きのオブジェクト点群データに分離し、
前記シーケンス生成手段は、点の個数が一致する前記色付きのオブジェクト点群データに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記色付きのオブジェクト点群データを含む、色付きのオブジェクト点群シーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記分離手段は、前記時系列の色付き点群データにおける、各点の位置を示す情報と各点の色を示す情報とに基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、前記色付きのオブジェクト点群データに分離すること、
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面形状を示す時系列のテクスチャ付きメッシュデータを前記時系列の３次元形状データとして含むテクスチャ付きメッシュシーケンスデータであり、
前記分離手段は、前記時系列のテクスチャ付きメッシュデータにおける各頂点の位置を示す情報に基づいてテクスチャ付きメッシュデータを変形することにより、前記複数のオブジェクトのそれぞれに対応するテクスチャ付きのオブジェクトメッシュデータに分離し、
前記シーケンス生成手段は、トポロジが一致する前記テクスチャ付きのオブジェクトメッシュデータに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記テクスチャ付きのオブジェクトメッシュデータを含む、テクスチャ付きのオブジェクトメッシュシーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記複数のオブジェクトの撮像による得られる撮像画像データを取得する画像取得手段を更に有し、
前記形状取得手段は、取得された前記撮像画像データを用いて、前記３次元形状シーケンスデータを推定することにより、前記３次元形状シーケンスデータを取得すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記形状取得手段は、前記撮像画像データを用いて、前記３次元形状シーケンスデータに色情報を付与すること、
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記３次元形状シーケンスデータに含まれる前記時系列の３次元形状データのそれぞれに、前記複数のオブジェクトのそれぞれに対応する識別情報を付与する識別付与手段を更に有すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記シーケンス生成手段は、付与された前記識別情報に基づいて、オブジェクトごとに、前記オブジェクト形状シーケンスデータを生成すること、
を特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記分離手段は、付与された前記識別情報に基づいて、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離すること、
を特徴とする請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、オブジェクトの形状を示す３次元形状データの経時変化における位置合わせ技術に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
複数の撮像装置による撮像により得られる複数の撮像画像のデータを用いて推定したオブジェクトの３次元形状に基づいてテクスチャ付きの３次元形状データを生成し、生成したテクスチャ付きの３次元形状データを圧縮する技術がある。例えば、３次元形状データを効率的に圧縮する手法として、圧縮の前処理として、オブジェクトに対応する時系列の３次元形状の追跡を行う手法がある。３次元形状の追跡とは、基準となる３次元形状データを決定し、当該３次元形状データに対応する３次元形状を、時間的に隣接する３次元形状（以下「隣接３次元形状」と呼ぶ。）に一致するように非剛体位置合わせを行うことである。
【０００３】
このよう時系列の３次元形状の位置合わせにより、オブジェクトの３次元形状の経時変化における位置合わせが行なれ、隣接３次元形状間において３次元形状のトポロジが共通化される。更に、３次元形状のトポロジが共通化されることにより、３次元形状を構成する各頂点の移動によりオブジェクトの動きを表現することができるようになる。また、オブジェクトの動き、すなわち、当該頂点の移動を示す情報を用いて３次元形状データを表現し、更に、当該情報を圧縮することにより、効率的に３次元形状データのデータ量を削減することができる。
【０００４】
ところで、多数のオブジェクトが同時に存在するシーンにおいて、生成された全ての３次元形状を一度に位置合わせすることは、演算に掛かる処理時間の観点から困難である。これを回避する手法方法として、３次元形状ごとにオブジェクトを識別する識別情報を付与し、オブジェクトごとに３次元形状の位置合わせを行う手法がある。ただし、互いに近接する複数のオブジェクトのそれぞれに対応する３次元形状が結合して、１つの３次元形状として推定される場合、オブジェクトごとに対応する３次元形状に分けて位置合わせを行うことができない。
【０００５】
特許文献１には、複数のオブジェクトのそれぞれに対応するポリゴンメッシュが結合したポリゴンメッシュを１つのオブジェクトグループに対応するポリゴンメッシュとして、当該ポリゴンメッシュごとに位置合わせを行う技術が開示されている。特許文献１に開示された技術によれば、互いに近接する複数のオブジェクトが存在する場合であっても、時系列のポリゴンメッシュのトポロジが共通化される。
【先行技術文献】
【特許文献】
【０００６】
特開第２０２０－１３６９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術では、近接する複数のオブジェクトが１つのポリゴンメッシュにより表現される場合、複数のオブジェクトが１つのデータとして扱われてしまう。そのため、特許文献１に開示された技術では、複数のオブジェクトが近接した場合に、ユーザは、３次元形状データに対する処理をオブジェクトごとに独立して行うことが難しいという問題点があった。
【課題を解決するための手段】
【０００８】
上述の問題点を解決するために、本開示に係る画像処理装置は、複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、を有する。
【発明の効果】
【０００９】
本開示によれば、複数のオブジェクトの３次元形状が１つの３次元形状データにより表現される場合であっても、３次元形状データに対する処理をオブジェクトごとに独立して行いやすくすることができる。
【図面の簡単な説明】
【００１０】
実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
実施形態１に係る画像処理装置の機能構成の一例を示すブロック図である。
実施形態１に係る画像処理装置における処理フローの一例を示すフローチャートである。
実施形態１に係る画像処理装置の処理におけるデータの変化の一例を説明するための図である。
実施形態１に係るシーケンス生成部におけるメッシュシーケンスデータの生成処理の流れの一例を示すフローチャートである。
実施形態１に係るシーケンス生成部における変形パスの設定処理を説明するための図である。
実施形態１に係るシーケンス生成部における変形パスの設定処理を説明するための図である。
実施形態１に係る、テクスチャ付与部が出力するテクスチャ付きメッシュシーケンスデータのデータ構造、及び、圧縮部が出力する圧縮データのデータ構造の一例を示す図である。
実施形態２に係る画像処理装置の機能構成の一例を示すブロック図である。
実施形態２に係る画像処理装置における処理フローの一例を示すフローチャートである。
実施形態２に係る編集用ＵＩの一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許