特許ウォッチ

公開番号2024070840
公報種別公開特許公報(A)
公開日2024-05-23
出願番号2023191191
出願日2023-11-08
発明の名称3次元人体動的着装モデル推定装置及び方法
出願人富士通株式会社
代理人個人,個人
主分類G06T 13/40 20110101AFI20240516BHJP(計算;計数)
要約【課題】本発明は、3次元人体動的着装モデル推定装置及び方法を提供する。
【解決手段】かかる方法は、第一モデルを用いて2次元人体画像に基づいて3次元人体静的着装モデル及びそれにマッチした第二モデルのパラメータを出力し;出力された第二モデルのパラメータに基づいて第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、第一モデル化ユニットから出力された3次元人体静的着装モデルとの重ね合わせを行い、人体骨骼位置を調整した第二モデルにおける骨骼を3次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた3次元静的着装モデルを出力し;及び、人体骨骼位置が時間とともに変化するパラメータシーケンス、及び人体骨骼が組み立てられた3次元静的着装モデルに基づいて、3次元人体動的着装モデルを得ることを含む。
【選択図】図10
特許請求の範囲【請求項１】
３次元人体動的着装モデルを推定する装置であって、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力する第一モデル化ユニットであって、前記第一モデルは人体表面を暗黙的に表し、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼を含むパラメータ化モデルである、第一モデル化ユニット；
前記第一モデル化ユニットから出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力する第二モデル化ユニット；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得する動的ユニットを含む、装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の装置であって、
前記第二モデルのパラメータは、前記第一モデルから出力される前記第二モデルにおける人体の体型情報及び姿勢情報を含む、装置。
【請求項３】
請求項２に記載の装置であって、
前記第二モデル化ユニットは前記姿勢情報に基づいて、前記第二モデルにおける人体骨骼の初期位置を前記姿勢情報に対応する位置に調整し、前記人体骨骼位置を調整した第二モデルを得る、装置。
【請求項４】
請求項１に記載の装置であって、
人体の姿勢変化を含むビデオから、前記人体骨骼位置が時間とともに変化するパラメータシーケンスを抽出するシーケンス抽出ユニットをさらに含む、装置。
【請求項５】
請求項１に記載の装置であって、
前記動的ユニットは前記人体骨骼位置が時間とともに変化するパラメータシーケンスに基づいて、前記人体骨骼が組み立てられた３次元静的着装モデルにおける各骨骼点の位置を変更し、前記パラメータシーケンスにおける人体骨骼位置変化に対応する姿勢変化を有する３次元人体動的着装モデルを得る、装置。
【請求項６】
請求項１に記載の３次元人体動的着装モデル推定装置を含む電子機器。
【請求項７】
３次元人体動的着装モデルを推定する方法であって、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力し、前記第一モデルは人体表面を暗黙的に表し、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼を含むパラメータ化モデルであり；
出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力し；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得することを含む、方法。
【請求項８】
請求項７に記載の方法であって、
前記第二モデルのパラメータは、前記第一モデルから出力される前記第二モデルにおける人体の体型情報及び姿勢情報を含む、方法。
【請求項９】
請求項８に記載の方法であって、
前記姿勢情報に基づいて、前記第二モデルにおける人体骨骼の初期位置を前記姿勢情報に対応する位置に調整し、前記人体骨骼位置を調整した第二モデルを得る、方法。
【請求項１０】
請求項７に記載の方法であって、
人体の姿勢変化を含むビデオから、前記人体骨骼位置が時間とともに変化するパラメータシーケンスを抽出することをさらに含む、方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報技術の分野に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、３次元（３Ｄ）人体モデルが人気の研究テーマになっている。３次元人体モデルは様々な場面、例えば、仮想現実、映画の特殊効果及びエンターテイメントに適用できる。３次元人体モデルを構築する従来の方法では通常、３次元コンピュータグラフィックソフトウェアの使用が必要であり、また、正確な３次元モデルを生成するには、高価な３次元スキャン装置も必要である。
【０００３】
今のところ、１枚のカラーピクチャ（画像）を用いて３次元人体モデルを構築する既存の方法によって構築される人体着装モデルは、ほとんど、静的人体着装（着衣／ドレッシング）モデルであり、このようなモデルは、一般に、人体の服飾の細部、例えば、髪型やアクセサリーの復元に重点を置いている。
【０００４】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の既存の３次元人体モデルの構築方法によって構築されるのは静的人体着装モデルであり、３次元構造の着衣人体を動的に表現できない。よって、このような静的モデルの適用範囲が限定され、かつ、高価な３次元スキャン装置が必要となるため、モデルを構築するコストは高くなる恐れがある。
【０００６】
上述の問題のうちの少なくとも１つを解決するために、本発明の実施例は、高精度な動的３次元人体動的ドレッシングモデルを簡単かつ低コストで構築可能な３次元人体動的着装モデル推定装置及び方法の提供を課題とする。
【課題を解決するための手段】
【０００７】
本発明の実施例の第一側面によれば、３次元人体動的着装モデル推定装置が提供され、前記装置は、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力する第一モデル化ユニットであって、そのうち、前記第一モデルは人体表面を暗黙的に表し（ｉｍｐｌｉｃｉｔｌｙｒｅｐｒｅｓｅｎｔ）、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼（骨格）を含むパラメータ化モデルである、第一モデル化ユニット；
前記第一モデル化ユニットから出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ（ｏｖｅｒｌａｐ）、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた（ａｓｓｅｍｂｌｉｎｇ）３次元静的着装モデルを出力する第二モデル化ユニット；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得する動的ユニットを含む。
【０００８】
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は本発明の実施例の第一側面に記載の装置を含む。
【０００９】
本発明の実施例の第三側面によれば、３次元人体動的着装モデル推定方法が提供され、前記方法は、
第一モデルを用いて、入力される２次元人体画像に基づいて、３次元人体静的着装モデル及び前記３次元人体静的着装モデルにマッチした第二モデルのパラメータを出力し、そのうち、前記第一モデルは人体表面を暗黙的に表し、かつ第二モデルを先験的モデルとして使用するモデルであり、前記第二モデルは人体骨骼を含むパラメータ化モデルであり；
出力される前記第二モデルのパラメータに基づいて、第二モデルにおける人体骨骼位置を調整し、人体骨骼位置を調整した第二モデルと、前記第一モデル化ユニットから出力される前記３次元人体静的着装モデルと、を重ね合わせ、人体骨骼位置を調整した第二モデルにおける骨骼を前記３次元人体静的着装モデルにバインドし、人体骨骼が組み立てられた３次元静的着装モデルを出力し；及び
人体骨骼位置が時間とともに変化するパラメータシーケンス、及び前記人体骨骼が組み立てられた３次元静的着装モデルに基づいて、３次元人体動的着装モデルを取得することを含む。
【発明の効果】
【００１０】
本発明の実施例の有利な効果は少なくとも次のとおりである。
（【００１１】以降は省略されています）

関連特許