特許ウォッチ

公開番号2025105087
公報種別公開特許公報(A)
公開日2025-07-10
出願番号2023223385
出願日2023-12-28
発明の名称画像生成プログラム、画像生成システム、及び画像生成方法
出願人国立大学法人東京大学
代理人個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20250703BHJP(計算;計数)
要約【課題】さまざまな画像において、仮想的な装着品装着を実現する。
【解決手段】コンピュータに、対象者の入力画像を取得する入力画像取得部と、3次元化モデルに入力画像を入力して、対象者モデルを生成する対象者モデル生成部と、対象者モデルに基づいて、入力画像における対象者のポーズに対応する3次元形状の、仮想的な参照装着品の参照画像を生成する参照画像生成部と、複数のポーズのそれぞれに対応する形状の複数の学習用参照画像と、複数のポーズのそれぞれに対応する形状の複数の学習用対象画像と、を関連付けて学習された画像生成モデルに、参照画像を入力して、参照画像が示すポーズに対応する3次元形状の、対象装着品の対象画像を生成する対象画像生成部と、入力画像及び対象画像に基づいて、対象装着品を装着した対象者の出力画像を生成する出力画像生成部と、を実現させる画像生成プログラム。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータに、
対象者の入力画像を取得する入力画像取得部と、
所定のオブジェクトを撮影した画像から前記所定のオブジェクトの３次元モデルを生成する３次元化モデルに、前記入力画像を入力して、前記対象者の３次元モデルである対象者モデルを生成する対象者モデル生成部と、
前記対象者モデルに基づいて、前記入力画像における前記対象者のポーズに対応する３次元形状の、仮想的な参照装着品の参照画像を生成する参照画像生成部と、
複数のポーズのそれぞれに対応する形状の参照装着品の、複数の学習用参照画像と、前記複数のポーズのそれぞれに対応する形状の対象装着品の、複数の学習用対象画像と、を関連付けて学習された画像生成モデルに、前記参照画像を入力して、前記参照画像が示すポーズに対応する３次元形状の、前記対象装着品の対象画像を生成する対象画像生成部と、
前記入力画像及び前記対象画像に基づいて、前記対象装着品を装着した前記対象者の出力画像を生成する出力画像生成部と、
を実現させる画像生成プログラム。
続きを表示（約 2,100 文字）【請求項２】
前記複数の学習用参照画像のそれぞれは、前記参照装着品の所定の領域ごとに所定のカラーパターンをマッピングさせた画像であり、
前記画像生成モデルは、前記カラーパターンをさらに関連付けて学習された画像生成モデルであり、
前記参照画像生成部は、前記カラーパターンをマッピングさせた前記参照画像を生成し、
前記対象画像生成部は、前記カラーパターンをマッピングさせた前記参照画像を、前記画像生成モデルに入力して、前記対象画像を生成する、
請求項１に記載の画像生成プログラム。
【請求項３】
前記参照画像生成部は、事前に設定される、前記参照装着品の３次元モデルである参照装着品モデルを、前記対象者モデルが示すポーズに対応するように変形させ、前記変形させた前記参照装着品モデルに基づいて、前記参照画像を生成する、請求項１又は２に記載の画像生成プログラム。
【請求項４】
前記参照装着品モデルは、前記参照装着品の所定の領域ごとに所定のカラーパターンをマッピングさせた３次元モデルであり、
前記参照画像生成部は、前記カラーパターンをマッピングさせた前記参照画像を生成する、
請求項３に記載の画像生成プログラム。
【請求項５】
前記コンピュータに、前記入力画像に基づいて、前記対象者が装着している装着品の領域をマスクしたマスク画像を生成するマスク生成部、をさらに備え、
前記出力画像生成部は、前記マスク画像にさらに基づいて、前記マスクした領域に前記対象画像を合成することにより、前記出力画像を生成する、
請求項１又は２に記載の画像生成プログラム。
【請求項６】
前記出力画像生成部は、入力される画像に含まれるギャップ部分を補完して所定の画像を出力するギャップ補完モデルに、前記合成することにより生成した出力画像を入力して、前記対象画像と前記マスク画像とのギャップを補完した前記出力画像を生成する、請求項５に記載の画像生成プログラム。
【請求項７】
前記入力画像取得部は、前記入力画像を順に取得し、
前記出力画像生成部は、前記順に取得される入力画像に対応する前記出力画像を、順に生成する、
請求項１又は２に記載の画像生成プログラム。
【請求項８】
前記コンピュータに、
前記対象者が撮影された入力動画を取得する動画取得部と、
前記出力画像に基づいて、出力動画を出力する動画出力部と、
をさらに実現させ、
前記入力画像取得部は、前記入力画像として、前記入力動画に含まれる複数のフレームのそれぞれを取得し、
前記出力画像生成部は、前記取得される複数のフレームのそれぞれに対応する前記出力画像をそれぞれ生成し、
前記動画出力部は、前記それぞれ生成される出力画像に基づいて、前記出力動画を出力する、
請求項１又は２に記載の画像生成プログラム。
【請求項９】
対象者の入力画像を取得する入力画像取得部と、
所定のオブジェクトを撮影した画像から前記所定のオブジェクトの３次元モデルを生成する３次元化モデルに、前記入力画像を入力して、前記対象者の３次元モデルである対象者モデルを生成する対象者モデル生成部と、
前記対象者モデルに基づいて、前記入力画像における前記対象者のポーズに対応する３次元形状の、仮想的な参照装着品の参照画像を生成する参照画像生成部と、
複数のポーズのそれぞれに対応する形状の参照装着品の、複数の学習用参照画像と、前記複数のポーズのそれぞれに対応する形状の対象装着品の、複数の学習用対象画像と、を関連付けて学習された画像生成モデルに、前記参照画像を入力して、前記参照画像が示すポーズに対応する３次元形状の、前記対象装着品の対象画像を生成する対象画像生成部と、
前記入力画像及び前記対象画像に基づいて、前記対象装着品を装着した前記対象者の出力画像を生成する出力画像生成部と、
画像生成システム。
【請求項１０】
コンピュータが、
対象者の入力画像を取得し、
所定のオブジェクトを撮影した画像から前記所定のオブジェクトの３次元モデルを生成する３次元化モデルに、前記入力画像を入力して、前記対象者の３次元モデルである対象者モデルを生成し、
前記対象者モデルに基づいて、前記入力画像における前記対象者のポーズに対応する３次元形状の、仮想的な参照装着品の参照画像を生成し、
複数のポーズのそれぞれに対応する形状の参照装着品の、複数の学習用参照画像と、前記複数のポーズのそれぞれに対応する形状の対象装着品の、複数の学習用対象画像と、を関連付けて学習された画像生成モデルに、前記参照画像を入力して、前記参照画像が示すポーズに対応する３次元形状の、前記対象装着品の対象画像を生成し、
前記入力画像及び前記対象画像に基づいて、前記対象装着品を装着した前記対象者の出力画像を生成する、
画像生成方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像生成プログラム、画像生成システム、及び画像生成方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来、対象者の画像に、仮想的に装着品を装着させる技術が知られていた。
【０００３】
例えば、特許文献１に記載されている画像処理装置では、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、参照装着品を装着したユーザの画像を入力して、試着装着品を試着したユーザの画像を生成する画像生成部を備える。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０２０／１７１２３７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されている画像処理装置では、装着主体（対象者）が、所定の装着品、すなわち仮想試着するための専用の装着品を装着していることが前提となっている。そのため、対象者が所定の装着品を装着していない場合に、当該対象者に、仮想的に装着品を装着させることはできなかった。
【０００６】
そこで、本発明は、さまざまな画像において、仮想的な装着品装着を実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像生成プログラムは、コンピュータに、対象者の入力画像を取得する入力画像取得部と、所定のオブジェクトを撮影した画像から所定のオブジェクトの３次元モデルを生成する３次元化モデルに、入力画像を入力して、対象者の３次元モデルである対象者モデルを生成する対象者モデル生成部と、対象者モデルに基づいて、入力画像における対象者のポーズに対応する３次元形状の、仮想的な参照装着品の参照画像を生成する参照画像生成部と、複数のポーズのそれぞれに対応する形状の参照装着品の、複数の学習用参照画像と、複数のポーズのそれぞれに対応する形状の対象装着品の、複数の学習用対象画像と、を関連付けて学習された画像生成モデルに、参照画像を入力して、参照画像が示すポーズに対応する３次元形状の、対象装着品の対象画像を生成する対象画像生成部と、入力画像及び対象画像に基づいて、対象装着品を装着した対象者の出力画像を生成する出力画像生成部と、を実現させる。
【発明の効果】
【０００８】
本発明によれば、さまざまな画像において、仮想的な装着品装着を実現することができる。
【図面の簡単な説明】
【０００９】
本発明の一実施形態である画像生成システム１００における処理の概要を示す図である。
本発明の一実施形態である画像生成システム１００の構成を示す図である。
学習用参照画像の例を示す図である。
学習用対象画像の例を示す図である。
入力画像の例を示す図である。
対象者モデルの例を示す図である。
参照画像の例を示す図である。
対象画像の例を示す図である。
マスク画像の例を示す図である。
出力画像の例を示す図である。
対象画像とマスク画像とのギャップの画像の例を示す。
出力画像の例を示す図である。
画像生成システム１００における処理の例を示すフローチャートである。
画像生成システム１００における処理の例を示すフローチャートである。
コンピュータ８００のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１０】
添付図面を参照して、本発明の好適な実施形態について説明する。図１は、本発明の一実施形態である画像生成システム１００における処理の概要を示す図である。
（【００１１】以降は省略されています）

関連特許