特許ウォッチ

公開番号2025098968
公報種別公開特許公報(A)
公開日2025-07-02
出願番号2024216074
出願日2024-12-11
発明の名称画像生成装置、画像生成方法及び非一時的なコンピュータ可読記憶媒体
出願人株式会社NTTドコモ
代理人インフォート弁理士法人
主分類G06N 3/0475 20230101AFI20250625BHJP(計算;計数)
要約【課題】画像生成装置、画像生成方法及び非一時的なコンピュータ可読記憶媒体が提供される。
【解決手段】画像生成装置は、第1の入力データに基づいて特徴量を生成する特徴量生成器と、第2の入力データ及び特徴量に基づいて第1の画像を生成する画像生成器と、生成された第1の画像を判別し、判別器の出力を特徴量生成器に逆伝播させて、特徴量生成器をトレーニングさせる判別器とを含む。特徴量生成器は、第1の入力データから初期特徴量を抽出する特徴抽出部と、初期特徴量に対してランダム化処理を行い、初期特徴量からランダムな距離を有する特徴量を生成するランダムネットワークユニットとを含む。
【選択図】図1

特許請求の範囲【請求項１】
第１の入力データに基づいて特徴量を生成する特徴量生成器と、
第２の入力データ及び前記特徴量に基づいて第１の画像を生成する画像生成器と、
生成された第１の画像を判別し、判別器の出力を前記特徴量生成器に逆伝播させて、前記特徴量生成器をトレーニングさせる判別器とを含み、
前記特徴量生成器は、前記第１の入力データから初期特徴量を抽出する特徴抽出部と、前記初期特徴量に対してランダム化処理を行い、前記初期特徴量からランダムな距離を有する前記特徴量を生成するランダムネットワークユニットとを含む、画像生成装置。
続きを表示（約 1,600 文字）【請求項２】
前記第１の入力データは、ターゲットオブジェクトのカテゴリと、前記ターゲットオブジェクトに関連するガイドワードのうち少なくとも１つとを含み、
前記第２の入力データは、前記ターゲットオブジェクトの参照画像を含む、請求項１に記載の画像生成装置。
【請求項３】
前記第２の入力データは、前記ターゲットオブジェクトのカテゴリと、前記ターゲットオブジェクトを囲む前記参照画像におけるバウンディングボックスとをさらに含む、請求項２に記載の画像生成装置。
【請求項４】
前記画像生成器は、拡散モデルに基づく画像生成器であり、
前記特徴量生成器及び前記判別器は、それぞれ、敵対的生成ネットワークに基づく生成器及び判別器である、請求項１に記載の画像生成装置。
【請求項５】
前記判別器は、
前記第１の画像に関連する第１の確率分布を生成する分類部と、
前記特徴量に基づいて、前記第１の確率分布のシミュレーションである第２の確率分布を生成する損失変換部と、を含み、
前記損失変換部は、前記第１の確率分布及び前記第２の確率分布に基づいて第１の損失を決定して、前記判別器の前記出力とする、請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記第１の確率分布と前記第２の確率分布との差が第１の閾値よりも小さいか、又は、トレーニング回数が第２の閾値に達した場合、前記特徴量生成器へのトレーニングを停止する、請求項５に記載の画像生成装置。
【請求項７】
請求項１から６のいずれか一項に記載の画像生成装置と、
ニューラルネットワークモデルと、を含み、
前記特徴量生成器がトレーニングされてから、前記画像生成器によって生成された画像は、トレーニングデータとして、前記ニューラルネットワークモデルをトレーニングさせる、ニューラルネットワークに基づくシステム。
【請求項８】
前記特徴量生成器がトレーニングされてから、前記画像生成器によって生成された前記画像と、ターゲットオブジェクトを含む実画像と、前記実画像の補強画像とは、トレーニングデータとして、前記ニューラルネットワークモデルをトレーニングさせる、請求項７に記載のニューラルネットワークに基づくシステム。
【請求項９】
第１の入力データに基づいて特徴量を生成することと、
第２の入力データ及び前記特徴量に基づいて第１の画像を生成することと、
生成された第１の画像を判別し、前記特徴量を生成する特徴量生成器に判別器の出力を逆伝播させて、前記特徴量生成器をトレーニングさせることとを含み、
前記第１の入力データに基づいて特徴量を生成することは、
前記第１の入力データから初期特徴量を抽出することと、
前記初期特徴量に対してランダム化処理を行って、前記初期特徴量からランダムな距離を有する前記特徴量を生成することとを含む、画像生成方法。
【請求項１０】
コンピュータ指令が記憶される非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ指令がプロセッサによって実行される場合、
第１の入力データに基づいて特徴量を生成することと、
第２の入力データ及び前記特徴量に基づいて第１の画像を生成することと、
生成された第１の画像を判別し、前記特徴量を生成する特徴量生成器に判別器の出力を逆伝播させて、前記特徴量生成器をトレーニングさせることと、が実行され、
前記第１の入力データに基づいて特性量を生成することは、
前記第１の入力データから初期特性量を抽出することと、
前記初期特徴量に対してランダム化処理を行って、前記初期特徴量からランダムな距離を有する前記特徴量を生成することとを含む、非一時的なコンピュータ可読記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本願は、人工知能分野に関し、特に画像生成装置、画像生成方法及び非一時的なコンピュータ可読記憶媒体に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
近年、人工知能（ＡＩ）技術の発展に伴い、ＡＩに基づくさまざまな画像生成技術が次々と登場している。例えば、いくつかの画像生成ツールは、ユーザのテキスト記述又は画像参照に基づいて、ユーザが意図する画像を自動的に生成することができる。
【０００３】
しかしながら、現在業界で主流となっている画像生成ツール（例えば、単なる拡散モデルに基づくツール、ＣｈａｔＧＰＴに基づくツールなど）には、依然として、生成された画像の真正性や多様性が低いという問題があり、ユーザが理想的な画像を得るために、このような画像生成ツールに完全に依存することはできない。
【０００４】
いくつかの応用シーン（例えば、ターゲット検出）では、ニューラルネットワークモデルの精度を向上させるように、ニューラルネットワークモデルをトレーニングするために多くの真正性が高く且つ多様性が高い生成画像を必要とする。前述したような画像生成モデルだけに依存してトレーニングデータを提供するのは、非現実的であることは明らかである。
【発明の概要】
【０００５】
本願は、以上の問題点に鑑みてなされたものである。一例示的な態様では、本開示は、第１の入力データに基づいて特徴量を生成する特徴量生成器と、第２の入力データ及び前記特徴量に基づいて第１の画像を生成する画像生成器と、生成された第１の画像を判別し、前記判別器の出力を前記特徴量生成器に逆伝播させて、前記特徴量生成器をトレーニングさせる判別器とを含む、画像生成装置を提供する。前記特徴量生成器は、前記第１の入力データから初期特徴量を抽出する特徴抽出部と、前記初期特徴量に対してランダム化処理を行い、前記初期特徴量からランダムな距離を有する前記特徴量を生成するランダムネットワークユニットとを含む。
【０００６】
いくつかの実施例では、前記第１の入力データは、ターゲットオブジェクトのカテゴリと、前記ターゲットオブジェクトに関連するガイドワードのうち少なくとも１つとを含み、前記第２の入力データは、前記ターゲットオブジェクトの参照画像を含む。
【０００７】
いくつかの実施例では、前記第２の入力データは、前記ターゲットオブジェクトのカテゴリと、前記ターゲットオブジェクトを囲む前記参照画像におけるバウンディングボックスとをさらに含む。
【０００８】
いくつかの実施例では、前記画像生成器は、拡散モデルに基づく画像生成器であり、前記特徴量生成器及び前記判別器は、それぞれ、敵対的生成ネットワークに基づく生成器及び判別器である。
【０００９】
いくつかの実施例では、前記判別器は、前記第１の画像に関連する第１の確率分布を生成する分類部と、前記特徴量に基づいて前記第１の確率分布のシミュレーションである第２の確率分布を生成する損失変換部とを含み、前記損失変換部は、前記第１の確率分布及び前記第２の確率分布に基づいて第１の損失を決定して、前記判別器の前記出力とする。
【００１０】
いくつかの実施例では、前記第１の確率分布と前記第２の確率分布との差が第１の閾値よりも小さいか、又はトレーニング回数が第２の閾値に達した場合、前記特徴量生成器へのトレーニングを停止する。
（【００１１】以降は省略されています）

関連特許