特許ウォッチ

公開番号2025179738
公報種別公開特許公報(A)
公開日2025-12-10
出願番号2024086680
出願日2024-05-28
発明の名称情報処理プログラム、情報処理方法及び情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 5/60 20240101AFI20251203BHJP(計算;計数)
要約【課題】画像の生成作業にかかる時間を短縮する情報処理プログラム、情報処理方法及び情報処理装置を提供する。
【解決手段】ランダムノイズからノイズの除去を複数の段階がある中の最終の段階まで行って画像生成を行う学習済みの機械学習モデルに適用する複数のモジュールから、いくつかのモジュールを選択し、選択したモジュールを合成して所定のランダムノイズからノイズの除去を最終の段階に至る前の途中の段階まで行って第1画像を生成し、複数のモジュールに含まれるモジュール毎に、第1画像からノイズの除去を所定回数行なって第2画像を生成する処理をコンピュータに実行させる。
【選択図】図5
特許請求の範囲【請求項１】
ランダムノイズからノイズの除去を複数の段階がある中の最終の段階まで行って画像生成を行う学習済みの機械学習モデルに適用する複数のモジュールから、いくつかのモジュールを選択し、
選択したモジュールを合成して所定のランダムノイズからノイズの除去を前記最終の段階に至る前の途中の段階まで行って第１画像を生成し、
前記複数のモジュールに含まれるモジュール毎に、前記第１画像からノイズの除去を所定回数行なって第２画像を生成し、
前記モジュール毎の前記第２画像を基に、前記複数のモジュールに含まれるモジュールを分類する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 1,300 文字）【請求項２】
前記合成は、前記モジュールの重みの平均を算出して、算出した値を重みとすることを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記モジュールの分類は、前記第２画像を基に前記モジュール間の距離を算出して、算出した距離を基に分類を行う処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
【請求項４】
前記第２画像の生成処理は、前記第２画像を基に算出した前記モジュール間の距離に基づく前記分類間の最短距離が閾値以上となる回数、前記第１画像からのノイズの除去を実行する処理を含むことを含むことを特徴とする請求項３に記載の情報処理プログラム。
【請求項５】
前記分類のそれぞれから１つずつモジュールを選択して、選択したモジュール毎に、モジュールを適用した前記機械学習モデルを用いて特定のランダムノイズを基に画像を生成し、選択したモジュール毎の生成した複数の画像を利用者に提示する処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項６】
提示した前記複数の画像の中から利用者が選択した選択画像の情報の入力を受けて、前記選択画像の生成に用いたモジュールに近いモジュールを再選択して、
前記再選択したモジュール毎に、モジュールを適用した前記機械学習モデルを用いて特定のランダムノイズを基に画像を生成し、選択したモジュール毎の生成した複数の画像を利用者に提示する
処理を前記コンピュータにさらに実行させることを特徴とする請求項５に記載の情報処理プログラム。
【請求項７】
ランダムノイズからノイズの除去を複数の段階がある中の最終の段階まで行って画像生成を行う学習済みの機械学習モデルに適用する複数のモジュールから、いくつかのモジュールを選択し、
選択したモジュールを合成して所定のランダムノイズからノイズの除去を前記最終の段階に至る前の途中の段階まで行って第１画像を生成し、
前記複数のモジュールに含まれるモジュール毎に、前記第１画像からノイズの除去を所定回数行なって第２画像を生成し、
前記モジュール毎の前記第２画像を基に、前記複数のモジュールに含まれるモジュールを分類する
処理を実行することを特徴とする情報処理方法。
【請求項８】
ランダムノイズからノイズの除去を複数の段階がある中の最終の段階まで行って画像生成を行う学習済みの機械学習モデルに適用する複数のモジュールから、いくつかのモジュールを選択し、
選択したモジュールを合成して所定のランダムノイズからノイズの除去を前記最終の段階に至る前の途中の段階まで行って第１画像を生成する第１画像生成部と、
前記複数のモジュールに含まれるモジュール毎に、前記第１画像からノイズの除去を所定回数行なって第２画像を生成する第２画像生成部と、
前記モジュール毎の前記第２画像を基に、前記複数のモジュールに含まれるモジュールを分類するクラスタリング部と
を備えたことを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理プログラム、情報処理方法及び情報処理装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
ＡＩ（Artificial Intelligence）を用いた画像生成の技術として、拡散モデル（diffusion model）を用いた画像生成が注目されている。拡散モデルとは、ランダムノイズの画像から、画像生成のための条件付きテキストであるプロンプトにしたがってノイズを除去するデノイズを実行して、画像を生成する画像生成モデルである。
【０００３】
拡散モデルは、大規模なモデルであるため、拡散モデル全体を対象としてファインチューニング（ＦＴ：Fine Tuning）するには、高性能なハードウェア及び多くの計算リソースが用いられる。そのため、ファインチューニングの対象とするモデルサイズの削減が求められる。そこで、元の拡散モデルの全体を対象としてチューニングするのではなく、拡散モデルの特定の層や追加の層を用意する手法（ＰＥＦＴ：Parameter－Efficient Fine－Tuning）が研究されている。ＰＥＦＴには、例えば、AdapterやＬｏＲＡ（Low－Rank Adaptation）といった手法が存在する。この特定の層や追加の層は、モジュールと呼ばれる。
【０００４】
モジュールは、特定用途に対する学習を行っており、例えば、絵に対する水彩画やアニメ塗り等の着色画風の処理の学習を行ったモジュールが存在する。拡散モデルは、モジュールが付け替えられることで、特定用途に対するモジュールに応じた生成能力を獲得できる。モジュールを基に戻すと、拡散モデルの特定タスクに対する生成能力は、元の生成能力に戻る。
【０００５】
ただし、特定用途に対するファインチューニングが為されたモジュールは、元の拡散モデルで学習されたプロンプトの影響が減ってしまうため、プロンプトによる制御がかなり難しくなる。ただし、利用者は、どのモジュールが要望に適したモジュールであるかを知らないことが多い。そこで、ＰＥＦＴによる拡散モデルのファインチューニングを行う場合、利用者は、希望する画像に最も近い出力を出すことができるモジュールの探索を行うことになる。そこで、複数のモジュールを用いた場合のそれぞれの出力に対する利用者からのフィードバックを基に、類似性の高いモジュールをグループ化することが考えられる。適切なグループ化ができれば、新しい後続タスクに対して、利用者の要望に応じたグループの中からの優先的なモジュールの利用や利用者への提示を行うことができる。
【０００６】
なお、画像生成モデルの学習に関する技術としては、平均二乗誤差とともにＳＳＩＭ（Structural Similarity）を用いて画像生成モデルに学習を行わせる技術が提案されている。
【先行技術文献】
【特許文献】
【０００７】
特開２０２３－７１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、モジュールを付け替えて拡散モデルを用いて画像生成するにはある程度の時間がかかる。また類似性の計算にも手間や時間が多くかかる。そのため、類似性の高いモジュールの選択には多くの時間がかかり、単に複数のモジュールを用いた場合のそれぞれの出力に対する利用者からのフィードバックを基に、類似性の高いモジュールをグループ化する方法は実現困難である。したがって、拡散モデルの学習効率を向上させることは難しく、結果的に画像の生成作業にかかる時間を短縮することは困難である。
【０００９】
また、平均二乗誤差とともにＳＳＩＭを用いて画像生成モデルに学習を行わせる技術では、モデルの類似性によるグルーピングは考慮されておらず、拡散モデルの学習効率を向上させることは難しく、画像の生成作業にかかる時間を短縮することは困難である。
【００１０】
開示の技術は、上記に鑑みてなされたものであって、画像の生成作業にかかる時間を短縮する情報処理プログラム、情報処理方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許