特許ウォッチ

公開番号2025092369
公報種別公開特許公報(A)
公開日2025-06-19
出願番号2024088711
出願日2024-05-31
発明の名称画像生成モデルの訓練方法、サービス実行方法、装置及び媒体
出願人個人
代理人弁理士法人ユニアス国際特許事務所
主分類G06V 10/774 20220101AFI20250612BHJP(計算;計数)
要約【課題】限られた訓練セットでサービス要件を満たすモデルを訓練するニーズを満たし、モデルの全体的な訓練効率を向上させる画像生成モデルの訓練方法、サービス実行方法、装置及び媒体を提供する。
【解決手段】画像生成モデルの訓練方法は、画像を取得することと、取得した原画像に対してノイズ付加処理を行い、ノイズ付加後画像を取得することと、ノイズ付加後画像を第1の画像生成モデルに入力し、前記第1の画像生成モデルを用いて、前記ノイズ付加後画像に対してノイズ除去を行って復元画像を得、前記復元画像から抽出された画像前景特徴を決定することと、原画像に対応する画像前景特徴と前記復元画像から抽出された画像前景特徴との間の差を最小化することを最適化目標として、前記第1の画像生成モデルを訓練することと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
原画像を取得するステップと、
前記原画像に対してノイズ付加処理を行い、ノイズ付加後画像を得るステップと、
前記ノイズ付加後画像と、前記ノイズ付加後画像がノイズ付加された回数値とを第１の画像生成モデルに入力し、前記第１の画像生成モデルを用いて、復元画像が得られるまで、前記原画像に対して前記回数値のノイズ付加処理を行って前記ノイズ付加後画像に変換する際に使用される重畳ノイズ信号を予測し、前記重畳ノイズ信号に基づいて、ｋ回目のノイズ付加処理を行う前のｋ－１枚目の遷移画像を予測し、前記重畳ノイズ信号と前記ｋ－１枚目の遷移画像とに基づいて、ｋ－１回目のノイズ付加処理を行う前のｋ－２枚目の遷移画像を予測し、前記復元画像から抽出された画像前景特徴を決定するステップであって、ｋは前記回数値を超えない正の整数であり、画像前景特徴は、画像内のターゲットオブジェクトの形態学的特徴を表すためのものであり、前記画像前景特徴には、前記ターゲットオブジェクトを表すための詳細な物理的特徴が含まれない、ステップと、
前記原画像に対応する画像前景特徴と前記復元画像から抽出された画像前景特徴との間の差を最小化することを最適化目標として、前記第１の画像生成モデルを訓練するステップと、を含む、
ことを特徴とする画像生成モデルの訓練方法。
続きを表示（約 2,200 文字）【請求項２】
前記原画像に対してノイズ付加処理を行い、ノイズ付加後画像を得るステップは、
前記原画像とノイズ信号の数とを予め構築された第２の画像生成モデルに入力し、前記第２の画像生成モデルに、前記ノイズ信号の数に対応する回数のノイズ付加処理が行われた前記原画像のノイズ付加後画像を出力させるステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記第２の画像生成モデルの構築は、
サンプル画像を取得するステップと、
Ｎ個目のノイズ信号を用いて、Ｎ－１個目のノイズ信号でノイズ付加されたノイズ付加後画像に対してノイズ付加し、Ｎ個目のノイズ信号でノイズ付加されたノイズ付加後画像を得るステップであって、Ｎは１以上の正の整数であり、０個目のノイズ信号でノイズ付加されたノイズ付加後画像は前記サンプル画像である、ステップと、
Ｎ個目のノイズ信号でノイズ付加されたノイズ付加後画像と、Ｎ－ｍ個目のノイズ信号でノイズ付加されたノイズ付加後画像と、Ｎ個目のノイズ信号と、Ｎ－ｍ＋１個目のノイズ信号とに基づいて、Ｎ－ｍ個目のノイズ信号でノイズ付加されたノイズ付加後画像からＮ個目のノイズ信号でノイズ付加されたノイズ付加後画像までの変換関係を決定するステップであって、ｍはＮより小さい正の整数である、ステップと、
前記変換関係に基づいて前記第２の画像生成モデルを構築するステップと、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項４】
初期画像を取得するステップと、
前記初期画像を予め訓練された画像生成モデルに入力し、ターゲット画像を出力させるステップであって、前記画像生成モデルは、請求項１～３のいずれか１項に記載の訓練方法を用いて訓練して得られたモデルである、ステップと、
前記初期画像と前記ターゲット画像とに基づいて訓練セットを構築し、前記訓練セットを用いて所定の指定モデルを訓練し、訓練された指定モデルを用いてサービスを実行するステップと、を含む、
ことを特徴とするサービス実行方法。
【請求項５】
原画像を取得するための取得モジュールと、
前記原画像に対してノイズ付加処理を行い、ノイズ付加後画像を得るためのノイズ付加モジュールと、
前記ノイズ付加後画像と、前記ノイズ付加後画像がノイズ付加された回数値とを第１の画像生成モデルに入力し、前記第１の画像生成モデルを用いて、復元画像が得られるまで、前記原画像に対して前記回数値のノイズ付加処理を行って前記ノイズ付加後画像に変換する際に使用される重畳ノイズ信号を予測し、前記重畳ノイズ信号に基づいて、ｋ回目のノイズ付加処理を行う前のｋ－１枚目の遷移画像を予測し、前記重畳ノイズ信号と前記ｋ－１枚目の遷移画像とに基づいて、ｋ－１回目のノイズ付加処理を行う前のｋ－２枚目の遷移画像を予測し、前記復元画像から抽出された画像前景特徴を決定するための入力モジュールであって、ｋは前記回数値を超えない正の整数であり、画像前景特徴は、画像内のターゲットオブジェクトの形態学的特徴を表すためのものであり、前記画像前景特徴には、前記ターゲットオブジェクトを表すための詳細な物理的特徴が含まれない、入力モジュールと、
前記原画像に対応する画像前景特徴と前記復元画像から抽出された画像前景特徴との間の差を最小化することを最適化目標として、前記第１の画像生成モデルを訓練するための訓練モジュールと、を含む、
ことを特徴とする画像生成モデルの訓練装置。
【請求項６】
前記ノイズ付加モジュールは、具体的に、
前記原画像とノイズ信号の数とを予め構築された第２の画像生成モデルに入力し、前記第２の画像生成モデルに、前記ノイズ信号の数に対応する回数のノイズ付加処理が行われた前記原画像のノイズ付加後画像を出力させるために用いられる、
ことを特徴とする請求項５に記載の装置。
【請求項７】
初期画像を取得するための取得モジュールと、
前記初期画像を予め訓練された画像生成モデルに入力し、ターゲット画像を出力させるための入力モジュールであって、前記画像生成モデルは、請求項１～３のいずれか１項に記載の訓練方法を用いて訓練して得られたモデルである、入力モジュールと、
前記初期画像と前記ターゲット画像とに基づいて訓練セットを構築し、前記訓練セットを用いて所定の指定モデルを訓練し、訓練された指定モデルを用いてサービスを実行するための訓練モジュールと、を含む、
ことを特徴とするサービス実行装置。
【請求項８】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～３のいずれか１項に記載の方法が実施される、
ことを特徴とするコンピュータ可読記憶媒体。
【請求項９】
プロセッサと、メモリに記憶され、プロセッサ上で動作可能なコンピュータプログラムとを含む電子デバイスであって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～３のいずれか１項に記載の方法を実施する、
ことを特徴とする電子デバイス。

発明の詳細な説明【技術分野】
【０００１】
本発明は、コンピュータビジョン分野に関し、特に、画像生成モデルの訓練方法、サービス実行方法、装置及び媒体に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
コンピュータビジョン分野の急速な発展に伴い、深層学習技術に基づくモデルが、例えば、ユーザーのニーズに応じて画像の内容を判断する画像認識分野、得られた患者の病変情報に基づいて病変部の画像を生成する医療分野、プレイヤーの探索状況に応じてゲーム画像を生成するコンピュータゲーム分野など、様々な分野で利用されるようになってきている。
【０００３】
しかし、既存のモデル訓練技術では、サービス要件を満たすモデルを訓練するために、上記モデルの訓練プロセスにおいて訓練データとして十分な量の画像データを使用する必要がある。画像データの量が十分でない場合、既存の技術では、サービス要件を満たすモデルを訓練することは困難である。例えば、芸術画像生成モデルにより生成される芸術画像の表現力や写実性が高いほど、訓練プロセスにおいてより多くの画像データが必要となり、画像データが不足すると、訓練された芸術画像生成モデルにより生成された芸術画像の表現力や写実性が要件を満たせなくなるという問題が生じる。
【０００４】
したがって、量が十分でない画像データに基づいて、いかにしてサービス要件を満たすモデルを訓練するかは喫緊の課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、従来技術に存在する上記問題を部分的に解決するために、画像生成モデルの訓練方法、サービス実行方法、装置及び媒体を提供する。
【課題を解決するための手段】
【０００６】
本発明が採用する技術的解決手段は以下の通りである。
【０００７】
本発明によって提供される画像生成モデルの訓練方法は、
原画像を取得するステップと、
前記原画像に対してノイズ付加処理を行い、ノイズ付加後画像を得るステップと、
前記ノイズ付加後画像と、前記ノイズ付加後画像がノイズ付加された回数値とを第１の画像生成モデルに入力し、前記第１の画像生成モデルを用いて、復元画像が得られるまで、前記原画像に対して前記回数値のノイズ付加処理を行って前記ノイズ付加後画像に変換する際に使用される重畳ノイズ信号を予測し、前記重畳ノイズ信号に基づいて、ｋ回目のノイズ付加処理を行う前のｋ－１枚目の遷移画像を予測し、前記重畳ノイズ信号と前記ｋ－１枚目の遷移画像とに基づいて、ｋ－１回目のノイズ付加処理を行う前のｋ－２枚目の遷移画像を予測し、前記復元画像から抽出された画像前景特徴を決定するステップであって、ｋは前記回数値を超えない正の整数であり、画像前景特徴は、画像内のターゲットオブジェクトの形態学的特徴を表すためのものであり、前記画像前景特徴には、前記ターゲットオブジェクトを表すための詳細な物理的特徴が含まれない、ステップと、
前記原画像に対応する画像前景特徴と前記復元画像から抽出された画像前景特徴との間の差を最小化することを最適化目標として、前記第１の画像生成モデルを訓練するステップと、を含む。
【０００８】
オプションで、前記原画像に対してノイズ付加処理を行い、ノイズ付加後画像を得るステップは、
前記原画像とノイズ信号の数とを予め構築された第２の画像生成モデルに入力し、前記第２の画像生成モデルに、前記ノイズ信号の数に対応する回数のノイズ付加処理が行われた前記原画像のノイズ付加後画像を出力させるステップを含む。
【０００９】
オプションで、前記第２の画像生成モデルの構築は、
サンプル画像を取得するステップと、
Ｎ個目のノイズ信号を用いて、Ｎ－１個目のノイズ信号でノイズ付加されたノイズ付加後画像に対してノイズ付加し、Ｎ個目のノイズ信号でノイズ付加されたノイズ付加後画像を得るステップであって、Ｎは１以上の正の整数であり、０個目のノイズ信号でノイズ付加されたノイズ付加後画像は前記サンプル画像である、ステップと、
Ｎ個目のノイズ信号でノイズ付加されたノイズ付加後画像と、Ｎ－ｍ個目のノイズ信号でノイズ付加されたノイズ付加後画像と、Ｎ個目のノイズ信号と、Ｎ－ｍ＋１個目のノイズ信号とに基づいて、Ｎ－ｍ個目のノイズ信号でノイズ付加されたノイズ付加後画像からＮ個目のノイズ信号でノイズ付加されたノイズ付加後画像までの変換関係を決定するステップであって、ｍはＮより小さい正の整数である、ステップと、
前記変換関係に基づいて前記第２の画像生成モデルを構築するステップと、を含む。
【００１０】
本発明によって提供されるサービス実行方法は、
初期画像を取得するステップと、
前記初期画像を予め訓練された画像生成モデルに入力し、ターゲット画像を出力させるステップであって、前記画像生成モデルは、上記訓練方法を用いて訓練して得られたモデルである、ステップと、
前記初期画像と前記ターゲット画像とに基づいて訓練セットを構築し、前記訓練セットを用いて所定の指定モデルを訓練し、訓練された指定モデルを用いてサービスを実行するステップと、を含む。
（【００１１】以降は省略されています）

関連特許