特許ウォッチ

公開番号2025036259
公報種別公開特許公報(A)
公開日2025-03-14
出願番号2024145035
出願日2024-08-27
発明の名称ニューラルネットワークの訓練装置、推論装置及びコンピュータプログラム
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 5/60 20240101AFI20250306BHJP(計算;計数)
要約【課題】本発明は、ニューラルネットワーク訓練装置、推論装置及びプログラムを提供する。
【解決手段】ニューラルネットワークはテキスト符号化器、時間符号化器、第一乃至第四UNET符号化器、UNET復号器、第一乃至第三加算器を含む。訓練装置はオリジナル画像に異なるノイズを追加することでノイズ画像を取得するユニット;ノイズ画像を第一UNET符号化器に入力し、オリジナル画像に対応する線画画像とノイズ画像を加算した後にそれぞれ第二及び第三UNET符号化器に入力し、かつノイズ画像と、オリジナル画像に対応する、一部がマスクされた画像とを加算した後に第四UNET符号化器に入力するユニット;及び、第三及び第四UNET符号化器のパラメータを調整し、かつテキスト符号化器、時間符号化器、第一及び第二UNET符号化器のそれぞれのパラメータを不変にすることで、ニューラルネットワークが収束するようにさせるユニットを含む。
【選択図】図1

特許請求の範囲【請求項１】
ニューラルネットワークを訓練する装置であって、
前記ニューラルネットワークはテキスト符号化器、時間符号化器、第一ＵＮＥＴ符号化器、第二ＵＮＥＴ符号化器、第三ＵＮＥＴ符号化器、第四ＵＮＥＴ符号化器、ＵＮＥＴ復号器、第一加算器、第二加算器及び第三加算器を含み、前記第一ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第一入力端に接続され、前記第一加算器は前記第二ＵＮＥＴ符号化器の入力端に接続され、前記第二加算器は前記第三ＵＮＥＴ符号化器の入力端に接続され、前記第三加算器は前記第四ＵＮＥＴ符号化器の入力端に接続され、かつ前記第二ＵＮＥＴ符号化器の出力端、前記第三ＵＮＥＴ符号化器の出力端及び前記第四ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第二入力端に接続され、前記装置は、
オリジナル画像に異なるノイズを追加することでノイズ画像を得るように構成される取得ユニット；
入力ユニットであって、
前記ノイズ画像を前記第一ＵＮＥＴ符号化器に入力し、
前記オリジナル画像に対応する線画画像と前記ノイズ画像を前記第一加算器によって加算した後に前記第二ＵＮＥＴ符号化器に入力し、
前記ノイズ画像と前記線画画像を前記第二加算器によって加算した後に前記第三ＵＮＥＴ符号化器に入力し、及び
前記ノイズ画像と、前記オリジナル画像に対応する、一部がマスクされた画像とを前記第三加算器によって加算した後に前記第四ＵＮＥＴ符号化器に入力するように構成される、入力ユニット；及び
訓練ユニットであって、
前記第三ＵＮＥＴ符号化器及び前記第四ＵＮＥＴ符号化器のパラメータを調整し、かつ前記ＵＮＥＴ復号器、前記テキスト符号化器、前記時間符号化器、前記第一ＵＮＥＴ符号化器及び前記第二ＵＮＥＴ符号化器のそれぞれのパラメータを不変に維持することで、前記ニューラルネットワークが収束するようにさせ、又は
前記ＵＮＥＴ復号器、前記第三ＵＮＥＴ符号化器及び前記第四ＵＮＥＴ符号化器のそれぞれのパラメータを調整し、かつ前記テキスト符号化器、前記時間符号化器、前記第一ＵＮＥＴ符号化器及び前記第二ＵＮＥＴ符号化器のそれぞれのパラメータを不変に維持することで、前記ニューラルネットワークが収束するようにさせる
ことによって、前記ニューラルネットワークを訓練するように構成される、訓練ユニットを含む、装置。
続きを表示（約 5,000 文字）【請求項２】
請求項１に記載の装置であって、
前記テキスト符号化器及び前記時間符号化器は前記第一ＵＮＥＴ符号化器、前記第二ＵＮＥＴ符号化器、前記第三ＵＮＥＴ符号化器、前記第四ＵＮＥＴ符号化器及び前記ＵＮＥＴ復号器に接続され、
前記テキスト符号化器に提示（ｐｒｏｍｐｔ）を入力し、かつ前記時間符号化器に時間ステップを入力することで、前記提示及び前記時間ステップのそれぞれのテンソルを取得し、
前記提示及び前記時間ステップのそれぞれのテンソルはそれぞれ、前記第一ＵＮＥＴ符号化器、前記第二ＵＮＥＴ符号化器、前記第三ＵＮＥＴ符号化器、前記第四ＵＮＥＴ符号化器及び前記ＵＮＥＴ復号器に提供される、装置。
【請求項３】
請求項２に記載の装置であって、
前記ニューラルネットワークはさらに、第一ゼロ畳み込みモジュール及び第二ゼロ畳み込みモジュールを含み、前記第一ゼロ畳み込みモジュールは前記第二加算器に接続され、前記第二ゼロ畳み込みモジュールは前記第三ＵＮＥＴ符号化器の出力端と前記ＵＮＥＴ復号器の第二入力端との間に接続され、
前記線画画像は前記第一ゼロ畳み込みモジュールによってゼロ畳み込みが行われた後に前記第二加算器に提供される、装置。
【請求項４】
請求項１乃至３のうちの任意の１項に記載の装置であって、
前記ニューラルネットワークの総損失関数は第一損失関数と第二損失関数との和として構築され、前記第一損失関数はランダムにサンプリングされるノイズと前記ノイズ画像について推定されるノイズとの間の平方和損失関数であり、前記第二損失関数はノイズを含まない前記オリジナル画像に対応する隠れ変数とノイズ除去後の再構築画像の隠れ変数との間の平方和損失関数である、装置。
【請求項５】
事前訓練されたニューラルネットワークを用いて推論を行うための装置であって、
前記ニューラルネットワークはテキスト符号化器、時間符号化器、第一ＵＮＥＴ符号化器、第二ＵＮＥＴ符号化器、第三ＵＮＥＴ符号化器、第四ＵＮＥＴ符号化器、ＵＮＥＴ復号器、第一加算器、第二加算器及び第三加算器を含み、前記第一ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第一入力端に接続され、前記第一加算器は前記第二ＵＮＥＴ符号化器の入力端に接続され、前記第二加算器は前記第三ＵＮＥＴ符号化器の入力端に接続され、前記第三加算器は前記第四ＵＮＥＴ符号化器の入力端に接続され、かつ前記第二ＵＮＥＴ符号化器の出力端、前記第三ＵＮＥＴ符号化器の出力端及び前記第四ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第二入力端に接続され、前記装置は、
線画画像をＮ個の画像ブロックに分割するように構成される画像分割ユニットであって、前記Ｎ個の画像ブロックのうちの隣接する画像ブロックの間には互いにオーバーラップしてる部分があり、Ｎは２以上の整数である、画像分割ユニット；及び
推論ユニットを含み、
前記推論ユニットは、
Ｎ個のノイズ画像のうちの第一ノイズ画像を前記第一ＵＮＥＴ符号化器に入力し、
前記第一ノイズ画像と前記線画画像のＮ個の画像ブロックのうちの第一画像ブロックをそれぞれ前記第一加算器及び前記第二加算器によって加算した後に、それぞれ、前記第二ＵＮＥＴ符号化器及び前記第三ＵＮＥＴ符号化器に入力し、
前記第一ノイズ画像と純色画像を前記第三加算器によって加算した後に前記第四ＵＮＥＴ符号化器に入力し、
前記ＵＮＥＴ復号器から出力される、前記線画画像の第一画像ブロックに対応する第一出力画像ブロックに基づいて、第一マスク画像ブロックを取得し、
前記線画画像の第二画像ブロック乃至第Ｎ画像ブロックを順次、前記Ｎ個のノイズ画像のうちの第二ノイズ画像乃至第Ｎノイズ画像にそれぞれ前記第一加算器及び前記第二加算器によって加算した後に、それぞれ、前記第二ＵＮＥＴ符号化器及び前記第三ＵＮＥＴ符号化器に入力し、
第一マスク画像ブロック乃至第Ｎ－１マスク画像ブロックを順次、前記第二ノイズ画像乃至前記第Ｎノイズ画像に前記第三加算器によって加算した後に、前記第四ＵＮＥＴ符号化器に入力することで、順次、前記線画画像のＮ個の画像ブロックに対応するＮ個の出力画像ブロックを取得する
ことを実行するように構成され、
ＵＮＥＴ符号化器から出力される第一出力画像ブロック乃至第Ｎ－１個の出力画像ブロックがそれぞれ前記線画画像の第二画像ブロック乃至第Ｎ画像ブロックとオーバーラップしている部分を抽出して第一乃至第Ｎ－１マスク画像ブロックの一部とし、かつ前記第一乃至第Ｎ－１マスク画像ブロックの他の部分に純色を充填することで、前記第一マスク画像ブロック乃至前記第Ｎ－１マスク画像ブロックを取得する、装置。
【請求項６】
請求項５に記載の装置であって、
前記ＵＮＥＴ復号器から出力されるＮ個の出力画像ブロックを順次つなぎ合わせて完全な画像を成すように構成されるつなぎ合わせユニットをさらに含む、装置。
【請求項７】
請求項５に記載の装置であって、
前記テキスト符号化器及び前記時間符号化器は前記第一ＵＮＥＴ符号化器、前記第二ＵＮＥＴ符号化器、前記第三ＵＮＥＴ符号化器、前記第四ＵＮＥＴ符号化器及び前記ＵＮＥＴ復号器に接続され、
前記テキスト符号化器に提示を入力し、かつ前記時間符号化器に時間ステップを入力することで、前記提示及び前記時間ステップのそれぞれのテンソルを取得し、
前記提示及び前記時間ステップのそれぞれのテンソルはそれぞれ、前記第一ＵＮＥＴ符号化器、前記第二ＵＮＥＴ符号化器、前記第三ＵＮＥＴ符号化器、前記第四ＵＮＥＴ符号化器及び前記ＵＮＥＴ復号器に提供される、装置。
【請求項８】
請求項５乃至７のうちの任意の１項に記載の装置であって、
前記ニューラルネットワークはさらに、第一ゼロ畳み込みモジュール及び第二ゼロ畳み込みモジュールを含み、前記第一ゼロ畳み込みモジュールは前記第二加算器に接続され、前記第二ゼロ畳み込みモジュールは前記第三ＵＮＥＴ符号化器の出力端と前記ＵＮＥＴ復号器の第二入力端との間に接続され、
前記第一ゼロ畳み込みモジュール及び前記第二ゼロ畳み込みモジュールは前記ニューラルネットワークの推論期間でパラメータがゼロでない畳み込みを実行し、
前記線画画像のＮ個の画像ブロックは前記第一ゼロ畳み込みモジュールによって畳み込みが行われた後に前記第二加算器に提供される、装置。
【請求項９】
プログラムであって、
コンピュータに、ニューラルネットワークを訓練するための方法を実行させ、
前記ニューラルネットワークはテキスト符号化器、時間符号化器、第一ＵＮＥＴ符号化器、第二ＵＮＥＴ符号化器、第三ＵＮＥＴ符号化器、第四ＵＮＥＴ符号化器、ＵＮＥＴ復号器、第一加算器、第二加算器及び第三加算器を含み、前記第一ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第一入力端に接続され、前記第一加算器は前記第二ＵＮＥＴ符号化器の入力端に接続され、前記第二加算器は前記第三ＵＮＥＴ符号化器の入力端に接続され、前記第三加算器は前記第四ＵＮＥＴ符号化器の入力端に接続され、かつ前記第二ＵＮＥＴ符号化器の出力端、前記第三ＵＮＥＴ符号化器の出力端及び前記第四ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第二入力端に接続され、前記方法は、
オリジナル画像に異なるノイズを追加することでノイズ画像を取得し；
前記ノイズ画像を前記第一ＵＮＥＴ符号化器に入力し；
前記オリジナル画像に対応する線画画像と前記ノイズ画像を前記第一加算器によって加算した後に前記第二ＵＮＥＴ符号化器に入力し；
前記ノイズ画像と前記線画画像を前記第二加算器によって加算した後に前記第三ＵＮＥＴ符号化器に入力し；
前記ノイズ画像と、前記オリジナル画像に対応する、一部がマスクされた画像とを前記第三加算器によって加算した後に前記第四ＵＮＥＴ符号化器に入力し；及び
前記ニューラルネットワークを訓練することを含み、
前記ニューラルネットワークを訓練することは、
前記第三ＵＮＥＴ符号化器及び前記第四ＵＮＥＴ符号化器のパラメータを調整し、かつ前記ＵＮＥＴ復号器、前記テキスト符号化器、前記時間符号化器、前記第一ＵＮＥＴ符号化器及び前記第二ＵＮＥＴ符号化器のそれぞれのパラメータを不変に維持することで、前記ニューラルネットワークが収束するようにさせ；又は
前記ＵＮＥＴ復号器、前記第三ＵＮＥＴ符号化器及び前記第四ＵＮＥＴ符号化器のそれぞれのパラメータを調整し、かつ前記テキスト符号化器、前記時間符号化器、前記第一ＵＮＥＴ符号化器及び前記第二ＵＮＥＴ符号化器のそれぞれのパラメータを不変に維持することで、前記ニューラルネットワークが収束するようにさせる
ことによって実現される、プログラム。
【請求項１０】
プログラムであって、
コンピュータに、事前訓練されたニューラルネットワークを用いて推論を行うための方法を実行させ、
前記ニューラルネットワークはテキスト符号化器、時間符号化器、第一ＵＮＥＴ符号化器、第二ＵＮＥＴ符号化器、第三ＵＮＥＴ符号化器、第四ＵＮＥＴ符号化器、ＵＮＥＴ復号器、第一加算器、第二加算器及び第三加算器を含み、前記第一ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第一入力端に接続され、前記第一加算器は前記第二ＵＮＥＴ符号化器の入力端に接続され、前記第二加算器は前記第三ＵＮＥＴ符号化器の入力端に接続され、前記第三加算器は前記第四ＵＮＥＴ符号化器の入力端に接続され、かつ前記第二ＵＮＥＴ符号化器の出力端、前記第三ＵＮＥＴ符号化器の出力端及び前記第四ＵＮＥＴ符号化器の出力端は前記ＵＮＥＴ復号器の第二入力端に接続され、前記方法は、
線画画像をＮ個の画像ブロックに分割し、前記Ｎ個の画像ブロックのうちの隣接する画像ブロックの間には互いにオーバーラップしてる部分があり、Ｎは２以上の整数であり；
Ｎ個のノイズ画像のうちの第一ノイズ画像を前記第一ＵＮＥＴ符号化器に入力し；
前記第一ノイズ画像と前記線画画像のＮ個の画像ブロックのうちの第一画像ブロックをそれぞれ前記第一加算器及び前記第二加算器によって加算した後に、それぞれ、前記第二ＵＮＥＴ符号化器及び前記第三ＵＮＥＴ符号化器に入力し；
前記第一ノイズ画像と純色画像を前記第三加算器によって加算した後に前記第四ＵＮＥＴ符号化器に入力し；
前記ＵＮＥＴ復号器から出力される、前記線画画像の第一画像ブロックに対応する第一出力画像ブロックに基づいて、第一マスク画像ブロックを取得し；
前記線画画像の第二画像ブロック乃至第Ｎ画像ブロックを順次、前記Ｎ個のノイズ画像のうちの第二ノイズ画像乃至第Ｎノイズ画像にそれぞれ前記第一加算器及び前記第二加算器によって加算した後に、それぞれ、前記第二ＵＮＥＴ符号化器及び前記第三ＵＮＥＴ符号化器に入力し；及び
第一マスク画像ブロック乃至第Ｎ－１マスク画像ブロックを順次、前記第二ノイズ画像乃至前記第Ｎノイズ画像に前記第三加算器によって加算した後に、前記第四ＵＮＥＴ符号化器に入力することで、順次、前記線画画像のＮ個の画像ブロックに対応するＮ個の出力画像ブロックを取得することを含み、
ＵＮＥＴ符号化器から出力される第一出力画像ブロック乃至第Ｎ－１個の出力画像ブロックがそれぞれ前記線画画像の第二画像ブロック乃至第Ｎ画像ブロックとオーバーラップしている部分を抽出して第一乃至第Ｎ－１マスク画像ブロックの一部とし、かつ前記第一乃至第Ｎ－１マスク画像ブロックの他の部分に純色を充填することで、前記第一マスク画像ブロック乃至前記第Ｎ－１マスク画像ブロックを取得する、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワークの技術分野に関し、特に、ニューラルネットワークを用いて線画画像をレンダリングする技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
線画に対しての着色はアニメ・漫画作成プロセスに必要不可欠な作業である。しかし、水平方向又は垂直方向に長い線画をレンダリングするときに、品質と連続性を同時に保証することが困難である。
【０００３】
今のところ、レンダリング画像の品質を維持しながら、隣接する画像ブロックの間の連続性を向上させるために、２つの方法が提案されている。
【０００４】
１番目の方法は、長い線画を複数のブロックに分割し、それぞれ、各ブロックをレンダリングし、その後に、レンダリング後の各ブロックをつなぎ合わせることを含む。このようにして、大規模なＧＰＵメモリが必要になるという問題を解決できるが、隣接するブロックの間に明らかな継ぎ目が存在するので、つなぎ合わせ後の画像の連続性は低下してしまう。
【０００５】
２番目の方法は、先に元（オリジナル）の長い線画の縮小バージョンをレンダリングし、次に、ＣｏｎｔｒｏｌＮｅｔＴｉｌｅモデルを用いて縮小バージョンの線画のレンダリング画像の細部を改善することを含む。このようにして、画像の連続性を向上させることができるが、線画内の内容や細部は変わってしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ニューラルネットワークの訓練装置、推論装置及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の１つの側面によれば、ニューラルネットワークを訓練する装置が提供される。ニューラルネットワークはテキスト符号化器（ｅｎｃｏｄｅｒ）、時間符号化器、第一ＵＮＥＴ（Ｕｎｅｔ）符号化器、第二ＵＮＥＴ符号化器、第三ＵＮＥＴ符号化器、第四ＵＮＥＴ符号化器、ＵＮＥＴ復号器（ｄｅｃｏｄｅｒ）、第一加算器、第二加算器及び第三加算器を含み、第一ＵＮＥＴ符号化器の出力端はＵＮＥＴ復号器の第一入力端に接続され、第一加算器は第二ＵＮＥＴ符号化器の入力端に接続され、第二加算器は第三ＵＮＥＴ符号化器の入力端に接続され、第三加算器は第四ＵＮＥＴ符号化器の入力端に接続され、かつ第二ＵＮＥＴ符号化器の出力端、第三ＵＮＥＴ符号化器の出力端及び第四ＵＮＥＴ符号化器の出力端はＵＮＥＴ復号器の第二入力端に接続され、かかる装置は、
オリジナル画像に異なるノイズを追加することでノイズ画像を得るように構成される取得ユニット；
ノイズ画像を第一ＵＮＥＴ符号化器に入力し、オリジナル画像に対応する線画画像とノイズ画像を第一加算器によって加算した後に第二ＵＮＥＴ符号化器を入力し、ノイズ画像と線画画像を第二加算器によって加算した後に第三ＵＮＥＴ符号化器に入力し、かつノイズ画像と、オリジナル画像に対応する、一部がマスクされた（覆われた）画像（マスク画像）とを第三加算器によって加算した後に第四ＵＮＥＴ符号化器に入力するように構成される入力ユニット；及び
訓練ユニットを含み
前記訓練ユニットは、次のような方式でニューラルネットワークを訓練するように構成され、即ち、
第三ＵＮＥＴ符号化器及び第四ＵＮＥＴ符号化器のパラメータを調整し、かつＵＮＥＴ復号器、テキスト符号化器、時間符号化器、第一ＵＮＥＴ符号化器及び第二ＵＮＥＴ符号化器のそれぞれのパラメータを不変に維持することで、ニューラルネットワークが収束するようにさせ；又は
ＵＮＥＴ復号器、第三ＵＮＥＴ符号化器及び第四ＵＮＥＴ符号化器のそれぞれのパラメータを調整し、かつテキスト符号化器、時間符号化器、第一ＵＮＥＴ符号化器及び第二ＵＮＥＴ符号化器のそれぞれのパラメータを不変に維持することで、ニューラルネットワークが収束するようにさせる。
【０００８】
好ましくは、テキスト符号化器及び時間符号化器は第一ＵＮＥＴ符号化器、第二ＵＮＥＴ符号化器、第三ＵＮＥＴ符号化器、第四ＵＮＥＴ符号化器及びＵＮＥＴ復号器に接続される。テキスト符号化器に提示（プロンプト）を入力し、かつ時間符号化器に時間ステップを入力することで、提示及び時間ステップのそれぞれのテンソルを取得する。提示及び時間ステップのそれぞれのテンソルはそれぞれ、第一ＵＮＥＴ符号化器、第二ＵＮＥＴ符号化器、第三ＵＮＥＴ符号化器、第四ＵＮＥＴ符号化器及びＵＮＥＴ復号器に提供される。
【０００９】
好ましくは、ニューラルネットワークはさらに、第一ゼロ畳み込みモジュール及び第二ゼロ畳み込みモジュールを含み、第一ゼロ畳み込みモジュールは第二加算器に接続され、かつ第二ゼロ畳み込みモジュールは第三ＵＮＥＴ符号化器の出力端とＵＮＥＴ復号器の第二入力端との間に接続される。線画画像は第一ゼロ畳み込みモジュールによってゼロ畳み込みが行われた後に第二加算器に提供される。
【００１０】
好ましくは、訓練ユニットはさらに、訓練時に第一ゼロ畳み込みモジュールのパラメータ及び第二ゼロ畳み込みモジュールのパラメータを調整するように構成される。
（【００１１】以降は省略されています）

関連特許