特許ウォッチ

公開番号2025003591
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2024186516,2020152151
出願日2024-10-23,2020-09-10
発明の名称画像処理方法、プログラム、及び画像処理装置
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 3/4053 20240101AFI20241226BHJP(計算;計数)
要約【課題】機械学習モデルを用いた画像の高解像化において、高品位な画像を提供することである。
【解決手段】本発明の一実施形態にかかる画像処理方法は第1の生成器を用いて第1の画像に基づき第1の画像よりも高解像な第1の中間画像を生成する工程S403と、第2の生成器を用いて第1の画像に基づき該第1の画像よりも高解像な第2の中間画像を生成する工程S403と、第1の中間画像と前記第2の中間画像とに基づいて、第1の画像よりも高解像な推定画像を生成する工程S404とを有し、第1の生成器は、識別器を使用しない学習により得られ、第2の生成器は、識別器を使用する学習により得られる。
【選択図】図1
特許請求の範囲【請求項１】
第１の生成器を用いて第１の画像に基づき該第１の画像よりも高解像な第１の中間画像を生成する工程と、
第２の生成器を用いて前記第１の画像に基づき該第１の画像よりも高解像な第２の中間画像を生成する工程と、
前記第１の中間画像と前記第２の中間画像とに基づいて、前記第１の画像よりも高解像な推定画像を生成する工程とを有し、
前記第１の生成器は、識別器を使用しない学習により得られ、
前記第２の生成器は、識別器を使用する学習により得られることを特徴とする画像処理方法。
続きを表示（約 1,000 文字）【請求項２】
前記識別器は、前記学習において入力された画像が生成器によって生成された画像であるかを識別することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第１の生成器及び前記第２の生成器は、共通のサブネットワークを含むことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記サブネットワークは、前記第１の画像に基づいて第１の特徴マップを生成することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記第１の生成器は、前記第１の特徴マップに基づいて生成された第１の残差成分と前記第１の画像との和をとることで前記第１の中間画像を生成し、
前記第２の生成器は、前記第１の特徴マップに基づいて生成された第２の残差成分と前記第１の画像との和をとることで前記第２の中間画像を生成することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
第１の画像を生成器に入力することで第１の特徴マップに変換する工程と、
前記第１の特徴マップに基づいて該第１の画像よりも高解像な第１の中間画像と該第１の画像よりも高解像な第２の中間画像とを生成する工程と、
前記第１の中間画像と前記第２の中間画像とに基づいて解像感の調整を行うことで、前記第１の画像よりも高解像な推定画像を生成する工程とを有することを特徴とする画像処理方法。
【請求項７】
前記生成器は、
前記第１の特徴マップに基づいて生成された第１の残差成分と前記第１の画像との和をとることで前記第１の中間画像を生成し、
前記第１の特徴マップに基づいて生成された第２の残差成分と前記第１の画像との和をとることで前記第２の中間画像を生成することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記第１の中間画像および前記第２の中間画像は、前記第１の画像より画素数が多いことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項９】
前記第１の画像は、前記第１の残差成分及び前記第２の残差成分と画素数が一致するように、和をとる前にアップサンプルされることを特徴とする請求項５又は７に記載の画像処理方法。
【請求項１０】
前記推定画像は、前記第１の中間画像と前記第２の中間画像との加重平均によって生成されることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習モデルを用いて画像の高解像化を行う技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
特許文献１には、敵対的生成ネットワーク（ＧＡＮ：ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）と呼ばれる機械学習モデルを用いて、画像の高解像化を行う手法が開示されている。この手法は、ＳＲＧＡＮ（ＳｕｐｅｒＲｅｓｏｌｕｔｉｏｎＧＡＮ）と呼ばれる。ＳＲＧＡＮは、高解像画像を生成する生成器と、入力された画像が生成器によって生成された画像か実際の高解像画像かを識別する識別器とを用いて学習を行う。ここで、実際の高解像画像とは、生成器によって生成されたのではない高解像な画像を意味している。
【０００３】
生成器は、生成する高解像画像と実際の高解像画像が識別器に識別できなくなるように、ウエイトを学習する。これによって、高解像なテクスチャを有するより自然な見えの高解像画像を生成することができる。しかし同時に問題として、主観的に違和感のある偽構造が出現する可能性がある。
【０００４】
これに対して非特許文献１には、偽構造の出現と解像感を制御する方法が開示されている。非特許文献１では、識別器を用いずに高解像化を学習した生成器（偽構造は少ないが、解像感が低い）のウエイトと、識別器を用いて学習した生成器（ＳＲＧＡＮ相当。解像感は高いが、偽構造が存在しうる）のウエイトとの加重平均を取る。この加重平均したウエイトを用いた生成器により、高解像画像を生成する。この手法は、ネットワーク補間と呼ばれる。加重平均の重みを変更することで、偽構造の出現と解像感のバランスを制御することができる。
【先行技術文献】
【特許文献】
【０００５】
ＵＳ２０１８／００７５５８１
【非特許文献】
【０００６】
ＸｉｎｔａｏＷａｎｇ，ｅｔａｌ．，ＤｅｅｐＮｅｔｗｏｒｋＩｎｔｅｒｐｏｌａｔｉｏｎｆｏｒＣｏｎｔｉｎｕｏｕｓＩｍａｇｅｒｙＥｆｆｅｃｔＴｒａｎｓｉｔｉｏｎ，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１９，ｐｐ．１６９２－１７０１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、本発明者の検討により、非特許文献１のネットワーク補間を行った生成器は、生成される高解像画像に、被写体が２重に見えるエッジの多重化や色の変化などの画質劣化が発生する場合があることがわかった。
【課題を解決するための手段】
【０００８】
本発明の一実施形態にかかる画像処理方法は、第１の生成器を用いて第１の画像に基づき該第１の画像よりも高解像な第１の中間画像を生成する工程と、第２の生成器を用いて前記第１の画像に基づき該第１の画像よりも高解像な第２の中間画像を生成する工程と、前記第１の中間画像と前記第２の中間画像とに基づいて、前記第１の画像よりも高解像な推定画像を生成する工程とを有し、前記第１の生成器は、識別器を使用しない学習により得られ、前記第２の生成器は、識別器を使用する学習により得られることを特徴とする。
【０００９】
また、本発明の一実施形態にかかる画像処理方法は、第１の画像を生成器に入力することで第１の特徴マップに変換する工程と、前記第１の特徴マップに基づいて該第１の画像よりも高解像な第１の中間画像と該第１の画像よりも高解像な第２の中間画像とを生成する工程と、前記第１の中間画像と前記第２の中間画像とに基づいて解像感の調整を行うことで、前記第１の画像よりも高解像な推定画像を生成する工程とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、機械学習モデルを用いた画像の高解像化において、高品位な画像を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許