特許ウォッチ

公開番号2025019235
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2024204946,2020071279
出願日2024-11-25,2020-04-10
発明の名称画像処理方法、画像処理装置、画像処理システム、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 5/60 20240101AFI20250130BHJP(計算;計数)
要約【課題】機械学習モデルを用いた画像推定で発生する固有の弊害を抑制することが可能な画像処理方法を提供する。
【解決手段】画像処理方法は、第1の機械学習モデルにより、撮像画像に基づいて生成された第1のモデル出力を取得する工程と、第1の機械学習モデルとは異なる第2の機械学習モデルにより、撮像画像に基づいて生成された第2のモデル出力を取得する工程と、第2のモデル出力と撮像画像または第1のモデル出力とに基づく比較に基づいて、第1のモデル出力と第2のモデル出力とを用いて推定画像を生成する工程とを有する。
【選択図】図1
特許請求の範囲【請求項１】
第１の機械学習モデルにより、撮像画像に基づいて生成された第１のモデル出力を取得する工程と、
前記第１の機械学習モデルとは異なる第２の機械学習モデルにより、前記撮像画像に基づいて生成された第２のモデル出力を取得する工程と、
前記第２のモデル出力と、前記撮像画像または前記第１のモデル出力と、に基づく比較に基づいて、前記第１のモデル出力と前記第２のモデル出力とを用いて推定画像を生成する工程と、を有することを特徴とする画像処理方法。
続きを表示（約 1,000 文字）【請求項２】
前記比較は、差分、比、または相関のいずれかを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記推定画像は、前記比較に基づき生成された第１のマップに基づいて生成されることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記推定画像の生成において、前記第１のマップに基づいて、前記第１のモデル出力または前記第２のモデル出力を用いる領域を決定することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記撮像画像は、複数の色成分を有し、
前記第１のマップは、前記複数の色成分に対して共通であることを特徴とする請求項３または４に記載の画像処理方法。
【請求項６】
前記第１の機械学習モデルおよび前記第２の機械学習モデルは、前記撮像画像のぼけの補正成分を推定するモデルであり、
前記第１の機械学習モデルは、前記第２の機械学習モデルよりも高輝度被写体に対するぼけの補正効果が小さいことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項７】
前記推定画像は、前記比較に基づき生成された第１のマップに基づいて生成され、
前記第１のマップは、前記撮像画像に基づく飽和画素の位置に基づいて生成されることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
【請求項８】
前記第１のマップは、前記比較が所定の条件を満たす領域のうち、前記飽和画素の位置に基づく画素を含まない前記領域を示すマップであることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記比較が所定の条件を満たす領域に第２の値を有する第２のマップを生成し、
前記第２のマップにおいて前記第２の値を有する閉空間のうち、前記飽和画素の位置に基づく画素を含む閉空間を第１の値に置換することで、前記第１のマップを生成することを特徴とする請求項７または８に記載の画像処理方法。
【請求項１０】
前記第１の機械学習モデルおよび前記第２の機械学習モデルは、前記撮像画像のぼけの補正成分を推定するモデルであり、かつ互いに少なくとも一部が同一の処理を有し、
前記第２のモデル出力は、前記第１のモデル出力以上の空間周波数強度を有することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習モデルを用いて撮像画像に基づく画像推定を行った際に発生する固有の弊害を抑制する画像処理方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
機械学習モデルによる画像推定は、仮定や近似を用いた理論ベースの画像推定に対して、高い効果を実現することができる。理論ベースの画像推定では、仮定や近似によって無視された要素によって効果が低下する。しかし、機械学習モデルでは、それらの要素も含む学習データを用いて学習することで、仮定や近似のない学習データに即した画像推定が実現できるため、効果が高くなる。
【０００３】
例えば、撮像画像のぼけを補正する技術では、前記要素として撮像画像の飽和画素が挙げられる。Ｗｉｅｎｅｒフィルタなどの理論ベースの手法では、飽和画素は存在しないと仮定されているため、飽和画素の周辺ではぼけが正しく補正されず、リンギングなどの弊害が発生する。これに対し、非特許文献１には、機械学習モデルの１つである畳み込みニューラルネットワーク（ＣＮＮ）を用いて、撮像画像のぼけを補正する方法が開示されている。撮像画像の飽和値以上の信号値を有する画像をぼかして学習データセットを生成し、該学習データセットでＣＮＮを学習することで、飽和画素の周辺でも弊害を抑制して、ぼけ補正を行うことができる。
【先行技術文献】
【非特許文献】
【０００４】
ＬｉＸｕ，ｅｔａｌ．，ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｆｏｒＩｍａｇｅＤｅｃｏｎｖｏｌｕｔｉｏｎ，ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ２７，ＮＩＰＳ２０１４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１に開示された方法では、飽和画素と無関係な位置の被写体にアーティファクト（偽構造）が発生することがある。アーティファクトとは、具体的には、実際の被写体の構造とは異なる局所的な信号値の減少または増大である。アーティファクトとその発生理由に関する詳細は後述するが、アーティファクトは機械学習モデルを用いた画像推定で生じる固有の弊害の１つである。ぼけ補正以外の画像推定においても、機械学習モデル固有の弊害が発生し得る。
【０００６】
そこで本発明は、機械学習モデルを用いた画像推定で生じる固有の弊害を抑制することが可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、第１の機械学習モデルにより、撮像画像に基づいて生成された第１のモデル出力を取得する工程と、前記第１の機械学習モデルとは異なる第２の機械学習モデルにより、前記撮像画像に基づいて生成された第２のモデル出力を取得する工程と、前記第２のモデル出力と、前記撮像画像または前記第１のモデル出力と、に基づく比較に基づいて、前記第１のモデル出力と前記第２のモデル出力とを用いて推定画像を生成する工程とを有する。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、機械学習モデルを用いた画像推定で生じる固有の弊害を抑制することが可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
実施例１における推定画像の生成の流れを示す図である。
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１におけるアーティファクトの説明図である。
実施例１におけるアーティファクトの発生原因の説明図である。
各実施例における機械学習モデルの学習のフローチャートである。
実施例１における推定画像の生成のフローチャートである。
実施例１における第１のマップの生成に関する説明図である。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２における機械学習モデルの構成図である。
実施例２における推定画像の生成のフローチャートである。
実施例３における画像処理システムのブロック図である。
実施例３における画像処理システムの外観図である。
実施例３における推定画像の生成のフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許