TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024082119
公報種別公開特許公報(A)
公開日2024-06-19
出願番号2022195860
出願日2022-12-07
発明の名称画像処理装置、画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20240612BHJP(計算;計数)
要約【課題】 劣化前の画像を復元する処理における復元精度を、より高精度且つより低コストで取得するための技術を提供すること。
【解決手段】 教師画像に劣化を付与した劣化画像から該教師画像を復元する処理における復元精度を取得し、該教師画像の周波数特性を取得し、該復元精度と該周波数特性とに基づいて学習モデルの学習処理を行う。
【選択図】 図3
特許請求の範囲【請求項1】
教師画像に劣化を付与した劣化画像から該教師画像を復元する処理における復元精度を取得する第1取得手段と、
前記教師画像の周波数特性を取得する第2取得手段と、
前記復元精度と前記周波数特性とに基づいて学習モデルの学習処理を行う第1学習手段と
を備えることを特徴とする画像処理装置。
続きを表示(約 1,300 文字)【請求項2】
前記第1取得手段は、前記劣化画像を復元するための処理により得られる劣化復元画像と、前記教師画像と、の差分を前記復元精度として取得することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1学習手段は、前記周波数特性を入力した前記学習モデルの出力が前記復元精度となるように該学習モデルの学習を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
さらに、
複数の教師画像のそれぞれの周波数特性を前記学習モデルに入力することで得られる復元精度に基づいて該複数の教師画像から一部の教師画像を本学習教師画像として選択する選択手段と、
前記本学習教師画像と、該本学習教師画像に劣化を付与した劣化画像と、を含むデータセットを生成する生成手段と
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項5】
さらに、
複数の参照用画像のそれぞれの周波数特性を前記学習モデルに入力することで得られる復元精度の分布と、予め作成された復元精度に対応する採択数の分布と、に基づいて、複数の教師画像から復元精度ごとに採択する教師画像の数の分布を求め、該求めた分布に基づいて該複数の教師画像から一部の教師画像を本学習教師画像として選択する選択手段と、
前記本学習教師画像と、該本学習教師画像に劣化を付与した劣化画像と、を含むデータセットを生成する生成手段と
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項6】
さらに、
複数の参照用画像のそれぞれの周波数特性を前記学習モデルに入力することで得られる復元精度の分布に基づいて、複数の教師画像から一部の教師画像を本学習教師画像として選択する選択手段と、
前記本学習教師画像と、該本学習教師画像に劣化を付与した画像と、を含むデータセットを生成する生成手段と
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項7】
さらに、
予め作成された復元精度に対応する採択数の分布に基づいて、複数の教師画像から一部の教師画像を本学習教師画像として選択する選択手段と、
前記本学習教師画像と、該本学習教師画像に劣化を付与した画像と、を含むデータセットを生成する生成手段と
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項8】
さらに、
前記データセットを用いて、劣化が付与された画像から劣化前の画像を推定するための学習モデルの学習処理を行う第2学習手段を備えることを特徴とする請求項4に記載の画像処理装置。
【請求項9】
前記第1取得手段は、入力画像を分割して得られる複数のパッチのうち一部のパッチを前記教師画像として取得することを特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記第1取得手段は、前記複数のパッチの周波数特性の平均と、前記一部のパッチの周波数特性の平均と、が一致するように、前記一部のパッチを前記教師画像として取得することを特徴とする請求項9に記載の画像処理装置。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、劣化前の画像の復元に係る技術に関するものである。
続きを表示(約 1,800 文字)【背景技術】
【0002】
近年、畳み込みニューラルネットワーク(CNN)が、多くの劣化復元のアプリケーションに応用されてきている。劣化復元とは、具体的には、ノイズ除去、ボケ除去、超解像、欠損補完などの、劣化画像から元の画像を復元する処理を指す。
【0003】
劣化復元のためのCNNを用いた学習のためには、大量の学習データが必要となる。学習データを無作為に収集した場合、風景や動物を含む自然写真、ポートレート又はスポーツ写真のような人物写真、建築や商品といった人工物写真など様々な種類の画像を取得できる。しかし、そのように収集した学習データは低周波成分を多く含んでいるため、劣化復元の性能低下を招く。これに対処するため、劣化復元に望ましい高周波成分を多く含む高難易度パッチを収集してデータセットを構築する「Hard sample mining」と呼ばれる方法が知られている(非特許文献1)。処理内容を下記に示す。
【0004】
まず、教師画像に劣化要素を付与して劣化画像を生成する。これは、劣化が発生する条件で教師画像を再撮影または再生成することをシミュレーションする処理に相当する。次に、劣化画像に対して劣化復元処理を適用し、劣化復元画像を生成する。最後に、教師画像と劣化復元画像との誤差を評価する。この誤差の大きさを難易度とする。
【先行技術文献】
【非特許文献】
【0005】
Wang, Shizun, et al. “SamplingAug: On the Importance of Patch Sampling Augmentation for Single Image Super-Resolution.” arXiv preprint arXiv:2111.15185 (2021).
【発明の概要】
【発明が解決しようとする課題】
【0006】
高精度な難易度算出のためには、撮像装置での撮像処理を正確に再現する必要がある。この再現処理には、物理シミュレーションやセンサシミュレーション、現像処理が含まれる。そのため、計算コストが膨大になるという課題が存在する。本発明では、劣化前の画像を復元する処理における復元精度を、より高精度且つより低コストで取得するための技術を提供する。
【課題を解決するための手段】
【0007】
本発明の一様態は、教師画像に劣化を付与した劣化画像から該教師画像を復元する処理における復元精度を取得する第1取得手段と、前記教師画像の周波数特性を取得する第2取得手段と、前記復元精度と前記周波数特性とに基づいて学習モデルの学習処理を行う第1学習手段とを備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、劣化前の画像を復元する処理における復元精度を、より高精度且つより低コストで取得するための技術を提供することができる。
【図面の簡単な説明】
【0009】
画像処理システムの構成例を示すブロック図。
周波数特性を算出する際に用いるパワースペクトルの概要を説明する図。
画像処理システムの機能構成例を示すブロック図。
画像処理システムの動作のフローチャート。
構築部311の機能構成例を示すブロック図。
画像処理システムの動作のフローチャート。
ヒストグラムの一例を示す図。
理論特性の一例を示す図。
混合特性の一例を示す図。
第2の実施形態の変形例の具体例を説明する図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

キヤノン株式会社
トナー
15日前
キヤノン株式会社
トナー
9日前
キヤノン株式会社
トナー
15日前
キヤノン株式会社
トナー
15日前
キヤノン株式会社
トナー
21日前
キヤノン株式会社
トナー
9日前
キヤノン株式会社
トナー
9日前
キヤノン株式会社
トナー
9日前
キヤノン株式会社
記録装置
9日前
キヤノン株式会社
記録装置
21日前
キヤノン株式会社
撮像装置
21日前
キヤノン株式会社
電子機器
21日前
キヤノン株式会社
定着装置
9日前
キヤノン株式会社
撮像装置
21日前
キヤノン株式会社
清掃装置
10日前
キヤノン株式会社
撮像装置
9日前
キヤノン株式会社
記録装置
16日前
キヤノン株式会社
電子機器
17日前
キヤノン株式会社
操作機器
14日前
キヤノン株式会社
記録装置
16日前
キヤノン株式会社
記録装置
16日前
キヤノン株式会社
撮像装置
9日前
キヤノン株式会社
記録装置
9日前
キヤノン株式会社
電子機器
21日前
キヤノン株式会社
電子機器
17日前
キヤノン株式会社
電子機器
22日前
キヤノン株式会社
発光素子
14日前
キヤノン株式会社
定着装置
14日前
キヤノン株式会社
撮像装置
22日前
キヤノン株式会社
清掃装置
23日前
キヤノン株式会社
被補給装置
16日前
キヤノン株式会社
レンズ装置
15日前
キヤノン株式会社
画像形成装置
14日前
キヤノン株式会社
トナーパック
8日前
キヤノン株式会社
有機発光素子
23日前
キヤノン株式会社
画像形成装置
17日前
続きを見る