特許ウォッチ

公開番号2025022143
公報種別公開特許公報(A)
公開日2025-02-14
出願番号2023126431
出願日2023-08-02
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 1/40 20060101AFI20250206BHJP(計算;計数)
要約【課題】撮像装置ごとの重みパラメータの取得コストを低減する。
【解決手段】本開示に係る画像処理装置150は、入力画像に含まれる画像劣化を低減した復元画像のデータを生成するニューラルネットワークの学習を行う画像処理装置150であって、前記ニューラルネットワークにおける複数の重みパラメータのうちの第1の種別に対応する重みパラメータを決定し、前記複数の重みパラメータのうちの、前記第1の種別とは異なる第2の種別に対応する重みパラメータであって、前記入力画像のデータを生成する装置の機種の相違又は前記装置の個体差による影響が前記第1の種別に対応する重みパラメータよりも大きい前記第2の種別に対応する重みパラメータを決定する。
【選択図】図2
特許請求の範囲【請求項１】
入力画像に含まれる画像劣化を低減した復元画像のデータを生成するニューラルネットワークの学習を行う画像処理装置であって、
前記ニューラルネットワークにおける複数の重みパラメータのうちの第１の種別に対応する重みパラメータを決定する第１決定手段と、
前記複数の重みパラメータのうちの、前記第１の種別とは異なる第２の種別に対応する重みパラメータであって、前記入力画像のデータを生成する装置の機種の相違又は前記装置の個体差による影響が前記第１の種別に対応する重みパラメータよりも大きい前記第２の種別に対応する重みパラメータを決定する第２決定手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記第１の種別に対応する重みパラメータは、前記ニューラルネットワークにおける前記複数の重みパラメータのうちの、前記入力画像から特徴量を抽出する抽出手段に対応する層の重みパラメータを含むこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の種別に対応する重みパラメータは、前記ニューラルネットワークにおける前記複数の重みパラメータのうちの、前記特徴量に基づいて画像復元強度を決定する強度決定手段に対応する層の重みパラメータを含むこと、
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の種別に対応する重みパラメータは、前記ニューラルネットワークにおける前記複数の重みパラメータのうちの、前記特徴量と前記画像復元強度とに基づいて前記復元画像を生成する生成手段に対応する層の重みパラメータを含むこと、
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記影響を示す指標である依存度に基づいて、前記複数の重みパラメータを、前記第１の種別に対応する重みパラメータと前記第２の種別に対応する重みパラメータとに分類する分類手段、を更に有すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１決定手段における重みパラメータの決定方法と、前記第２決定手段における重みパラメータの決定方法とは、重みパラメータの決定に用いる学習データ、重みパラメータの決定処理における演算量、及び重みパラメータの更新率、重みパラメータの更新の際に用いられる損失値、のうちの少なくともいずれかが互いに異なること、
を特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第１決定手段は、前記装置における機種間又は個体間において共通の学習データを用いて、前記第１の種別に対応する重みパラメータを決定し、
前記第２決定手段は、前記装置の機種又は個体に特有の学習データを用いて、前記第２の種別に対応する重みパラメータを決定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第２決定手段は、前記第１決定手段と比較して演算量が少ないこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記第１決定手段は、前記第２の種別に対応する重みパラメータを固定して、前記第１の種別に対応する重みパラメータを決定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第１決定手段は、前記第１の種別に対応する重みパラメータを繰り返し更新することにより前記第１の種別に対応する重みパラメータを決定し、
前記第２決定手段は、前記影響を示す指標である依存度が大きい前記第２の種別に対応する重みパラメータほど、前記第２の種別に対応する重みパラメータの更新率を大きくして、前記第２の種別に対応する重みパラメータを決定すること、
を特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画質が劣化した画像から劣化が低減された画像を生成する技術に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
ディープニューラルネットワーク（以下「ＤＮＮ」と表記する。）を用いて、画質が劣化した画像（以下「劣化画像と呼ぶ。」）から画像を復元する技術がある。ＤＮＮとは、２層以上の隠れ層を有するニューラルネットワークを指し、隠れ層の数を多くすることにより性能の向上が期待できる。画像の復元（以下「画像復元」と呼ぶ。）とは、ノイズ除去、ボケ除去、超解像、又は欠損補完等当の、劣化画像から劣化が低減された画像を生成する処理を指す。ＤＮＮによる画像復元処理では、劣化が含まれる画像（劣化画像）のデータを用いた学習により画像復元に適する重みパラメータを取得し、取得した重みパラメータを用いて、劣化が低減された画像（以下「復元画像」と呼ぶ。）の生成を行う。
【０００３】
このような画像復元処理は、例えば、デジタルカメラ等の撮像装置による撮像により得られる画像（以下「撮像画像」と呼ぶ。）のデータに対して適用される。しかし、撮像画像には、撮像装置の機種又は個体ごとに強度が異なる画像の劣化（以下「画像劣化」と呼ぶ。）が付与されている。そのため、各撮像画像の画像劣化の特性に応じた画像復元処理を行う必要がある。特許文献１には、撮像条件ごとに画像復元の強度を調整する技術として、ＤＮＮの内部において画像復元の強度を表す特徴マップを生成し、その特徴マップの値を調節するための重みパラメータを復元画像の生成時に変更する手法が開示されている。特許文献１に開示された手法によれば、撮像画像ごとに画像復元の強度を調整することができる。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－４７６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された手法では、撮像装置ごとに重みパラメータを変更する方法は記載されておらず、特徴マップの値を調節するための重みパラメータは所与とされている。この重みパラメータを撮像装置ごとに手動により調節して与えることは困難である。不適切な値が与えられた場合、画像復元処理の結果として生成される復元画像にノイズの未補正による残留ノイズ又は過補正によるボケ等が発生し、適切な復元画像が得られないことがある。また、撮像装置ごとに撮像画像のデータを取得し、当該データを用いてＤＮＮの学習を行うことにより、撮像装置ごとに対応する重みパラメータを取得することは可能であるが、このような方法では重みパラメータの取得コストが膨大になってしまう。
【０００６】
本開示は、撮像装置ごとの重みパラメータの取得コストを低減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示に係る画像処理装置は、入力画像に含まれる画像劣化を低減した復元画像のデータを生成するニューラルネットワークの学習を行う画像処理装置であって、前記ニューラルネットワークにおける複数の重みパラメータのうちの第１の種別に対応する重みパラメータを決定する第１決定手段と、前記複数の重みパラメータのうちの、前記第１の種別とは異なる第２の種別に対応する重みパラメータであって、前記入力画像のデータを生成する装置の機種の相違又は前記装置の個体差による影響が前記第１の種別に対応する重みパラメータよりも大きい前記第２の種別に対応する重みパラメータを決定する第２決定手段と、を有する。
【発明の効果】
【０００８】
撮像装置ごとの重みパラメータの取得コストを低減することができる。
【図面の簡単な説明】
【０００９】
実施形態１に係る画像処理システムの構成の一例を示す図である。
実施形態１に係る画像処理装置の機能構成の一例を示すブロック図である。
実施形態１に係る画像処理装置１５０の処理フローの一例を示すフローチャートである。
施形態１に係る、第２重みパラメータと画質の評価値との関係を示すプロファイル４０１の一例を示す図である。
実施形態２に係る画像処理装置の機能構成の一例を示すブロック図である。
実施形態２に係る画像処理装置１５０の処理フローの一例を示すフローチャートである。
、実施形態２に係る、第２重みパラメータを選択するためのユ－ザインターフェースの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本開示を実施する形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本開示は図示された構成に限定されるものではない。
（【００１１】以降は省略されています）

関連特許