特許ウォッチ

公開番号2024058184
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022165392
出願日2022-10-14
発明の名称画像処理装置、撮像装置、画像処理方法、プログラムおよび記憶媒体
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 23/60 20230101AFI20240418BHJP(電気通信技術)
要約【課題】画像からノイズを除去するノイズ低減処理と連続して画像回復処理を実行する場合に、前段処理の強度を変更すると後段処理を再度実行しなおさなければならない。
【解決手段】画像処理装置は、画像に対して補正を行う補正手段と、前記補正手段が前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第1の拡大画像を生成する第1の拡大手段と、前記補正手段が前記補正を行った後の画像に対して、第1の拡大手段と異なり、第2の拡大画像を生成する第2の拡大手段と、前記補正の強度に基づいて、前記第1の拡大画像と前記第2の拡大画像とに対して合成を行う合成手段と、を有することを特徴とする。
【選択図】図2
特許請求の範囲【請求項１】
画像に対して補正を行う補正手段と、
前記補正手段が前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大手段と、
前記補正手段が前記補正を行った後の画像に対して、第１の拡大手段と異なり、第２の拡大画像を生成する第２の拡大手段と、
前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成手段と、を有することを特徴とする画像処理装置。
続きを表示（約 830 文字）【請求項２】
前記第２の拡大手段は、ニューラルネットワークを用いないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の拡大手段は、ニアレストネイバーとバイキュービックとバイリニアとの少なくともいずれかの方法を用いることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１の拡大手段が前記画像に対して拡大を行って生成した第１の拡大画像は、前記第２の拡大手段が該画像に対して拡大を行って生成した第２の拡大画像より高周波信号が強調されていることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記第１の拡大手段が前記画像に対して拡大を行って生成した第１の拡大画像は、前記第２の拡大手段が該画像に対して拡大を行って生成した第２の拡大画像より解像感が高いことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記補正の強度が第１の強度の場合は、前記補正の強度が前記第１の強度より強い第２の強度の場合よりも、前記第１の拡大画像の合成比率が大きいことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記補正の強度が第１の強度の場合は、前記補正の強度が前記第１の強度より強い第２の強度の場合よりも、前記第１の拡大画像の合成比率が小さいことを特徴とする請求項１または２に記載の画像処理装置。
【請求項８】
前記補正手段は、前記画像の一部の領域に対して、前記補正を行うことを特徴とする請求項１または２記載の画像処理装置。
【請求項９】
前記一部の領域は、顔の領域であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記一部の領域は、肌の領域であることを特徴とする請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置に関するものであり、特に学習モデルを参照して拡大画像を生成する画像処理装置に関するものである。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
近年ディープラーニングを用いて画像の拡大に関する技術が開発されている。従来の画像拡大の技術では、バイリニア補間やバイキュービック補間といったフィルタリングベースの手法を用いた拡大処理が一般的に使われてきた。しかし、従来手法は高周波領域の推定精度が悪く拡大率が大きくなるにつれて画像の解像感が失われてしまう傾向があった。これに対して、たとえば特許文献１には、ディープラーニングを用いた画像拡大処理が開示され、高い解像感を持った拡大画像の生成が可能となっている。ディープラーニングによる画像拡大技術においては、特に畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ）を用いられることが多い。
【先行技術文献】
【特許文献】
【０００３】
国際公開２０１８―２１６２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ただし、ディープラーニングを用いた画像拡大で生成された画像では、学習ベースであるがゆえに演算結果によっては適切な値で補間されず、高周波信号を過度に強調してしまう場合や、元の画像には存在しなかったノイズ等を発生してしまう場合がある。
【０００５】
本発明では、上記の課題を鑑みてなされたものであり、ディープラーニング拡大画像にバイキュービック等の従来手法による拡大画像を合成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、画像に対して補正を行う補正手段と、前記補正手段が前記補正を行った後の画像に対して、ニューラルネットワークを用いて拡大を行い、第１の拡大画像を生成する第１の拡大手段と、前記補正手段が前記補正を行った後の画像に対して、第１の拡大手段と異なり、第２の拡大画像を生成する第２の拡大手段と、前記補正の強度に基づいて、前記第１の拡大画像と前記第２の拡大画像とに対して合成を行う合成手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、２種類の画像拡大処理で得られた画像に対してさらに合成を行うとき、適切な合成比率を決めることを可能にする。
【図面の簡単な説明】
【０００８】
本発明の実施形態におけるデジタルカメラの構成を説明するためのブロック図である。
本発明の実施形態における拡大処理のフローを説明するためのシステム図である。
本発明の実施形態における解像感補正レベルと合成比率との関係を説明するためのグラフである。
本発明の実施形態におけるＲＡＷデータを用いない拡大処理のフローについて説明するためのシステム図である。
本発明の実施形態における顔領域の解像感補正レベルと合成比率の関係を説明するためのグラフである。
【発明を実施するための形態】
【０００９】
以下では、図を用いながら本発明の実施に好適な実施形態について説明する。なお、以下に記載の実施形態は、あくまでも本発明を実施するための一例であり、本発明は以下の実施形態に限定されない。
【００１０】
図１は、本実施形態におけるデジタルカメラの構成を説明するためのブロック図である。
（【００１１】以降は省略されています）

関連特許