特許ウォッチ

公開番号2025025067
公報種別公開特許公報(A)
公開日2025-02-21
出願番号2023129515
出願日2023-08-08
発明の名称画像処理装置および画像処理方法、撮像装置
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20250214BHJP(電気通信技術)
要約【課題】画像合成を用いた画像の高解像度化技術における課題を改善することが可能な画像処理装置を提供すること。
【解決手段】画像処理装置は、撮影位置の異なる複数フレームの第1の画像を合成して、第1の画像よりも高解像度の1フレームの第2の画像を生成する。また、画像処理装置は、複数フレームの第1の画像のうちの1フレームの第1の画像から、第2の画像と同じ解像度を有する第3の画像を生成する。画像処理装置は、第2の画像のうち、複数フレームの第1の画像で変化している領域に対応する領域が第3の画像に基づいた第4の画像を、最終的な高解像度画像として生成する。
【選択図】図2
特許請求の範囲【請求項１】
撮影位置の異なる複数フレームの第１の画像を取得する取得手段と、
前記複数フレームの第１の画像を合成して、前記第１の画像よりも高解像度の１フレームの第２の画像を生成するとともに、前記複数フレームの第１の画像のうちの１フレームの第１の画像から、前記第２の画像と同じ解像度を有する第３の画像を生成する生成手段と、
前記複数フレームの第１の画像で変化している領域を検出する検出手段とを有し、
前記生成手段は、前記第２の画像のうち、前記変化している領域に対応する領域が前記第３の画像に基づいた第４の画像を、最終的な高解像度画像として生成する、
ことを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記検出手段は、前記変化している領域を前記第２の画像と前記第３の画像との差分に基づいて検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記変化している領域を、前記複数フレームの第１の画像の差分に基づいて検出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出手段は、前記複数フレームの第１の画像を前記第２の画像と同じ解像度に拡大して、前記変化している領域の検出に用いることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、画素の密度を高めるように前記複数フレームの第１の画像を合成して前記第２の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記生成手段は、入力画像の解像度を高めて出力するように学習された機械学習モデルを用いて、前記１フレームの第１の画像から前記第３の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記生成手段は、前記複数フレームの第１の画像に関連付けて記録された撮影位置に関する情報を用いて前記複数フレームの第１の画像を合成することにより、前記第２の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記検出手段は、前記変化している領域と、変化していない領域とで異なる値を有する変化領域マップを生成し、
前記生成手段は、前記変化領域マップに基づいて前記第２の画像および前記第３の画像から前記第４の画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記生成手段は、前記第２の画像のうち、前記変化している領域に対応する領域が前記第３の画像で置き換えられた前記第４の画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
撮影位置の異なる複数フレームの第１の画像を取得することと、
前記複数フレームの第１の画像を合成して、前記第１の画像よりも高解像度の１フレームの第２の画像を生成することと、
前記複数フレームの第１の画像のうちの１フレームの第１の画像から、前記第２の画像と同じ解像度を有する第３の画像を生成することと、
前記複数フレームの第１の画像で変化している領域を検出することと、
前記第２の画像のうち、前記変化している領域に対応する領域が前記第３の画像に基づいた第４の画像を、最終的な高解像度画像として生成することと、
を有することを特徴とする画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、撮像装置に関し、特には画像合成を用いた画像の高解像度化技術に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
撮像素子の位置を変更可能なデジタルカメラにおいて、画素ピッチ未満の位置ずれを有する静止画を複数フレーム合成することで、撮像素子の画素数を超える解像度の静止画を生成する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１２－２２６４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
位置ずれを有する複数フレーム分の静止画を合成する場合、フレーム間で位置や明るさに変化がある部分は合成画像において不自然な印象を与える。そのため、意図した合成画像が得られる被写体やシーンが大きく制限されていた。
【０００５】
本発明は、一実施形態において、このような、画像合成を用いた画像の高解像度化技術における課題を改善することが可能な画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明はその一態様において、撮影位置の異なる複数フレームの第１の画像を取得する取得手段と、複数フレームの第１の画像を合成して、第１の画像よりも高解像度の１フレームの第２の画像を生成するとともに、複数フレームの第１の画像のうちの１フレームの第１の画像から、第２の画像と同じ解像度を有する第３の画像を生成する生成手段と、複数フレームの第１の画像で変化している領域を検出する検出手段とを有し、生成手段は、第２の画像のうち、変化している領域に対応する領域が第３の画像に基づいた第４の画像を、最終的な高解像度画像として生成する、ことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、画像合成を用いた画像の高解像度化技術における課題を改善することが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
実施形態における高解像度化処理に関するフローチャート
変化領域を含む複数フレームの低解像度画像の例を示す模式図
複数フレームの低解像度画像を合成して得られる高解像度画像の模式図
１フレームの低解像度画像から得られる高解像度画像の模式図
変化領域マップの例を示す模式図
最終的に得られる高解像度画像の例を示す模式図
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
なお、以下の実施形態では、本発明を撮像装置（デジタルカメラ）で実施する場合に関して説明する。しかし、本発明に撮像機能は必須でない。本発明は画像データを取り扱い可能な任意の電子機器で実施可能である。このような電子機器には、撮像装置に加え、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。
（【００１１】以降は省略されています）

関連特許