特許ウォッチ

公開番号2024057751
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022164616
出願日2022-10-13
発明の名称画像処理方法、画像処理装置、及びプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 3/4046 20240101AFI20240418BHJP(計算;計数)
要約【課題】高感度画像のアップスケールによる弊害の発生を抑制することができる。
【解決手段】第1の画像からノイズを除去することで第2の画像を生成する第1の工程S202と、アップスケール機械学習モデルを用いて第2の画像に基づいて第3の画像を生成する第2の工程S203とを有することを特徴とする。
【選択図】図5
特許請求の範囲【請求項１】
第１の画像からノイズを除去することで第２の画像を生成する第１の工程と、
アップスケール機械学習モデルを用いて前記第２の画像に基づいて第３の画像を生成する第２の工程とを有することを特徴とする画像処理方法。
続きを表示（約 1,200 文字）【請求項２】
前記第２の画像は、ノイズ除去機械学習モデルを用いて生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
ノイズ除去機械学習モデルを用いて第１の画像からノイズ特徴情報を生成する第１の工程と、
アップスケール機械学習モデルを用いてノイズ特徴情報に基づいて第３の画像を生成する第２の工程とを有することを特徴とする画像処理方法。
【請求項４】
前記ノイズ特徴情報は、ノイズに関する信号値が空間的に配列された複数の信号列であることを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記ノイズは色ノイズであることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項６】
前記第１の画像は、光学系及び撮像素子を用いた撮像により取得された画像であり、
前記第２の画像は、撮像に関する情報を用いて生成され、
前記撮像に関する情報は、前記撮像素子の画素ピッチ、前記撮像素子のＩＳＯ感度、前記光学系の光学ローパスフィルタの種類のうち少なくとも一つを含むことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項７】
前記第１の画像は、現像処理を施された画像であり、
前記第２の画像は、現像に関する情報を用いて生成され、
前記現像に関する情報は、それぞれ現像時の輝度ノイズ除去強度、色ノイズ除去強度、シャープネス強度、及び画像圧縮率のうち少なくとも一つを含むことを特徴とする請求項１又は２の何れか一項に記載の画像処理方法。
【請求項８】
前記第１の画像は、光学系及び撮像素子を用いた撮像により取得された画像であり、
前記第３の画像は、撮像に関する情報を用いて生成され、
前記撮像に関する情報は、前記撮像素子の画素ピッチ、前記撮像素子のＩＳＯ感度、前記光学系の光学ローパスフィルタの種類のうち少なくとも一つを含むことを特徴とする請求項１乃至４の何れか一項に記載の画像処理方法。
【請求項９】
前記第１の画像は、現像処理を施された画像であり、
前記第３の画像は、現像に関する情報を用いて生成され、
前記現像に関する情報は、それぞれ現像時の輝度ノイズ除去強度、色ノイズ除去強度、シャープネス強度、及び画像圧縮率のうち少なくとも一つを含むことを特徴とする請求項１乃至４の何れか一項に記載の画像処理方法。
【請求項１０】
前記第１の画像と前記第２の画像との画素値の差に基づいてノイズマップを生成する工程と、
前記第３の画像と前記ノイズマップとに基づいて第４の画像を生成する工程とをさらに有することを特徴とする請求項１又は２に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習モデルを用いて画像をアップスケールする画像処理方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
機械学習モデルを用いて画像をアップスケールする方法が知られている。低解像度画像では表現できない高周波成分を推定することで、高解像度化を行う画像処理をアップスケールと称する。また、撮像装置のセンサ感度が高い状態で撮影を行うことで、ノイズ（高感度ノイズ）を多く含む画像（高感度画像）が得られる。機械学習モデルを用いて高感度画像をアップスケールすると、画像処理後の画像に過剰な高周波成分が弊害（アーティファクト）として発生するおそれがある。
【０００３】
特許文献１には、機械学習モデルを用いて高解像度化と高感度ノイズの除去とを同時に行う画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
ＵＳ２０１９／０１１４７４２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、ユーザが選択可能なノイズ除去の強度（ｎｏｉｓｅｒｅｄｕｃｔｉｏｎｌｅｖｅｌ）に基づいて機械学習モデルのパラメータを設定し、高解像度化の強度及び高感度ノイズの除去の強度の調整を行う。特許文献１の画像処理方法では、高解像度化の強度を高めるために、高感度ノイズの除去の強度を下げる必要がある。したがって、撮像装置のセンサ感度が高い状態で取得された高感度画像の処理において、所望の解像度に高解像度化を行った場合画像処理後の画像に多くの弊害が発生するおそれがある。
【０００６】
そこで本発明は、高感度画像のアップスケールによる弊害の発生を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、第１の画像からノイズを除去することで第２の画像を生成する第１の工程と、アップスケール機械学習モデルを用いて第２の画像に基づいて第３の画像を生成する第２の工程とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高感度画像のアップスケールによる弊害の発生を抑制することができる。
【図面の簡単な説明】
【０００９】
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１における機械学習モデルの学習の流れを示す図である。
実施例１における機械学習モデルの学習工程に関するフローチャートである。
実施例１における機械学習モデルの推定工程に関するフローチャートである。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２における機械学習モデルの学習の流れを示す図である。
実施例２における機械学習モデルの学習工程に関するフローチャートである。
実施例２における機械学習モデルの推定工程に関するフローチャートである。
実施例３における画像処理システムのブロック図である。
実施例３における機械学習モデルの推定工程に関するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
（【００１１】以降は省略されています）

関連特許