特許ウォッチ

公開番号2025118908
公報種別公開特許公報(A)
公開日2025-08-13
出願番号2025082524,2022108573
出願日2025-05-16,2022-07-05
発明の名称画像処理方法、画像処理装置、プログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 3/4046 20240101AFI20250805BHJP(計算;計数)
要約【課題】機械学習モデルを用いた画像処理において、高解像度な出力画像を得る画像処理方法を提供する。
【解決手段】画像処理方法は、第1のグレースケール画像21を分割することで、第1のグレースケール画像21に対して解像度が低い複数の第2のグレースケール画像を生成するステップS203と、複数の第2のグレースケール画像23を機械学習モデルに入力することで、アップスケールされた複数の第3のグレースケール画像24を生成する推定ステップS204と、を有する。
【選択図】図6
特許請求の範囲【請求項１】
第１のカラー画像よりも解像度が高い第２のカラー画像を生成する画像処理方法であって、
前記第１のカラー画像から第１のグレースケール画像を生成するステップと、
前記第１のグレースケール画像から前記第１のグレースケール画像よりも解像度が低い複数の第２のグレースケール画像を生成するステップと、
前記複数の第２のグレースケール画像を機械学習モデルによってアップスケールすることで、複数の第３のグレースケール画像を生成するステップとを有し、
前記第２のカラー画像は、前記複数の第３のグレースケール画像に基づいて生成されることを特徴とする画像処理方法。
続きを表示（約 1,000 文字）【請求項２】
前記複数の第２のグレースケール画像のそれぞれの解像度は、互いに同じであることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記複数の第３のグレースケール画像を互いに結合することで、第４のグレースケール画像を生成するステップをさらに有することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記第４のグレースケール画像の画素数と前記複数の第３のグレースケール画像の画素数の合計とが等しいことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記第１のカラー画像から前記第１のグレースケール画像及び複数の第１の色差画像を生成するステップと、
前記第２のカラー画像は、前記第４のグレースケール画像及び前記複数の第１の色差画像に基づいて生成されることを特徴とする請求項３に記載の画像処理方法。
【請求項６】
前記複数の第１の色差画像をアップスケールすることで複数の第２の色差画像を生成するステップをさらに有し、
前記第２のカラー画像は、前記第４のグレースケール画像及び前記複数の第２の色差画像に基づいて生成されることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記複数の第２の色差画像のそれぞれの解像度は、前記第４のグレースケール画像の解像度と同じであることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記第１のグレースケール画像は、輝度画像であることを特徴とする請求項１乃至７の何れか一項に記載の画像処理方法。
【請求項９】
前記第１のカラー画像は、光学系及び撮像素子を用いた撮影により取得され、
前記複数の第３のグレースケール画像を生成するステップは、前記複数の第２のグレースケール画像及び前記撮影における撮影条件を機械学習モデル機械学習モデルによってアップスケールすることで、前記複数の第３のグレースケール画像を生成することを特徴とする請求項１乃至７の何れか一項に記載の画像処理方法。
【請求項１０】
前記撮影条件は、前記撮像素子の画素ピッチ、前記光学系の光学ローパスフィルタの種類、ＩＳＯ感度のうち少なくとも一つを含むことを特徴とする請求項９に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習モデルを用いた画像処理に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
特許文献１では、ＲＧＢで表されるカラー画像をＹＵＶに変換し、得られたＹ画像（輝度画像）の高周波成分の情報を機械学習モデルに入力することで、カラー画像の特徴を識別する画像処理方法が開示されている。特許文献１における画像処理方法では、入力画像に対してフィルタを何度も畳み込むことで出力画像を生成するＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ（ＣＮＮ）が機械学習モデルとして用いられている。また、特許文献１における画像処理方法では、縮小した輝度画像を入力画像とすることによってＣＮＮでの演算量を低減し、処理の高速化を図っている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１７５１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１における入力画像は縮小された輝度画像であり、縮小される前の輝度画像と比較して解像度が低い。したがって、特許文献１における画像処理方法では、高解像度な出力画像を得ることが困難である。
【０００５】
そこで、本発明は、機械学習モデルを用いた画像処理において、高解像度な出力画像を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本開示の画像処理方法は、第１のカラー画像よりも解像度が高い第２のカラー画像を生成する画像処理方法であって、第１のカラー画像から第１のグレースケール画像を生成するステップと、第１のグレースケール画像から第１のグレースケール画像に対して解像度が低い複数の第２のグレースケール画像を生成するステップを有する。さらに、複数の第２のグレースケール画像を機械学習モデルに入力よってアップスケールすることで、複数の第３のグレースケール画像を生成するステップとを有し、第２のカラー画像は、複数の第３のグレースケール画像に基づいて生成されることを特徴とする。
【発明の効果】
【０００７】
本開示によれば、機械学習モデルを用いた画像処理において、高解像度な出力画像を得ることができる。
【図面の簡単な説明】
【０００８】
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１におけるニューラルネットワークのウエイトの学習方法を示す概念図である。
実施例１におけるニューラルネットワークのウエイトの学習に関するフローチャートである。
実施例１におけるニューラルネットワークを用いた出力画像の生成方法を示す概念図である。
実施例１におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。
実施例３における画像処理システムのブロック図である。
実施例３におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
【００１０】
まず、実施形態の具体的な説明を行う前に、本実施形態の要旨を説明する。本実施形態は、機械学習モデルを用いて輝度画像（グレースケール画像）をアップスケールする。本実施形態において、画像の拡大及び高解像度化を行う画像処理をアップスケールと称する。本実施例における機械学習モデルは、ニューラルネットワークを用いた学習を行うことで生成される。ニューラルネットワークは、画像に対して畳み込むフィルタ及び足し合わせるバイアス、非線形変換を行う活性化関数を用いる。フィルタ及びバイアスは、ウエイトと呼ばれ、訓練画像及び正解画像を用いて学習（更新）される。本実施形態では、グレースケールで表される画像を訓練画像及び正解画像として用いて機械学習モデルの学習を行う。
（【００１１】以降は省略されています）

関連特許