特許ウォッチ

公開番号2024137693
公報種別公開特許公報(A)
公開日2024-10-07
出願番号2023222084
出願日2023-12-28
発明の名称画像処理方法、画像処理装置、学習済みモデルの製造方法、学習装置、画像処理システム、プログラム、および記憶媒体
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 23/60 20230101AFI20240927BHJP(電気通信技術)
要約【課題】量子化された機械学習モデルを用いて、適切な画像処理が可能な画像処理方法を提供する。
【解決手段】画像処理方法は、第1画像と、第1画像に対応する撮像条件または現像条件に関する第1画像情報とを取得する第1ステップと、量子化された機械学習モデルにより第1画像を鮮鋭化することで第2画像を生成する第2ステップとを有し、第2ステップにおいて、第1画像情報に関する値と第1閾値とに基づいて、第2画像を生成する際に用いる第1画像情報または所定の第2画像情報を決定する。
【選択図】図4
特許請求の範囲【請求項１】
第１画像と、前記第１画像に対応する撮像条件または現像条件に関する第１画像情報とを取得する第１ステップと、
量子化された機械学習モデルにより前記第１画像を鮮鋭化することで第２画像を生成する第２ステップとを有し、
前記第２ステップにおいて、前記第１画像情報に関する値と第１閾値とに基づいて、前記第２画像を生成する際に用いる前記第１画像情報または所定の第２画像情報を決定することを特徴とする画像処理方法。
続きを表示（約 1,000 文字）【請求項２】
前記第２ステップにおいて、
前記第１画像情報に関する値が前記第１閾値以下である場合、前記第２画像は前記第１画像情報を用いて前記第１画像を鮮鋭化することで生成され、
前記第１画像情報に関する値が前記第１閾値よりも大きい場合、前記第２画像は前記第２画像情報を用いて前記第１画像を鮮鋭化することで生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第１画像情報は、前記撮像条件に対応する撮像で用いられたレンズ装置の種類、絞り値、焦点距離、被写体距離、および像高ごとの光学特性の少なくとも一つに関する情報であることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記第１画像情報は、前記撮像条件に対応する撮像に用いられた撮像装置の種類、センサ感度、シャッタースピード、および撮像モードの少なくとも一つに関する情報であることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記第１画像情報は、前記現像条件に対応する現像の際の画像圧縮率、シャープネス強度、およびノイズ低減強度の少なくとも一つに関する情報であることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記機械学習モデルの少なくとも一層のウエイトのビット数は、前記第１画像のビット数の２倍以下であることを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記機械学習モデルの入力層または出力層の少なくとも一方のウエイトのビット数は、前記第１画像のビット数以上であることを特徴とする請求項１に記載の画像処理方法。
【請求項８】
前記第２画像情報は、前記第１閾値に基づく固定値、または前記第１画像情報に依存しない固定値であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項９】
前記第２ステップにおいて、前記第２画像は、前記第１画像情報と前記第１閾値とに基づく第２閾値を用いて、前記第１画像を鮮鋭化することで生成されることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項１０】
前記機械学習モデルは、前記第１閾値以下の第１画像情報に関する値を有する訓練画像を用いて予め学習されていることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、学習済みモデルの製造方法、画像処理システム、プログラム、および記憶媒体に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
特許文献１には、ＤＬ（ＤｅｅｐＬｅａｒｎｉｎｇ）を用いて学習された機械学習モデルを使用して、符号化により劣化した画像を復元する方法が開示されている。特許文献２には、カメラまたはスマートフォンなどの端末に搭載可能な機械学習モデルを用いて画像のノイズを低減する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－９０１２９号公報
特開２０２０－１９１０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、量子化された機械学習モデルに適用するための方法が開示されていない。このため、特許文献１に開示された方法では、量子化に伴う弊害が少ない適切な画像処理を実行することができない。
【０００５】
特許文献２に開示された方法では、複数の機械学習モデルを用意しておくことで、機械学習モデルを量子化しても弊害が少ない画像処理を実行できる可能性がある。しかし、端末のメモリの量は限られているため、複数の機械学習モデルを用意することは現実的には困難である。このため、特許文献２に開示された方法では、量子化に伴う弊害が少ない適切な画像処理を実行することは難しい。
【０００６】
そこで本発明は、量子化された機械学習モデルを用いて、適切な画像処理が可能な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、第１画像と、前記第１画像に対応する撮像条件または現像条件に関する第１画像情報とを取得する第１ステップと、量子化された機械学習モデルにより前記第１画像を鮮鋭化することで第２画像を生成する第２ステップとを有し、前記第２ステップにおいて、前記第１画像情報に関する値と第１閾値とに基づいて、前記第２画像を生成する際に用いる前記第１画像情報または所定の第２画像情報を決定することを特徴とする画像処理方法。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、量子化された機械学習モデルを用いて、適切な画像処理が可能な画像処理方法を提供することができる。
【図面の簡単な説明】
【００１０】
実施例１における畳み込みニューラルネットワークの学習の流れを示す図である。
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１における畳み込みニューラルネットワークの学習に関するフローチャートである。
実施例１における畳み込みニューラルネットワークを用いた出力画像の生成に関するフローチャートである。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例３における画像処理システムのブロック図である。
実施例３における畳み込みニューラルネットワークを用いた出力画像の生成に関するフローチャートである。
各実施例における概要の説明図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許