特許ウォッチ

公開番号2025032002
公報種別公開特許公報(A)
公開日2025-03-07
出願番号2024231540,2024015805
出願日2024-12-27,2020-04-20
発明の名称訓練方法、画像処理方法、学習済みモデルの製造方法、プログラム、および、訓練装置
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 5/73 20240101AFI20250228BHJP(計算;計数)
要約【課題】機械学習モデルを用いたデフォーカスぼけの整形において、整形精度が低い画像の生成を抑制可能な画像処理方法を提供する。
【解決手段】原画像に対して第1のぼけを付加することで第1の画像を生成し、原画像に対して第2のぼけを付加することで第2の画像を生成する第1の工程と、第1の画像を機械学習モデルに入力することで出力画像を生成し、出力画像と第2の画像とに基づいて機械学習モデルの学習を行う第2の工程とを有し第1のぼけ及び第2のぼけは互いに異なる形状のぼけであり、かつ特定の周波数において、第1のぼけに対応する光学性能は第2のぼけに対応する光学性能よりも高い。
【選択図】図1
特許請求の範囲【請求項１】
原画像に対して第１のぼけを付加することで第１の画像を生成し、該原画像に対して第２のぼけを付加することで第２の画像を生成する第１の工程と、
前記第１の画像を機械学習モデルに入力することで出力画像を生成し、該出力画像と前記第２の画像とに基づいて前記機械学習モデルの学習を行う第２の工程と、を有し、
特定の周波数において、前記第１のぼけに対応する光学性能は前記第２のぼけに対応する光学性能よりも高いことを特徴とする画像処理方法。
続きを表示（約 1,000 文字）【請求項２】
複数の周波数における前記第１のぼけに対応する光学性能の平均値は、該複数の周波数における前記第２のぼけに対応する光学性能の平均値よりも高いことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記複数の周波数は、前記第１の画像のナイキスト周波数の半値から該ナイキスト周波数までの範囲の周波数であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記複数の周波数は、０から前記第１の画像のナイキスト周波数の半値までの範囲の周波数であることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記第１の工程において前記原画像に対して複数の前記第１のぼけを付加することで複数の前記第１の画像を生成し、前記原画像に対して複数の前記第２のぼけを付加することで複数の前記第２の画像を生成し、
複数の前記第１のぼけの形状は互いに異なり、
複数の前記第２のぼけの形状は互いに同じであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
【請求項６】
前記第１の工程において前記原画像に対して複数の前記第１のぼけを付加することで複数の前記第１の画像を生成し、前記原画像に対して複数の前記第２のぼけを付加することで複数の前記第２の画像を生成し、
複数の前記第１のぼけの形状は互いに異なり、
複数の前記第２のぼけの形状は互いに異なることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
【請求項７】
請求項１乃至６のいずれか一項に記載の画像処理方法によって学習された機械学習モデルと入力画像とを取得する工程と、
前記入力画像を前記機械学習モデルに入力することで推定画像を生成する工程とを有し、
前記推定画像は、前記入力画像と異なる形状のぼけを有する画像であることを特徴とする画像処理方法。
【請求項８】
前記第１のぼけおよび前記第２のぼけはそれぞれ、デフォーカスぼけであることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項９】
前記光学性能は、変調伝達関数または光学伝達関数を含むことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
【請求項１０】
請求項１乃至９のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像画像に対してデフォーカスによるぼけを整形し、良好なぼけ味の画像を得る画像処理方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１には、光学系の瞳を複数の分割瞳に分割して、各分割瞳から被写体空間を観察した複数の視差画像を撮像し、複数の視差画像を合成する際の重みを調整することで、デフォーカスによるぼけ（デフォーカスぼけ）の形状を整形する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１６－２２００１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された方法は、各分割瞳の重みを調整して複数の視差画像を合成するため、光学系の瞳よりも大きい瞳に対応するデフォーカスぼけを再現することができない。すなわち特許文献１に開示された方法では、ヴィネッティングによるデフォーカスぼけの欠けを埋めることができない。また、複数の視差画像の合成の重みが不均一になると、ノイズが増大する。また、二線ぼけ等は構造が細かいため、それらの影響を軽減するには、光学系の瞳を細かく分割する必要がある。この場合、各視差画像における空間解像度の低下やノイズの増大が生じる。
【０００５】
一方、前述の課題を解決するため、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）などの機械学習モデルを用いてデフォーカスぼけを整形する方法が知られている。しかし、機械学習モデルを用いてデフォーカスぼけを整形する方法では、任意のデフォーカスぼけの形状への整形が可能であるとは限らず、整形精度が低下する場合がある。
【０００６】
そこで本発明は、機械学習モデルを用いたデフォーカスぼけの整形において、整形精度が低い画像の生成を抑制可能な画像処理方法などを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、原画像に対して第１のぼけを付加することで第１の画像を生成し、該原画像に対して第２のぼけを付加することで第２の画像を生成する第１の工程と、前記第１の画像を機械学習モデルに入力することで出力画像を生成し、該出力画像と前記第２の画像とに基づいて前記機械学習モデルの学習を行う第２の工程と、を有し、特定の周波数において、前記第１のぼけに対応する光学性能は前記第２のぼけに対応する光学性能よりも高い。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、機械学習モデルを用いたデフォーカスぼけの整形において、整形精度が低い画像の生成を抑制可能な画像処理方法などを提供することができる。
【図面の簡単な説明】
【００１０】
実施例１における第２のデフォーカスぼけの決定方法に関するフローチャートである。
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１における学習データの生成方法に関するフローチャートである。
実施例１におけるウエイトの学習に関するフローチャートである。
実施例１における推定画像の生成に関するフローチャートである。
実施例１における機械学習モデルの構成図である。
実施例１における第１のデフォーカスぼけの光学性能の説明図である。
実施例１における第２のデフォーカスぼけの光学性能の説明図である。
実施例２における機械学習モデルの構成図である。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２における学習データの生成方法に関するフローチャートである。
実施例２におけるウエイトの学習に関するフローチャートである。
実施例２における推定画像の生成に関するフローチャートである。
実施例２における第１のデフォーカスぼけの光学性能の説明図である。
実施例３における画像処理システムのブロック図である。
実施例３における画像処理システムの外観図である。
実施例３における推定画像の生成に関するフローチャートである。
各実施例におけるデフォーカス距離での点像強度分布を示す図である。
比較例におけるデフォーカスぼけの整形結果を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許