特許ウォッチ

公開番号2024059927
公報種別公開特許公報(A)
公開日2024-05-01
出願番号2024030919,2021018697
出願日2024-03-01,2021-02-09
発明の名称画像処理方法および装置、並びにプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06V 10/70 20220101AFI20240423BHJP(計算;計数)
要約【課題】ぼけの発生した撮像画像に対する機械学習モデルを用いた認識または回帰のタスクにおいて、輝度飽和による精度低下を抑制可能な画像処理方法を提供する。
【解決手段】画像処理方法は、撮像画像を取得する第1の工程(S201)と、機械学習モデルを用いて、撮像画像に基づき、第1のマップを生成する第2の工程(S202)とを有し、第1のマップは、撮像画像の輝度飽和領域の被写体が、撮像画像の撮像過程で発生したぼけによって広がった領域の信号値の大きさと範囲を表すマップである。
【選択図】図7
特許請求の範囲【請求項１】
撮像により得られた撮像画像を取得する工程と、
前記撮像画像に基づき第１のマップを生成し、該撮像画像及び該第１のマップに基づきモデル出力を生成する工程とを有し、
前記第１のマップは、前記撮像画像の輝度飽和領域における被写体が前記撮像において発生したぼけによって広がった領域を表すことを特徴とする画像処理方法。
続きを表示（約 980 文字）【請求項２】
撮像により得られた撮像画像を取得する工程と、
前記撮像画像に基づき第１の特徴マップを生成し、該第１の特徴マップに基づき第１のマップとモデル出力とを生成する工程とを有し、
前記第１のマップは、前記撮像画像の輝度飽和領域における被写体が前記撮像において発生したぼけによって広がった領域を表すことを特徴とする画像処理方法。
【請求項３】
前記第１の特徴マップは、前記撮像画像の輝度飽和の影響を受けた領域とそれ以外の領域を切り分けるための情報が含まれていることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記第１の特徴マップは、機械学習モデルを用いて生成されることを特徴とする請求項２または３に記載の画像処理方法。
【請求項５】
前記第１のマップは、機械学習モデルを用いて生成されることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
【請求項６】
前記第１のマップは、前記輝度飽和領域を表す第２のマップに基づいて、生成されることを特徴する請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項７】
前記モデル出力は、前記撮像画像に対応する認識ラベルまたは信号列の少なくとも一方を含むことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
【請求項８】
前記モデル出力は、先鋭化された前記撮像画像、前記ぼけとは異なるぼけを有する画像、及び前記撮像画像に対応する被写体空間のデプスマップのうち少なくとも一つを含むことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項９】
前記撮像画像に基づいて前記第１のマップを生成する際に実行される線型和の回数は、前記撮像画像に基づいて前記モデル出力を生成する際に実行される線型和の回数以下であることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
【請求項１０】
前記第１のマップに基づいて、前記撮像画像と前記モデル出力とを合成することで出力画像を生成する工程を更に有することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ぼけの発生した画像に対して、機械学習モデルを用いた認識または回帰のタスクを実行する画像処理方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
非特許文献１には、機械学習モデルの１つである畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いて、撮像画像のぼけを先鋭化する方法が開示されている。撮像画像の輝度飽和値以上の信号値を有する画像をぼかすことで訓練データセットを生成し、訓練データセットでＣＮＮを訓練することで、輝度飽和領域の周辺でも弊害を抑制して、ぼけ先鋭化を行うことができる。
【先行技術文献】
【非特許文献】
【０００３】
ＬｉＸｕ，ｅｔａｌ．，ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｆｏｒＩｍａｇｅＤｅｃｏｎｖｏｌｕｔｉｏｎ，ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ２７，ＮＩＰＳ２０１４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献１に開示された方法では、輝度飽和と無関係な位置の被写体にアーティファクト（偽構造）が発生する可能性がある。アーティファクトとは、具体的には、実際の被写体の構造とは異なる局所的な信号値の減少または増大である。なお、アーティファクトとその発生理由の詳細については後述する。ぼけ先鋭化以外のぼけが発生した画像に対するタスクにおいても、同様に輝度飽和の影響によってタスクの精度が低下する。
【０００５】
そこで本発明は、ぼけの発生した画像に対する機械学習を用いた認識または回帰のタスクにおいて、輝度飽和によるタスクの精度低下を抑制することが可能な画像処理方法などを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理方法は、撮像により得られた撮像画像を取得する工程と、前記撮像画像に基づき第１のマップを生成する工程と、前記機械学習モデルを用いて、前記撮像画像及び前記第１のマップに基づきモデル出力を生成する工程とを有し、前記第１のマップは、前記撮像画像の輝度飽和領域における被写体が前記撮像において発生したぼけによって広がった領域である。
【０００７】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００８】
本発明によれば、ぼけの発生した画像に対する機械学習を用いた認識または回帰のタスクにおいて、輝度飽和によるタスクの精度低下を抑制することが可能な画像処理方法などを提供することができる。
【図面の簡単な説明】
【０００９】
実施例１における機械学習モデルの構成図である。
実施例１乃至３における被写体と撮像画像との関係、および第１のマップの説明図である。
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１におけるアーティファクトの説明図である。
実施例１乃至３における機械学習モデルの訓練のフローチャートである。
実施例１、２におけるモデル出力の生成のフローチャートである。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２における機械学習モデルの構成図である。
実施例３における画像処理システムのブロック図である。
実施例３における画像処理システムの外観図である。
実施例３における機械学習モデルの構成図である。
実施例３におけるモデル出力の生成のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
（【００１１】以降は省略されています）

関連特許