特許ウォッチ

公開番号2025115956
公報種別公開特許公報(A)
公開日2025-08-07
出願番号2025007096
出願日2025-01-17
発明の名称画像処理方法、プログラム、及び記憶媒体
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 5/60 20240101AFI20250731BHJP(計算;計数)
要約【課題】機械学習モデルを用いた画像処理において、偽構造の発生を抑制しつつ、高精度な画像処理方法を提供すること。
【解決手段】画像処理方法は、生成モデルと非生成モデルを含む複数の機械学習モデルを用いて、入力画像から推定画像を生成する工程を有し、工程において入力画像に関する情報に基づいて入力画像の複数の領域ごとに生成モデルの出力と非生成モデルの出力とのウエイトを異ならせて推定画像を生成する。
【選択図】図6
特許請求の範囲【請求項１】
生成モデルと非生成モデルを含む複数の機械学習モデルを用いて、入力画像から推定画像を生成する工程を有し、
前記工程において前記入力画像に関する情報に基づいて前記入力画像の複数の領域ごとに前記生成モデルの出力と前記非生成モデルの出力とのウエイトを異ならせて前記推定画像を生成することを特徴とする画像処理方法。
続きを表示（約 1,600 文字）【請求項２】
前記入力画像に関する情報は、前記入力画像の距離に関する情報、セグメンテーションマップ、飽和領域に関する情報、及び光学性能マップの少なくとも一つを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記入力画像の距離に関する情報は、デフォーカスマップまたはデプスマップであることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記入力画像に関する情報は、前記入力画像の距離に関する情報を含み、
前記推定画像は、
前記入力画像の距離に関する情報に基づいて前記複数の領域のうち合焦領域であると判定された領域について前記非生成モデルの出力のウエイトが前記生成モデルの出力のウエイトよりも大きくして生成され、
前記入力画像の距離に関する情報に基づいて前記複数の領域のうち非合焦領域であると判定された領域について前記生成モデルの出力のウエイトが前記非生成モデルの出力のウエイトよりも大きくして生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記入力画像に関する情報は、セグメンテーションマップを含み、
前記推定画像は、
前記セグメンテーションマップに基づいて前記複数の領域のうち人物を含む領域であると判定された領域について前記非生成モデルの出力のウエイトが前記生成モデルの出力のウエイトよりも大きくして生成され、
前記セグメンテーションマップに基づいて前記複数の領域のうち人物を含まない領域であると判定された領域について前記生成モデルの出力のウエイトが前記非生成モデルの出力のウエイトよりも大きくして生成されることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記推定画像は、
前記入力画像に関する情報に基づいて前記複数の領域のうち第１領域であると判定された領域について前記非生成モデルの出力を用いて生成され、
前記入力画像に関する情報に基づいて前記複数の領域のうち第２領域であると判定された領域について前記生成モデルの出力を用いて生成されることを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
【請求項７】
前記工程において、前記入力画像を前記生成モデルに入力することで生成された第１画像と、前記入力画像を前記非生成モデルに入力することで生成された第２画像とを前記入力画像に関する情報に基づいて加重平均することで、前記推定画像を生成することを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
【請求項８】
前記工程において、
前記入力画像と前記入力画像に関する情報とを前記生成モデルと非生成モデルの一方に入力することで、第１画像を生成し、
前記第１画像と前記入力画像に関する情報とを前記生成モデルと前記非生成モデルの他方に入力することで前記推定画像を生成することを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
【請求項９】
前記推定画像は、前記入力画像のデフォーカスぼけの形状と異なるデフォーカスぼけの形状を有する画像であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
【請求項１０】
第１の機械学習モデルを用いて、入力画像に基づき、第１の画像を生成する工程と、
第２の機械学習モデルを用いて、前記入力画像または前記第１の画像に基づき、第１の付与成分を生成する工程と、
前記第１の付与成分に関する調整パラメータを取得する工程と、
前記第１の付与成分と前記調整パラメータとに基づいて第２の付与成分を生成する工程と、
前記第１の画像と前記第２の付与成分とに基づいて推定画像を生成する工程とを有することを特徴とする画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習モデルを用いた画像処理方法に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
機械学習モデルには、ネットワーク構造や学習方法の違いにより、複数のモデルが存在する。様々な所望のデータを生成するための確率分布を学習により獲得し、推定時はその分布に基づいて出力するモデルを生成モデルと呼ぶ。生成モデルは、画像のぼけ補正やデプス推定、アップサンプリング等の回帰タスクにおいても、従来のＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）ベースの機械学習モデルよりも高い性能を発揮することが知られている。非特許文献１には、生成モデルの１つである拡散モデル（Ｄｉｆｆｕｓｉｏｎｍｏｄｅｌ）を用いて画像のぼけを先鋭化する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
ＪａｙＷｈａｎｇ，ＭａｕｒｉｃｉｏＤｅｌｂｒａｃｉｏ，ＨｏｓｓｅｉｎＴａｌｅｂｉ，ＣｈｉｔｗａｎＳａｈａｒｉａ，ＡｌｅｘａｎｄｒｏｓＧ．Ｄｉｍａｋｉｓ，ＰｅｙｍａｎＭｉｌａｎｆａｒ，“ＤｅｂｌｕｒｒｉｎｇｖｉａＳｔｏｃｈａｓｔｉｃＲｅｆｉｎｅｍｅｎｔ“，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２１１２．０２４７５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、機械学習モデルを用いた画像処理において、偽構造の発生を抑制しつつ、高精度な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一側面としての画像処理方法は、生成モデルと非生成モデルを含む複数の機械学習モデルを用いて、入力画像から推定画像を生成する工程を有し、前記工程において前記入力画像に関する情報に基づいて前記入力画像の複数の領域ごとに前記生成モデルの出力と前記非生成モデルの出力とのウエイトを異ならせて前記推定画像を生成することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、機械学習モデルを用いた画像処理において、偽構造の発生を抑制しつつ、高精度な画像処理方法を提供することができる。
【図面の簡単な説明】
【０００７】
各実施例のデフォーカス距離での点像強度分布を示す図である。
実施例１及び実施例４の画像処理システムのブロック図である。
実施例１及び実施例４の画像処理システムの外観図である。
実施例１乃至３の非生成モデルの訓練のフローチャートである。
実施例１乃至３の生成モデルの訓練のフローチャートである。
実施例１のモデル出力の生成を示すフローチャートである。
実施例１の撮像画像とデフォーカスマップを表す図である。
実施例１の撮像画像の領域分割を示す図である。
実施例１の非生成モデルの説明図である。
実施例１の生成モデルの説明図である。
実施例２の画像処理システムのブロック図である。
実施例２の画像処理システムの外観図である。
実施例２のモデル出力の生成を示すフローチャートである。
実施例２の撮像画像と合焦被写体情報の説明図である。
実施例２のデプスマップの説明図である。
実施例２の機械学習モデルの説明図である。
実施例３の画像処理システムのブロック図である。
実施例３の画像処理システムの外観図である。
実施例３の機械学習モデルの説明図である。
実施例３のモデル出力の生成を示すフローチャートである。
第１機械学習モデルの概念図である。
第１機械学習モデルのフローチャートである。
第２機械学習モデルの概念図である。
第２機械学習モデルのフローチャートである。
実施例４の画像処理の概念図である。
実施例４の画像処理のフローチャートである。
実施例５の画像処理システムブロック図である。
実施例６の画像処理の概念図である。
実施例６の画像処理のフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【０００９】
機械学習モデルには、ネットワーク構造や学習方法の違いにより、複数のモデルが存在する。例えば、様々な所望のデータを生成するための確率分布を学習により獲得し、推定時はその分布に基づいて出力するモデルを本実施例において生成モデルと呼ぶ。生成モデルは、生成データの分布と学習データの分布が一致するように学習（訓練）される。代表的な生成モデルとして、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ）、ＧＡＮ（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ）、フローベース生成モデル、自己回帰型生成モデル、及び拡散モデル等がある。各生成モデルについて説明する。
【００１０】
ＶＡＥは、エンコーダ部とデコーダ部の２つの主要な部分から構成される。エンコーダは平均μと分散σの２つを出力し、その値から潜在変数Ｚをサンプリングする。潜在変数は、デコーダで潜在変数Ｚから元の次元に復元される。ＶＡＥでは、生成データと学習データの分布間の距離を明示的に測り最小化していく。分布間距離を最小化するようにモデルを学習するには、学習データにおいて対数尤度を最大化すればよい。しかし、複雑なニューラルネットワークでは、データに対して対数尤度を直接求めるのは困難である。そこで、ＶＡＥでは、計算容易である対数尤度の下限を最大化するようにモデルを学習することで目的のデータ分布を獲得する。このようにして学習したモデルを用いることで、目的のデータ分布に沿うデータを生成することができる。
（【００１１】以降は省略されています）

関連特許