特許ウォッチ

公開番号2025031902
公報種別公開特許公報(A)
公開日2025-03-07
出願番号2024228181,2020123171
出願日2024-12-25,2020-07-17
発明の名称画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G01C 3/06 20060101AFI20250228BHJP(測定;試験)
要約【課題】機械学習モデルの学習負荷と保持データ量を抑制して、撮像画像のデフォーカスぼけから高精度に距離情報を推定することが可能な画像処理方法を提供する。
【解決手段】画像処理方法は、撮像画像と、撮像画像の撮像に用いた光学系の状態に関する情報とを含む入力データを取得する工程と、入力データを機械学習モデルに入力し、撮像画像の距離情報を推定する工程とを有し、光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含む。
【選択図】図1
特許請求の範囲【請求項１】
撮像画像と、前記撮像画像の撮像に用いた光学系の状態に関する情報と、を含む入力データを取得する工程と、
前記入力データを機械学習モデルに入力し、前記撮像画像の距離情報を推定する工程と、を有し、
前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含むことを特徴とする画像処理方法。
続きを表示（約 910 文字）【請求項２】
前記距離情報の一部の領域を推定するために前記機械学習モデルが用いる前記撮像画像の領域は、前記機械学習モデルに入力される前記撮像画像の全体よりも小さいことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記光学系の状態に関する情報は、前記光学系の焦点距離、絞り値、またはフォーカス距離の少なくとも一つを示す数値を含み、
前記数値は、正規化されていることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記入力データは、前記光学系の状態を示すステートマップを含み、
前記ステートマップは、前記撮像画像の画素数と、前記光学系の状態に関する情報と、に基づいて生成されることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
【請求項５】
前記ステートマップは、前記光学系の前記焦点距離、前記絞り値、または前記フォーカス距離の少なくとも二つを示す数値をそれぞれ異なるチャンネルの要素として有することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記ステートマップにおける同一のチャンネルの要素は、互いに同一の数値を有することを特徴とする請求項４または５に記載の画像処理方法。
【請求項７】
前記入力データは、前記撮像画像の各画素の位置に関する情報を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
【請求項８】
前記位置に関する情報は、前記光学系のイメージサークルに基づく長さに基づいて正規化された数値を有することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記入力データは、前記撮像画像の撮像に用いた撮像素子の画素ピッチに関する情報を更に有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
【請求項１０】
請求項１乃至９のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、光学系を用いて撮像された撮像画像から、距離情報を推定する画像処理方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
非特許文献１には、単一の光学系を用いて撮像された撮像画像のデフォーカスぼけから、機械学習モデルを用いて距離情報を推定する方法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
ＰｈｙｓｉｃａｌＣｕｅｂａｓｅｄＤｅｐｔｈ－ＳｅｎｓｉｎｇｂｙＣｏｌｏｒＣｏｄｉｎｇｗｉｔｈＤｅａｂｅｒｒａｔｉｏｎＮｅｔｗｏｒｋ，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９０８．００３２９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示された方法は、様々な収差が発生する光学系で撮像した撮像画像から距離情報を推定する場合、推定の精度低下、または学習負荷と保持データ量の増大を招く。光学系では、焦点距離、絞り値、およびフォーカス距離などにより、デフォーカスぼけが変化する。このため、デフォーカスぼけから距離情報を推定するには、以下の２つの方法が考えられる。
【０００５】
第１の方法は、光学系で発生し得るデフォーカスぼけ全てを含む学習データで、機械学習モデルを学習する方法である。しかし、学習データに似たような形状のデフォーカスぼけが複数含まれている場合、各々のデフォーカスぼけに対する距離情報の推定精度は低下する。第２の方法は、光学系で発生し得るデフォーカスぼけを各々、類似する複数のグループに分け、各グループの学習データで個別に機械学習モデルを学習する方法である。しかしこの場合、高倍率なズームレンズなどの様々な収差が発生する光学系では、グループ数が膨大になり、学習負荷と保持データ量（学習した機械学習モデルのウエイトを示すデータの容量）が増大する。このため、距離情報の推定精度と、学習負荷および保持データ量とを両立させることは困難である。
【０００６】
そこで本発明の目的は、機械学習モデルの学習負荷と保持データ量を抑制して、撮像画像のデフォーカスぼけから高精度に距離情報を推定することが可能な画像処理方法などを提供することである。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、撮像画像と、前記撮像画像の撮像に用いた光学系の状態に関する情報とを含む入力データを取得する工程と、前記入力データを機械学習モデルに入力し、前記撮像画像の距離情報を推定する工程とを有し、前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含む。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、機械学習モデルの学習負荷と保持データ量を抑制して、撮像画像のデフォーカスぼけから高精度に距離情報を推定することが可能な画像処理方法などを提供することができる。
【図面の簡単な説明】
【００１０】
実施例１における機械学習モデルの構成を示す図である。
実施例１における画像処理システムのブロック図である。
実施例１における画像処理システムの外観図である。
実施例１におけるデフォーカスぼけの大きさと被写体距離との関係を示す図である。
実施例１におけるデフォーカス位置での点像強度分布を示す図である。
実施例１におけるレンズステートを変化させたときのデフォーカスぼけの大きさと被写体距離との関係を示す図である。
実施例１乃至３におけるウエイトの学習に関するフローチャートである。
実施例１における推定画像の生成に関するフローチャートである。
実施例２における機械学習モデルの構成を示す図である。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２における撮像素子と光学系のイメージサークルとの関係を示す図である。
実施例２における推定画像の生成に関するフローチャートである。
実施例３における画像処理システムのブロック図である。
実施例３における画像処理システムの外観図である。
実施例３における推定画像の生成に関するフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許