特許ウォッチ

公開番号2025053950
公報種別公開特許公報(A)
公開日2025-04-07
出願番号2023163092
出願日2023-09-26
発明の名称画像処理装置、制御方法、並びにプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 3/4053 20240101AFI20250331BHJP(計算;計数)
要約【課題】学習済モデルを用いた推論対象画像の超解像処理を、学習処理の処理効率を下げることなく、一定の推論精度で実行することができる画像処理装置、制御方法、並びにプログラムを提供する。
【解決手段】
画像処理装置100は、同一被写体を同時に撮影し生成された、フレームレートFAと解像度XAの動画A及びフレームレートFB(>FA)と解像度XB(<XA)の動画Bを取得し、動画Bを学習済モデルを用いて解像度XAまで高精細化する際、動画Bから高精細化対象画像である画像Byを取得する毎に、画像Byに基づき画像群UAを動画Aから収集し、画像群UAの教師データとしての適否判断結果に応じ、画像群UAを教師データとする学習で生成する学習済モデルM、及び汎用教師画像群Kを教師データとする学習で事前に生成された学習済モデルMGの一方を、上記学習済モデルとして選択する。
【選択図】図3
特許請求の範囲【請求項１】
（基本構成）
同一被写体を異なる解像度及びフレームレートで同時に撮影し生成された２つの動画（Ａ，Ｂ）の夫々のフレーム群である第１及び第２の画像群（Ａ，Ｂ）のうち、フレームレートＦＢと解像度ＸＢを有する前記第２の画像群（B）を、学習済モデルを用いて推論することでフレームレートＦＡ（＜ＦＢ）を有する前記第１の画像群（Ａ）の解像度ＸＡ（＞ＸＢ）まで高精細化する画像処理装置であって、
前記解像度ＸＡを有する教師画像群を用いて学習モデルを学習して前記学習済モデルを生成する学習手段（３０３）と、
前記第２の画像群（Ｂ）から高精細化対象画像（Ｂｙ）を一つ取得する毎に、前記高精細化対象画像に基づき画像群（ＵＡ）を前記第１の画像群（ＴＡ）から収集する収集手段（３０２）と、
前記収集された画像群（ＵＡ）が前記教師画像群として適していると判定した場合（Ｓ７０４でＹ）、前記収集された画像群（ＵＡ）を前記教師画像群として用いて前記学習手段により第１の学習済モデル（Ｍ）を生成し、前記生成された第１の学習済モデル（Ｍ）を前記学習済モデルとして選択する第１の選択手段と、
前記収集された画像群（ＵＡ）が前記教師画像群として適していないと判定した場合（Ｓ７０４でＮ）、予め収集された画像群（Ｋ）を前記教師画像群として用いて前記学習手段により事前に生成された第２の学習済モデル（ＭＧ）を、前記学習済モデルとして選択する第２の選択手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 1,700 文字）【請求項２】
（学習の実行の判断）
前記収集された画像群（ＵＡ）の画像数（Ｄ２への登録数）が所定の数値を超えている場合（Ｓ７０４）、前記収集された画像群（ＵＡ）が前記教師画像群として適していると判断されることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記収集された画像群（ＵＡ）は、前記第１の画像群（ＴＡ）から収集された、前記高精細化対象画像の撮影時刻との差分が閾値より短いフレーム群であることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第２の画像群（B）のうちの前記第１の画像群（ＴＡ）の夫々と同一タイミングで撮影されたみなされるフレーム群（ＴＢ）の中から、前記高精細化対象画像との類似度が閾値より高いフレーム群（ＵＢ）を抽出し、
前記第１の画像群（ＴＡ）のうちの前記抽出されたフレーム群（ＵＢ）と同一タイミングで撮影されたとみなされる画像群を、前記収集された画像群（ＵＡ）とすることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記第２の画像群（B）のうちの前記収集された画像群（ＵＡ）と同一タイミングで撮影されたとみなされるフレーム群（ＵＢ）と、前記高精細化対象画像（Ｂｙ）との類似度の平均が所定値を超えている場合（Ｓ９０４）、前記収集された画像群（ＵＡ）が前記教師画像群として適していると判断されることを特徴とする請求項１記載の画像処理装置。
【請求項６】
（学習モデルの学習前の初期値：学習時間の短縮のため）
前記学習手段は、前記第１の学習済モデル（Ｍ）を生成する際、前記第２の学習済モデル（ＭＧ）を初期値として使用することを特徴とする請求項１記載の画像処理装置。
【請求項７】
（予め保持して置く学習モデルの候補を複数持つ場合のモデル選択方法）
前記予め収集された画像群（Ｋ）には異なる２つの画像群が含まれ、
前記学習手段は、前記異なる２つの画像群の一方を前記教師画像群として用いて第３の学習済モデル（ＭＧ１）を生成すると共に、前記異なる２つの画像群の他方を前記教師画像群として用いて第４の学習済モデル（ＭＧ２）を生成し、
前記高精細化対象画像との類似度の平均が、前記異なる２つの画像群の一方が他方より高い場合、前記第３の学習済モデル（ＭＧ１）を前記第２の学習済モデル（ＭＧ）として選択し、
前記高精細化対象画像との類似度の平均が、前記異なる２つの画像群の一方が他方より高い場合、前記第４の学習済モデル（ＭＧ２）を前記第２の学習済モデル（ＭＧ）として選択することを特徴とする請求項１記載の画像処理装置。
【請求項８】
同一被写体を異なる解像度及びフレームレートで同時に撮影し生成された２つの動画の夫々のフレーム群である第１及び第２の画像群のうち、フレームレートＦＢと解像度ＸＢを有する前記第２の画像群を、学習済モデルを用いて推論することでフレームレートＦＡ（＜ＦＢ）を有する前記第１の画像群の解像度ＸＡ（＞ＸＢ）まで高精細化する画像処理装置の制御方法であって、
前記解像度ＸＡを有する教師画像群を用いて学習モデルを学習して前記学習済モデルを生成する学習ステップと、
前記第２の画像群から高精細化対象画像を一つ取得する毎に、前記高精細化対象画像に基づき画像群を前記第１の画像群から収集する収集ステップと、
前記収集された画像群が前記教師画像群として適していると判定した場合、前記収集された画像群を前記教師画像群として用いて前記学習ステップにおいて第１の学習済モデルを生成し、前記生成された第１の学習済モデルを前記学習済モデルとして選択する第１の選択ステップと、
前記収集された画像群が前記教師画像群として適していないと判定した場合、予め収集された画像群を前記教師画像群として用いて前記学習ステップにおいて事前に生成された第２の学習済モデルを、前記学習済モデルとして選択する第２の選択ステップとを有することを特徴とする制御方法。
【請求項９】
請求項１に記載された画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習を利用して画像群を高精細化する画像処理装置、制御方法、並びにプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
機械学習を用いた超解像技術とは、画像を拡大して解像度変換を行う時に、画素値の線形補間処理では補えない高周波成分を機械学習によって推論することにより高精細な画像を生成する技術である。超解像技術では、まず、画像群Ｇと、画像群Ｇの各画像を任意の方法で劣化させた劣化画像とを教師データとして用いて学習モデルに対する学習処理が行われる。具体的には、原画像と劣化画像の画素値の差分に基づき学習モデルの学習が行われ、学習モデルが保持する超解像処理パラメータを更新することにより学習済モデルが生成される。こうして生成された学習済モデルに対して高周波成分が不足した画像Ｈを入力すると、学習済モデルを用いた推論により高周波成分が取得される。推論により取得された高周波成分を画像Ｈに重ねることで、高精細画像を生成することができる。
【０００３】
一般的に、学習済モデルを利用した製品やサービスが提供される場合、教師データを収集して学習済モデルを生成する処理は開発者によって行われ、生成された学習済モデルがユーザへ提供される。そのため、学習処理を行う時点ではユーザにより入力される画像の内容は未知である。そこで開発者側は、あらゆる推論対象画像に対して均等な精度で推論できるよう、教師データとして画像パターンに偏りのない多種多様な画像を大量に用意して繰り返し学習処理を行うことにより学習済モデルを生成する。
【０００４】
しかしながら、画像パターンに偏りのない多種多様な画像を教師データとして使用した場合、ユーザが指定する推論対象画像と類似度が高い教師データはごく僅かとなる。そのような教師データを用いて学習済モデルが生成された場合、推論対象画像と類似度の低い画像を学習した結果が推論処理に反映されてしまう。このため、被写体のエッジが強調されることによる解像感の向上などに推論結果は留まり、被写体の細かな模様などといった高周波成分を正確に推論することは困難であり、推論精度は高いとは言えない。
【０００５】
このような課題を解決するために、推論対象画像ごとに学習に適した画像を収集し学習を実行して学習済モデルを生成する装置が提案されている。
【０００６】
例えば特許文献１では、同一シーンについて記録された高解像低フレームレートの動画Ａと低解像高フレームレートの動画Ｂの各フレームを用いて学習を行い、生成された学習済モデルを用いて動画Ｂに対して超解像処理を実行する装置が記載される。この装置では、教師データは、推論対象のフレームと同一の動画のフレームに限られ、画像的に類似性が高くなるため、学習済モデルには高い精度が期待できる。これにより、動画Ｂを学習済モデルに入力することで、動画Ａの解像度と動画Ｂのフレームレートを持つ動画Ｃを高い精度で生成することができる。
【０００７】
しかし、特許文献１に記載されるような「推論対象画像ごとに教師画像を収集して学習を実行して学習済モデルを生成する」装置では、収集した教師画像が学習に適さない、教師画像の収集に失敗する、などの可能性がある。特許文献１を例とすると、動画のフレームのうち、フラッシュがたかれた瞬間のフレームが推論対象となった場合、前後フレームとの類似性が低く、動画Ａ，Ｂから教師画像として適した画像（フレーム）を収集することが困難になることが考えられる。このような場合、推論対象画像と類似度の低い画像を学習した結果が推論処理に反映され、推論の精度が大幅に低下してしまうという課題が生じる。
【０００８】
一方、「収集した教師画像が学習に適さない」場合や「教師画像の収集に失敗した」場合、予め用意された学習済モデルを使用することで、推論精度の大幅な低下を抑止することが可能である。
【０００９】
特許文献２には、予め用意された複数の学習済モデルについて、夫々の学習に用いた画像の撮影環境情報と推論対象画像の撮影環境情報とを比較し、その一致度に基づいて使用する学習済モデルを決定する装置が記載されている。
【００１０】
このように、特許文献２の装置では、推論対象画像に応じて、適切に使用する学習済モデルを切り替えることが可能である。
【先行技術文献】
【特許文献】
（【００１１】以降は省略されています）

関連特許