特許ウォッチ

公開番号2025044560
公報種別公開特許公報(A)
公開日2025-04-02
出願番号2023152198
出願日2023-09-20
発明の名称画像処理装置、学習装置、画像処理システム、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250326BHJP(計算;計数)
要約【課題】動きのある被写体が含まれる画像に対する推論性能を向上させる。
【解決手段】撮像画像における被写体の動き情報を推定する。そして、被写体の動き情報の推定結果によって撮像画像を分類する分類処理を行い、前記分類処理の結果に基づいて、複数の学習モデルの中から、推論処理に用いる学習モデルを選択する。そして、撮像画像に選択した学習モデルを適用することで推論処理を行う。
【選択図】図4
特許請求の範囲【請求項１】
画像に学習モデルを適用することで推論処理を行う推論手段と、
前記画像における被写体の動き情報を推定する推定手段と、
前記推定手段による推定結果に基づいて、複数の学習モデルの中から、前記推論処理に用いる学習モデルを選択する選択手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記選択手段は、前記推定結果によって前記画像を分類する分類処理を行い、前記分類処理の結果に基づいて、学習モデルを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の学習モデルは、学習データ群の各画像における被写体の動き情報に基づいて、前記選択手段で行われるのと同じ前記分類処理を行って分類して得られた複数の学習データ群ごとに学習されていることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
学習データ群の各画像における被写体の動き情報に基づいて、前記選択手段で行われるのと同じ前記分類処理を行って分類して得られた複数の学習データ群ごとに学習モデルを学習することで、前記複数の学習モデルを生成する学習手段を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記分類処理は、前記推定結果の表す推定値の取り得る範囲を複数の領域に分けて、前記複数の領域のそれぞれに対してグループを割り当てて、前記推定手段による前記推定値が属する前記グループに前記画像を分類する処理であり、
前記選択手段は、前記推定値が属する前記グループに対応する学習モデルを選択することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記複数の領域のうちの少なくとも１つの領域の境界値は、当該領域に隣接する領域に含まれることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記複数の領域のうちの少なくとも１つの領域の境界値は、当該領域とは異なる複数の領域に含まれることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像を連続的に取得する取得手段を更に有し、
前記選択手段は、前記推定値が複数の前記グループに属する場合には、複数の前記グループのうち、以前に取得された前記画像の分類先の前記グループと同一又は近い前記グループを選択して、選択した前記グループに対応する学習モデルを選択することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記選択手段は、前記推定値が複数の前記グループに属する場合に、複数の前記グループのそれぞれに対応する学習モデルを選択し、
前記推論手段は、前記選択手段で選択された学習モデルによる前記推論処理の結果を合わせることで出力値を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記被写体の動き情報は、前記画像内の被写体のモーションブラーの大きさ及び方向の少なくとも何れか一方を表すことを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、ＣＮＮなどのニューラルネットワークのパラメータを学習することで得られる学習モデルを撮像画像に対してリアルタイムに適用する技術が台頭してきている。一般に、教師あり学習により学習したモデルの推論性能は訓練データの量や質に依存する。特に、訓練データを包括するデータ集合に含まれない入力に対する学習モデルの推論性能は、当該データ集合に含まれる入力に対する推論性能に比べて低下する。例えば、撮像装置の条件が学習時と推論時で異なる場合、学習モデルの推論性能が低下することがある。特許文献１では撮像装置の撮像素子や光学系、あるいは撮影モードの違いに応じて学習モデルのパラメータを切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１８６９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
訓練データに含まれる画像や推論対象となる撮像画像の特性は、撮像装置の撮像素子や光学系、あるいは撮影モードのような撮影開始前に確定する条件だけでなく、撮影開始後に変化する条件にも依存する。例えば、被写体の動く速さや方向は撮影開始前には確定せず、かつ撮影中に時々刻々と変化するため、当該被写体のモーションブラーが変化する。しかしながら、特許文献１では画像内の被写体の動きの違いについては対応することができない。したがって、訓練データにない被写体の動きが含まれる撮像画像に対しては、学習モデルの推論性能が低下する可能性がある。
【０００５】
そこで本発明は、動きのある被写体が含まれる画像に対する推論性能を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、画像に学習モデルを適用することで推論処理を行う推論手段と、前記画像における被写体の動き情報を推定する推定手段と、前記推定手段による推定結果に基づいて、複数の学習モデルの中から、前記推論処理に用いる学習モデルを選択する選択手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動きのある被写体が含まれる画像に対する推論性能を向上させることができる。
【図面の簡単な説明】
【０００８】
各装置の機能構成例を示す図である。
各装置のハードウェア構成例を示す図である。
学習装置の実行する処理を示すフローチャートである。
画像処理装置の実行する処理を示すフローチャートである。
被写体の動き情報によるグループ分類の説明図である。
各システムの機能構成例を示す図である。
学習システムの実行する処理を示すフローチャートである。
推論システムの実行する処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、実施形態１～３について説明する。以下の各実施形態では、学習時において、学習データの画像内の被写体の動き情報を推定し、推定した動き情報に基づき学習データをグループに分類する。そしてグループごとの学習データ群に基づき学習モデルの学習を行う。これにより複数の学習モデルが生成される。また、推論時において、推論対象となる撮像画像内の被写体の動き情報を推定し、推定した動き情報に基づき撮像画像をグループに分類する。そして分類されたグループに基づき学習モデルの選択を行い、選択した学習モデルによる推論を行う。
【００１０】
学習モデルの学習の内容については、特に限定されない。例えば、ある画像と当該画像にノイズを付与した画像の組を複数用意し、後者を入力画像データ、前者を出力画像データとした学習データを用いて学習モデルを学習することで、当該学習モデルによる推論ではノイズ除去が行われる。また、高解像画像と低解像画像の組を複数用意し、後者を入力画像データ、前者を出力画像データとした学習データを用いて学習モデルを学習することで、当該学習モデルによる推論では入力画像の解像度を当該解像度よりも高くする超解像処理が行われる。以下では、学習内容が超解像であるとした場合の例について説明するが、この例に限られるものではない。
（【００１１】以降は省略されています）

関連特許