特許ウォッチ

公開番号2025019984
公報種別公開特許公報(A)
公開日2025-02-07
出願番号2024024825
出願日2024-02-21
発明の名称画像処理装置および画像処理方法、ならびに撮像装置
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 3/4046 20240101AFI20250131BHJP(計算;計数)
要約【課題】ブロックごとに画像をアップスケーリングする方法を用いて元画像の部分領域をアップスケーリングした画像を生成する際に生じる従来技術の課題を少なくとも抑制することが可能な画像処理装置を提供する。
【解決手段】画像処理装置は、ブロックごとにアップスケーリング処理を実行し、ブロックごとのアップスケーリング画像を1つのアップスケーリング画像に合成する。画像処理装置は、元画像の部分領域のアップスケーリング画像を生成する場合、部分領域を、元画像における部分領域の位置に関わらず、予め定められた位置で複数のブロックに分割する。
【選択図】図4
特許請求の範囲【請求項１】
画像を複数のブロックに分割する分割手段と、
前記ブロックごとにアップスケーリング処理を実行する処理手段と、
前記ブロックごとのアップスケーリング画像を１つのアップスケーリング画像に合成する合成手段とを有し、
元画像の部分領域のアップスケーリング画像を生成する場合、
前記分割手段は、前記部分領域を、前記元画像における前記部分領域の位置に関わらず、予め定められた位置で複数のブロックに分割する、
ことを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記部分領域のアップスケーリング画像を生成する場合、
前記分割手段は、前記元画像の全体を前記予め定められた位置で複数のブロックに分割し、
前記処理手段は、前記複数のブロックのうち、前記部分領域を含まないブロックには前記アップスケーリング処理を実行しない、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段が合成した前記１つのアップスケーリング画像から、前記部分領域に対応する部分を切り出す切り出し手段をさらに有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記部分領域のアップスケーリング画像を生成する場合、
前記分割手段は、前記元画像から切り出された前記部分領域を前記予め定められた位置で複数のブロックに分割する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記処理手段は、前記複数のブロックのうち、画素が存在しない領域を含むブロックについて、存在しない画素を補填してから前記アップスケーリング処理を実行することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記処理手段は、前記画素が存在しない領域を含むブロックの位置を前記部分領域内に移動させることにより、前記存在しない画素を補填することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記合成手段は、画素が補填されたブロックのアップスケーリング画像については、画素が補填される前に該ブロックに含まれていた部分に対応する領域だけを合成に用いることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記処理手段は、前記複数のブロックのうち、前記画素が存在しない領域の割合が閾値以下のブロックについては、存在しない画素の補填を行わないことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記予め定められた位置が、前記ブロックのサイズの倍数に基づくことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記処理手段が、前記ブロックを入力画像とする学習済みの機械学習モデルを用いて前記アップスケーリング処理を実行し、
前記ブロックのサイズが、前記学習済みの機械学習モデルが対応可能な入力画像のサイズに応じて定まる、
ことを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、ならびに撮像装置に関し、特に画像を拡大する技術に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
画像を拡大する（画素数を増加させる）技術は、アップスケーリングとも呼ばれ、広く用いられている。また、近年では学習済みの機械学習モデルを用いたアップスケーリング（以下、機械学習(ML)ベースのアップスケーリングともいう）が注目されている（特許文献１）。
【０００３】
アップスケールする画像サイズが大きい（画素数が多い）ほど、アップスケーリングに必要なメモリ量や演算量は増加する。特にＭＬベースのアップスケーリングでは必要なメモリ量や演算量が画像サイズの増加に対して指数関数的に増加する。これに対し、画像をより小さな特定サイズのブロック単位でアップスケーリングすることで、１ブロックのアップスケーリング処理に必要なメモリ量で、様々なサイズの画像をアップスケーリングすることができる。
【先行技術文献】
【特許文献】
【０００４】
特表２０２２－５０５２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
元画像の部分領域（所望部分）だけをアップスケールしたい場合、
（１）元画像の全体をアップスケールしたのち、所望部分に対応した領域を切り出す
（２）元画像から所望部分を切り出し、切り出した部分をアップスケーリングする
の２通りの処理方法が考えられる。これらの処理方法において、特許文献１に記載されるようなブロック単位のアップスケーリングを適用した場合、以下の問題が生じる。
【０００６】
（１）の方法では所望部分を含まないブロックに対するアップスケーリング処理が無駄になる。また、（２）の方法では、切り出した所望部分をブロックに分割するため、元画像と各ブロックとの位置関係が所望部分の位置に応じて変化する。そのため、所望部分に含まれる同一領域のアップスケーリング結果が、所望部分の切り出し位置によって変化する。これらの問題は、ＭＬベースのアップスケーリングに限らず、バイキュービック補間など、画素値の補間に基づくアップスケーリングでも発生する。
【０００７】
本発明はその一態様において、ブロックごとに画像をアップスケーリングする方法を用いて元画像の部分領域をアップスケーリングした画像を生成する際に生じる従来技術の課題を少なくとも抑制することが可能な画像処理装置を提供する。
【課題を解決するための手段】
【０００８】
本発明はその一態様において、画像を複数のブロックに分割する分割手段と、ブロックごとにアップスケーリング処理を実行する処理手段と、ブロックごとのアップスケーリング画像を１つのアップスケーリング画像に合成する合成手段とを有し、元画像の部分領域のアップスケーリング画像を生成する場合、分割手段は、部分領域を、元画像における部分領域の位置に関わらず、予め定められた位置で複数のブロックに分割する、ことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、ブロックごとに画像をアップスケーリングする方法を用いて元画像の部分領域をアップスケーリングした画像を生成する際に生じる従来技術の課題を少なくとも抑制することが可能な画像処理装置を提供できる。
【図面の簡単な説明】
【００１０】
実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図
第１実施形態におけるアップスケーリング処理に関するフローチャート
第２実施形態におけるアップスケーリング処理に関するフローチャート
アップスケール処理におけるブロック分割位置について説明するための図
第２実施形態におけるアップスケール処理を説明するための図る際の模式図
第３実施形態におけるアップスケーリング処理に関するフローチャート
第３実施形態におけるブロック分割を説明するための図
第４実施形態におけるブロックサイズの決定処理に関するフローチャート
第４実施形態における余分画素数の算出処理を説明するための図
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許