特許ウォッチ

公開番号2024056401
公報種別公開特許公報(A)
公開日2024-04-23
出願番号2022163252
出願日2022-10-11
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 3/40 20240101AFI20240416BHJP(計算;計数)
要約【課題】処理時間のかかる学習拡大処理の効果を事前に容易に確認でき、効率よく画像全体の拡大処理を実施することができる画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】拡大する画像の部分領域を、同じ拡大率で学習拡大処理及び従来拡大処理の夫々を適用して拡大した後、ユーザインターフェース画面300の部分拡大表示領域303に並べて表示する。その後、ユーザインターフェース画面300のチェックボックス304をユーザがチェックした場合、拡大する画像の全体の拡大を行う際に適用される拡大処理に学習拡大処理を決定し、学習拡大処理で拡大する画像の拡大画像を生成する。部分拡大表示領域303に表示される、学習拡大処理を適用して上記部分領域を拡大した画像と、従来拡大処理を適用して上記部分領域を拡大した画像とは、画素数が同じである。
【選択図】図3
特許請求の範囲【請求項１】
拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置であって、
前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、
前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、
前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像を表示する部分拡大表示手段と、
ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、
前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成手段と、を備え、
前記部分拡大表示手段により表示される、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする画像処理装置。
続きを表示（約 2,300 文字）【請求項２】
第一の画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記第一の画像を拡大する画像処理装置であって、
前記第一の画像の第一の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、
前記第一の部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、
前記第一の画像と異なる画素数の第二の画像の第二の部分領域を拡大する第三拡大手段と、
前記第一拡大手段及び前記第二拡大手段を適用して前記第一の部分領域を拡大した画像、および前記第三拡大手段を適用して前記第二の部分領域を拡大した画像を表示する部分拡大表示手段と、
ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記第一の画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、
前記決定された拡大処理を適用して前記第一の画像の拡大画像を生成する拡大画像生成手段と、を備え、
前記部分拡大表示手段により表示される、前記第一拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第二拡大手段を適用して前記第一の部分領域を拡大した画像と、前記第三拡大手段を適用して前記第二の部分領域を拡大した画像とは、夫々の画素数が同じであることを特徴とする画像処理装置。
【請求項３】
前記第一の部分領域と、前記第二の部分領域とは、アスペクト比が同じであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記部分拡大表示手段は、前記第一拡大手段で拡大した画像と、前記第二拡大手段で拡大した画像とを並べて表示することを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記部分拡大表示手段は、前記第一拡大手段で拡大した画像と、前記第二拡大手段で拡大した画像とを切り替えて表示することを特徴とする請求項１又は２記載の画像処理装置。
【請求項６】
前記第二の拡大処理は、ニアレストネイバー法、バイリニア法、バイキュービック法のいずれかを用いた拡大処理であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項７】
前記部分拡大表示手段は、チェックボックスを更に表示し、
前記チェックボックスがユーザによりチェックされた場合、前記決定手段により決定される拡大処理を前記第一の拡大処理とすることを特徴とする請求項６記載の画像処理装置。
【請求項８】
拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置の画像処理方法であって、
前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大ステップと、
前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大ステップと、
前記第一拡大ステップ及び前記第二拡大ステップを適用して前記部分領域を拡大した画像を表示する部分拡大表示ステップと、
ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定ステップと、
前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成ステップと、を有し、
前記部分拡大表示ステップにおいて表示される、前記第一拡大ステップ及び前記第二拡大ステップを適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする画像処理方法。
【請求項９】
第一の画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記第一の画像を拡大する画像処理装置の画像処理方法であって、
前記第一の画像の第一の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大ステップと、
前記第一の部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大ステップと、
前記第一の画像と異なる画素数の第二の画像の第二の部分領域を拡大する第三拡大ステップと、
前記第一拡大ステップ及び前記第二拡大ステップを適用して前記第一の部分領域を拡大した画像、および前記第三拡大ステップを適用して前記第二の部分領域を拡大した画像を表示する部分拡大表示ステップと、
ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記第一の画像の全体の拡大を行う際に適用される拡大処理に決定する決定ステップと、
前記決定された拡大処理を適用して前記第一の画像の拡大画像を生成する拡大画像生成ステップと、を有し、
前記部分拡大表示ステップにより表示される、前記第一拡大ステップを適用して前記第一の部分領域を拡大した画像と、前記第二拡大ステップを適用して前記第一の部分領域を拡大した画像と、前記第三拡大ステップを適用して前記第二の部分領域を拡大した画像とは、夫々の画素数が同じであることを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１又は２に記載の画像処理装置の各手段として機能させる、コンピュータにより実行可能なプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、学習モデルを参照して拡大画像を生成する画像処理装置、画像処理方法及びプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、被写体認識、デモザイク、ノイズ除去、拡大（アップスケール）等の画像処理に学習モデルが広く利用されるようになってきている。
【０００３】
これらの画像処理の一つである拡大（アップスケール）処理は、学習モデルを利用しない従来方法の場合、拡大により不足する情報を補間して拡大画像を生成するため、画像の解像度が低下する問題があった。
【０００４】
一方、学習モデルを利用した拡大処理（以下、学習拡大処理という）は、解像度を低下させることなく画像を拡大することができる一方で、従来の方法を適用した拡大処理と比べ処理に時間がかかるという問題があった。
【０００５】
この問題の解消方法としては、画像の部分領域に対して処理を適用して効果を確認した上で、画像全体に拡大処理を適用するかどうか判断し、効率化を図る方法が考えられる。
【０００６】
このような画像処理を効率よく行う方法として例えば、選択中の複数の画像についての拡大倍率や拡大表示位置の設定を１つの操作で同時に実行し、複数の画像の詳細比較を容易にする方法（例えば特許文献１参照）が挙げられる。また、拡大処理ではなく色補正処理であるが、同一のサムネイルに異なる色補正処理を行い、得られた複数の画像を同時に表示することで、所望の色補正処理を選択する方法（例えば特許文献２参照）によっても、この問題は解消できる。
【先行技術文献】
【特許文献】
【０００７】
特開２００６－５６４０号公報
特開２０００－３００３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の特許文献１，２に開示される従来技術はいずれも、１つの画像を学習拡大処理した場合の効果を確認することは困難という課題がある。特許文献１の方法では、同じ位置を拡大表示することで複数の画像の詳細比較をすることができるが、１つの画像に学習拡大処理を行った場合の効果は確認しづらい。また、特許文献２の方法では、サムネイル画像が利用されているため、１つの画像に対し、複数の色補正処理を行った場合の夫々の効果の差異の視認は容易であるが、複数の拡大処理を行った場合の夫々の細かい領域に対する差異の視認は困難である。
【０００９】
そこで、本発明の目的は、処理時間のかかる学習拡大処理の効果を事前に容易に確認でき、効率よく画像全体の拡大処理を実施することができる画像処理装置、画像処理方法、及びプログラムを提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の請求項１に係る画像処理装置は、拡大する画像を取得し、学習モデルを参照した第一の拡大処理及び前記学習モデルを参照しない第二の拡大処理の一方を適用して前記拡大する画像を拡大する画像処理装置であって、前記拡大する画像の部分領域を、前記第一の拡大処理を適用して拡大する第一拡大手段と、前記部分領域を、前記第二の拡大処理を適用して前記第一の拡大処理と同じ拡大率で拡大する第二拡大手段と、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像を表示する部分拡大表示手段と、ユーザ選択された、前記第一の拡大処理及び前記第二の拡大処理のうちの一方の処理を、前記拡大する画像の全体の拡大を行う際に適用される拡大処理に決定する決定手段と、前記決定された拡大処理を適用して前記拡大する画像の拡大画像を生成する拡大画像生成手段と、を備え、前記部分拡大表示手段により表示される、前記第一拡大手段及び前記第二拡大手段を適用して前記部分領域を拡大した画像は、夫々の画素数が同一であることを特徴とする。
（【００１１】以降は省略されています）

関連特許