特許ウォッチ

公開番号2024102668
公報種別公開特許公報(A)
公開日2024-07-31
出願番号2023006713
出願日2023-01-19
発明の名称画像処理装置及びその制御方法、プログラム、記憶媒体
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20240724BHJP(電気通信技術)
要約【課題】動画像から静止画を生成する場合に、適切に動感を表現した画像を生成することができる画像処理装置を提供する。
【解決手段】動画像データの中から抽出された少なくとも1つの画像データに動体ブレを付加して、第1の画像データを生成する第1の生成手段と、動画像データの中から抽出された複数の画像データを合成して、第2の画像データを生成する第2の生成手段と、動画像データを撮像した撮像装置に関する情報と被写体に関する情報の少なくとも一方に基づいて、第1の生成手段と第2の生成手段を選択する選択手段と、選択手段により選択された第1の生成手段または第2の生成手段により生成された第1の画像データまたは第2の画像データを記録する記録手段と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
動画像データの中から抽出された少なくとも１つの画像データに動体ブレを付加して、第１の画像データを生成する第１の生成手段と、
前記動画像データの中から抽出された複数の画像データを合成して、第２の画像データを生成する第２の生成手段と、
前記動画像データを撮像した撮像装置に関する情報と被写体に関する情報の少なくとも一方に基づいて、前記第１の生成手段と第２の生成手段を選択する選択手段と、
前記選択手段により選択された前記第１の生成手段または前記第２の生成手段により生成された前記第１の画像データまたは前記第２の画像データを記録する記録手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 890 文字）【請求項２】
前記第１の生成手段は、予めＤｅｅｐＬｅａｒｎｉｎｇによって学習したデータに基づいて、抽出された画像データにおける動き被写体を推定し、動き被写体に対して動体ブレを付加することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の生成手段は、抽出された複数の画像データを加算し、１つの前記第２の画像データを出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の生成手段は、抽出された複数の画像データを加算平均し、１つの前記第２の画像データを出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮像装置に関する情報とは、シャッター速度、フレームレート、前記撮像装置の振れ量の少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記選択手段は、前記シャッター速度が閾値以上の場合に、前記第１の生成手段を選択し、前記シャッター速度が前記閾値未満の場合に、前記第２の生成手段を選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記振れ量は、前記撮像装置に配置されたジャイロセンサーにより検出されることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記被写体に関する情報とは、抽出された画像データに特定の被写体が含まれるか否かの情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記特定の被写体とは、予測モデルから出力される予測結果の精度が所定の値よりも低い被写体であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記選択手段は、抽出された画像データに前記特定の被写体が含まれない場合に、前記第１の生成手段を選択し、前記特定の被写体が含まれる場合に、前記第２の生成手段を選択することを特徴とする請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、動画像から静止画像を生成可能な画像処理装置に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
従来から知られている、動画の撮影中に静止画を記録可能な撮像装置の概略的な構成を図４に示す。図４において、例えばＣＭＯＳセンサー等の撮像素子及び光学系を含む撮像部４０１で光電変換された画像信号は、Ａ／Ｄ変換部４０２を経てカメラ信号処理部４０３に送られる。
【０００３】
カメラ信号処理部４０３で信号処理された画像データにおいて、静止画用の静止画像データは、例えば半導体記憶装置で構成される静止画用記録媒体４０４に記録される。一方、動画像データはビデオ信号処理部４０５により信号処理された後に、例えば、磁気テープ、半導体メモリ、記録可能なＤＶＤディスク等の動画用記録媒体４０６に記録される。
【０００４】
さらに、ビデオ信号処理部４０５の出力は表示制御部４０７に出力されて、表示装置であるＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）４０８で表示される。ＬＣＤ４０８は、静止画用記録媒体４０４に記録された静止画像データ、動画用記録媒体４０６に記録された動画像データを表示するとともに、ビューファインダとしての機能も有する。したがって、ＬＣＤ４０８は、記録の開始前に撮像部４０１で撮影している動画像データの表示、撮影中の動画像データの表示、静止画用記録媒体４０４に記録する前に取り込んだ画像のチェックのための静止画像データの表示をすることが可能である。
【０００５】
なお、図４に示す撮像装置は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）４０９が設けられ、メモリ４１０に記憶されているアプリケーションプログラムに従って各種の動作が制御される。それらの動作は、ユーザが操作する操作部４１１から入力される各種操作信号に従って実行される。
【０００６】
近年のデジタルカメラは、動画像の記録中に静止画像を撮影することが可能である。その際、動画撮影中に静止画記録ボタンが押されると、カメラ信号処理部４０３に送られてくる動画用画像データの１フレームが静止画像データとして抜き出される。そして、この静止画像データが静止画用記録媒体４０４に記録される。
【０００７】
ここで、動画像の記録中に静止画像を撮影する場合、静止画像の撮影に比較的長い露光時間を与えたい、すなわち長秒露光を行いたい場合がある。この場合、静止画像に必要な露光時間が動画像の１フレームの時間より長くなると、動画像データが途切れて不連続な動画となる課題がある。
【０００８】
このような課題の対策として、特許文献１には、動画像のフレーム画像から、静止画像に必要とされる露光時間よりも短い露光時間の静止画像を生成し、この露光時間の短い静止画像を複数合成して１枚の静止画像を得る技術が開示されている。こうすることにより、動画像データが途切れることなく長秒露光に相当する静止画像データを合成し出力することができる。
【先行技術文献】
【特許文献】
【０００９】
特開平５－２７６４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記の特許文献１に開示された方法においては、動画像データの撮影中にビデオカメラに振動が加えられると、フレーム画像間の画角のずれにより、合成されるべき複数の静止画像に画角のずれが生じてしまう。そのため、これらの複数の静止画像を合成して得られた１枚の静止画像が、手振れを起こしたようなボケた写真となる場合がある。
（【００１１】以降は省略されています）

関連特許