特許ウォッチ

公開番号2025177333
公報種別公開特許公報(A)
公開日2025-12-05
出願番号2024084062
出願日2024-05-23
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類H04N 23/68 20230101AFI20251128BHJP(電気通信技術)
要約【課題】防振処理の処理時間が長くなること。
【解決手段】撮像装置で撮像された連続する画像のうち所定フレーム数だけ離れた画像間のブレ量に基づき、1フレーム当たりの第1ブレ量を算出する画像ブレ量算出手段(205)と、撮像装置の揺れに応じて検出された複数フレーム分の慣性情報に基づき、1フレーム当たりの第2ブレ量を算出する慣性ブレ量算出手段(202)と、第2ブレ量から第1ブレ量を減算した差分を、慣性情報から減算することで、撮像装置で撮像された連続する画像の防振に用いる第3ブレ量を算出するブレ量合成手段(206)と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
撮像装置で撮像された連続する画像のうち所定フレーム数だけ離れた画像間のブレ量に基づき、１フレーム当たりの第１ブレ量を算出する画像ブレ量算出手段と、
前記撮像装置の揺れに応じて検出された複数フレーム分の慣性情報に基づき、前記１フレーム当たりの第２ブレ量を算出する慣性ブレ量算出手段と、
前記第２ブレ量から前記第１ブレ量を減算した差分を、前記慣性情報から減算することで、前記撮像装置で撮像された連続する画像の防振に用いる第３ブレ量を算出するブレ量合成手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 950 文字）【請求項２】
前記慣性ブレ量算出手段は、前記１フレーム当たりの前記第２ブレ量を、前記複数フレーム分の前記慣性情報を前記１フレーム当たりに変換したジャイロブレ量を平均化して算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記慣性情報は、前記１フレームごとに、互いに直交する３つの軸のそれぞれの慣性回転量に基づいて算出されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記３つの軸は、パン軸、チルト軸及びロール軸であり、
前記慣性回転量は、前記パン軸、前記チルト軸及び前記ロール軸のそれぞれの角速度で表されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記慣性ブレ量算出手段は、前記それぞれの角速度と、前記撮像装置のフレームレートとに基づいて、前記ジャイロブレ量に換算することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像間の前記ブレ量は、前記所定フレーム数だけ離れた前記画像間のうち一方の画像で検出された特徴点の座標に３次元の回転処理を行って得た回転座標と、前記所定フレーム数だけ離れた前記画像間のうち他方の画像で検出された特徴点の座標と、の誤差が最小となる画像回転量であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像回転量は、互いに直交する３つの軸のそれぞれの回転量であって、パン軸、チルト軸及びロール軸のそれぞれのベクトルで表されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記慣性回転量が増加するにつれ、前記所定フレーム数は小さく設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記慣性情報を解析した解析情報に基づいて、前記所定フレーム数を決定する解析手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記解析手段は、前記解析情報として、前記慣性情報から生成した周波数成分を利用することを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、映像のブレ補正機能に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、撮像装置で撮像された映像の防振技術が多く提案されている。例えば、ジャイロセンサーにより取得した撮像装置の回転量を表す慣性情報に基づいて算出したブレ量により映像の防振処理を行う防振技術がある。また、例えば、撮像装置により撮像された映像に基づいて算出したブレ量により映像の防振処理を行う防振技術もある。
【０００３】
ジャイロセンサーを利用した防振技術は、ロバスト性が高く、計算量も少ないといった利点もあるが、ジャイロセンサーに固有のオフセット成分が慣性情報に含まれ、慣性情報には撮像装置の並進成分が含まれないといった欠点もある。また、撮像された映像を利用した防振技術は、撮像装置の回転成分だけでなく並進成分も含まれるといった利点もあるが、ロバスト性に欠け、ブレ量の算出にはフレームごとの画像の特徴点の処理のような時間を要する処理が含まれるといった欠点もある。
【０００４】
両者の欠点を補完する方法としては特許文献１の技術が提案されている。特許文献１では、慣性情報に基づくブレ量だけでなく撮像装置により撮像された映像に基づくブレ量も用いて補正することで精度を高めている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１８－２０５５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１では、慣性情報に基づくブレ量と撮像装置に基づく画像のブレ量とをフレーム単位で合成することから、撮像された映像に基づくブレ量を毎フレーム算出する必要があり、防振処理の処理時間が長くなるという課題があった。
【課題を解決するための手段】
【０００７】
本開示の一態様にかかる画像処理装置は、撮像装置で撮像された連続する画像のうち所定フレーム数だけ離れた画像間のブレ量に基づき、１フレーム当たりの第１ブレ量を算出する画像ブレ量算出手段と、前記撮像装置の揺れに応じて検出された複数フレーム分の慣性情報に基づき、前記１フレーム当たりの第２ブレ量を算出する慣性ブレ量算出手段と、前記第２ブレ量から前記第１ブレ量を減算した差分を、前記慣性情報から減算することで、前記撮像装置で撮像された連続する画像の防振に用いる第３ブレ量を算出するブレ量合成手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本開示によれば、防振処理における精度維持と高速化を両立できる。
【図面の簡単な説明】
【０００９】
本開示の物理構成を説明する図である。
図１の画像処理装置の論理構成を示すブロック図である。
本開示の概略を説明するグラフである。
ジャイロブレ量及び画像ブレ量の両方が１フレームごとに算出された図である。
ジャイロブレ量が１フレームごとに算出され、画像ブレ量が５フレームごとに算出された図である。
５フレームおきのジャイロブレ量と図５の画像ブレ量との差分の算出の概念図である。
図６の差分に基づく１フレームおきの合成ブレ量の算出の概念図である。
映像ファイルに含まれる慣性情報を説明する図である。
図１のディスプレイに表示されるＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を説明する図である。
実施例１の動作例を説明するフローチャートである。
図１０のＳ１００６の第１ブレ量を概略的に示す図である。
図１０のＳ１００７の第２ブレ量を概略的に示す図である。
図１０のＳ１００８の差分を概略的に示す図である。
図１０のＳ１００９の第３ブレ量を概略的に示す図である。
ブレ量と画像の関係を説明する図である。
実施例２の論理構成を示すブロック図である。
実施例２の低周波部分と高周波部分とで画像ブレ量のフレーム間隔を変更させた概要図である。
実施例２の慣性情報の解析結果を説明する図である。
実施例２の概略を説明するグラフである。
実施例２の動作例を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本開示の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は本開示事項を限定するものではなく、また以下の実施の形態で説明されている特徴の組み合わせすべてが本開示の解決手段に必須のものとは限らない。尚、同一の構成要素には同一の参照番号を付す。
（【００１１】以降は省略されています）

関連特許