特許ウォッチ

公開番号2025169861
公報種別公開特許公報(A)
公開日2025-11-14
出願番号2024198333
出願日2024-11-13
発明の名称画像処理装置および画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20251107BHJP(電気通信技術)
要約【課題】複数の情報を用いて、より詳細なカメラワークを判定することが可能な画像処理装置および画像処理方法を提供すること。
【解決手段】画像処理装置は、動画から検出された動きベクトルに基づいて撮像装置の移動方向を判定する。画像処理装置は、判定された移動方向と、動画で検出された被写体領域の情報と、動画の撮影時における撮像装置の動きに関する情報とに基づいて、動画の撮影時における撮像装置のカメラワークを判別する。
【選択図】図13
特許請求の範囲【請求項１】
動画から動きベクトルを検出する検出手段と、
前記動画で検出された被写体領域の情報を取得する第１の取得手段と、
前記動画の撮影時における撮像装置の動きに関する情報を取得する第２の取得手段と、
前記動きベクトルに基づいて前記撮像装置の移動方向を判定する判定手段と、
前記移動方向と、前記被写体領域の情報と、前記動きに関する情報とに基づいて、前記動画の撮影時における前記撮像装置のカメラワークを判別する判別手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記検出手段は、前記動画のフレーム全体を分割した複数の領域のそれぞれについて動きベクトルを検出し、
前記判定手段は、前記検出手段が検出した複数の動きベクトルの１つを基準動きベクトルとし、異なる複数の前記基準動きベクトルについて移動方向の候補を求め、前記移動方向の候補のうち、頻度が最大のものを前記撮像装置の移動方向と判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記基準動きベクトルの方向と他の動きベクトルの方向との交点のフレーム内における位置と、前記基準動きベクトルの符号との組み合わせに基づいて、前記移動方向の候補を求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記交点の前記フレーム内における位置が、フレームに対して予め定められた複数の領域のうち前記交点を含む領域の種類であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記複数の領域が、フレームの中央部と、フレームの上下左右の周辺領域とに予め定められていることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記動きに関する情報が、前記撮像装置のピッチ軸およびヨー軸についての軸周りの角速度を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記判別手段は、前記移動方向が右または左の場合、
前記ヨー軸周りの角速度の大きさおよび符号、
被写体領域の位置、
被写体領域の動きベクトルの大きさ
に基づいて、前記カメラワークとしてサークルおよびパンとその方向とを判別することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判別手段は、前記移動方向が右または左の場合、
前記ヨー軸周りの角速度の大きさ、
前記移動方向
に基づいて、前記カメラワークとしてドリーとその方向とを判別することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記撮像装置がジンバル機構を用いている場合、
前記判別手段は、前記移動方向が右または左の場合であっても、前記ピッチ軸についての前記ジンバル機構の制御量の振幅または前記ジンバル機構の回転角度が、前記ヨー軸についての前記ジンバル機構の制御量の振幅または前記ジンバル機構の回転角度より大きい場合には、
被写体領域の位置、
被写体領域の大きさの変化
前記移動方向
に基づいて、前記カメラワークとしてプッシュイン、プルアウト、フォロー、リードを判別する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記判別手段は、前記移動方向が上または下の場合、
前記ピッチ軸周りの角速度の大きさ、
前記移動方向が右か左か
に基づいて、前記カメラワークとしてチルトおよびエレベータとその方向とを判別することを特徴とする請求項６に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
動画の撮影時におけるカメラワーク（カメラの移動方法および撮影技法）を判別することは、例えば撮影された動画を適切に処理する上で有用である。従来、画像内の動きベクトルの分布に基づいて特定のカメラワークを判別する方法が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２００６－３４４１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された従来技術では、動きベクトルの分布の頻度と形状に基づいてカメラワークを判別している。そのため、パン、ズーム、トラックという大まかなカメラワークを判別するにとどまっている。
【０００５】
本発明は一部の実施態様において、複数の情報を用いて、より詳細なカメラワークを判定することが可能な画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本発明はその一態様において、動画から動きベクトルを検出する検出手段と、動画で検出された被写体領域の情報を取得する第１の取得手段と、動画の撮影時における撮像装置の動きに関する情報を取得する第２の取得手段と、動きベクトルに基づいて撮像装置の移動方向を判定する判定手段と、移動方向と、被写体領域の情報と、動きに関する情報とに基づいて、動画の撮影時における撮像装置のカメラワークを判別する判別手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、複数の情報を用いて、より詳細なカメラワークを判定することが可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【０００８】
第１実施形態に係るデジタルカメラの機能構成例を示すブロック図
第１実施形態に係るデジタルカメラが生成する動画ファイルの構成例を示す図
第１実施形態に係る撮影情報生成部の機能構成例を示すブロック図
第１実施形態におけるカメラワーク判別部の動作に関するフローチャート
カメラの水平方向の移動と検出される動きベクトルに関する模式図
カメラの前方への移動と検出される動きベクトルに関する模式図
図４のＳ４０２の詳細に関するフローチャート
図７のＳ７０２の詳細に関するフローチャート
図７のＳ７０２で実施する処理を説明するための図
図７のＳ７０２で実施する処理を説明するための図
図７のＳ７０２で実施する処理を説明するための図
第１実施形態における移動方向の推定例を示す図
図４のＳ４０５の詳細に関するフローチャート
図１３のＳ１３０２の詳細に関するフローチャート
図１３のＳ１３０４の詳細に関するフローチャート
図１３のＳ１３０６の詳細に関するフローチャート
第１実施形態で判別可能なカメラワークの一覧を示す図
第２実施形態に係るジンバルカメラの外観例を示す図
第２実施形態に係るジンバルカメラの機能構成例を示すブロック図
歩きながらの撮影における誤判別について説明するための図
（Ａ）は歩きながらの撮影におけるジンバル制御量の時間変化を示す図、（Ｂ）は歩きながらの撮影時のジンバルカメラの模式図
第２実施形態におけるカメラワーク判別処理に関するフローチャート
第３実施形態を説明するための図
第３実施形態におけるカメラ移動方向判定処理に関するフローチャート
第３実施形態における動きベクトルの角度を示す図
動きベクトルの角度ヒストグラムの例を示す図
図２４のＳ２４０４の詳細に関するフローチャート
図２４のＳ２４０５の詳細に関するフローチャート
図２８のＳ２８０１の詳細に関するフローチャート
図２８のＳ２８０２の詳細に関するフローチャート
第３実施形態における動きベクトルの部分領域に関する模式図
移動被写体によって検出される動きベクトルに関する模式図
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
なお、以下では、本発明を画像処理装置の一例としてのデジタルカメラで実施する形態について説明する。しかし、本発明に撮像機能は必須でなく、１つ以上の演算回路またはプロセッサを有する任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、スマートフォン、スマートウォッチ、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。
（【００１１】以降は省略されています）

関連特許