TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2022095312
公報種別公開特許公報(A)
公開日2022-06-28
出願番号2020208567
出願日2020-12-16
発明の名称撮像装置
出願人キヤノン株式会社
代理人特許業務法人 谷・阿部特許事務所
主分類H04N 5/232 20060101AFI20220621BHJP(電気通信技術)
要約【課題】撮像画像から、注目する被写体が所定の位置に配置された構図の画像領域を効率良く切り出す処理を行うこと。
【解決手段】光電変換部101は、レンズなどを通して入射される光を電気信号に変換する機能を持つ。動きベクトル算出部102は、動画像内に存在する、背景を含めた全ての被写体の動きの方向と大きさを示す動きベクトルを動画像の各フレームについて算出する機能を持つ。特定領域設定部103は、動画像内で注目する被写体の領域(被写体画像領域)を動画像の各フレームについて設定する機能を持つ。動的切り出し部104は、動きベクトル算出部102で生成された動きベクトルと、特定領域設定部103で設定した被写体画像領域とに基づき、動画像の各フレームについて切り出し画像領域を決定する。そして動的切り出し部104は、決定した切り出し画像領域に対応するフレームを動画像として出力する。
【選択図】図1
特許請求の範囲【請求項1】
入射光を電気信号に変換して第1の動画像を生成する光電変換手段と、
前記第1の動画像から動きベクトルを算出する算出手段と、
前記第1の動画像に対して、注目するオブジェクトに対応する注目画像領域を設定する設定手段と、
前記設定手段が設定した前記注目画像領域と前記算出手段が算出した前記動きベクトルとに基づき、前記第1の動画像に対して前記注目画像領域を含む切り出し画像領域を設定し、当該切り出し画像領域に対応する第2の動画像を出力する切り出し手段と、
を備えたことを特徴とする撮像装置。
続きを表示(約 1,800 文字)【請求項2】
入射光を電気信号に変換して第1の動画像を生成する光電変換手段と、
前記第1の動画像から動きベクトルを算出する算出手段と、
前記第1の動画像に対して切り出し画像領域を設定し、当該切り出し画像領域に対応する第2の動画像を出力する切り出し手段と、
前記第2の動画像に対して、注目するオブジェクトに対応する注目画像領域を設定する設定手段と、
を備え、
前記切り出し手段は、前記設定手段が設定した前記注目画像領域と前記算出手段が算出した前記動きベクトルとに基づき前記切り出し画像領域を補正して、補正された前記切り出し画像領域に対応する第3の動画像を出力する、
ことを特徴とする撮像装置。
【請求項3】
入射光を電気信号に変換して第1の動画像を生成する光電変換手段と、
前記第1の動画像に対して注目するオブジェクトに対応する注目画像領域を設定する設定手段と、
前記設定手段が設定した前記注目画像領域の位置に基づき、前記第1の動画像に対して所定の切り出し画像領域を設定し、当該切り出し画像領域に対応する第2の動画像を出力する切り出し手段と、
前記第2の動画像から動きベクトルを算出する算出手段と、
を備え、
前記切り出し手段は、前記設定手段が設定した前記注目画像領域と前記算出手段が算出した前記動きベクトルとに基づき前記切り出し画像領域を補正して、補正された前記切り出し画像領域に対応する第3の動画像を出力する、
ことを特徴とする撮像装置。
【請求項4】
入射光を電気信号に変換して第1の動画像を生成する光電変換手段と、
前記第1の動画像に基づく画像に対して所定の切り出し画像領域を設定し、当該切り出し画像領域の第2の動画像を出力する切り出し手段と、
前記第2の動画像から動きベクトルを算出する算出手段と、
前記第2の動画像から、注目するオブジェクトに対応する注目画像領域を設定する設定手段と、
を備え、
前記切り出し手段は、前記設定手段が設定した前記注目画像領域と前記算出手段が算出した前記動きベクトルとに基づき前記切り出し画像領域を補正して、補正された前記切り出し画像領域に対応する第3の動画像を出力する、
ことを特徴とする撮像装置。
【請求項5】
前記切り取り手段は、前記設定手段が前記切り出し画像領域を設定するフレームに対して前記注目画像領域を設定していない場合、前記動きベクトルに基づき直近の前記注目画像領域を補正し、補正して得られた注目画像領域に基づき前記切り出し画像領域を設定する、
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記切り取り手段は、前記算出手段が前記切り出し画像領域を設定するフレームに対して前記動きベクトルを算出していない場合、直近の前記動きベクトルが算出されたフレームと前記切り出し画像領域を設定するフレームとの間のフレーム数に応じて直近の前記動きベクトルを補正する、
ことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
【請求項7】
前記算出手段、前記設定手段、および前記切り出し手段の少なくとも1つが前記光電変換手段と同一の集積回路に実装されている、
ことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
【請求項8】
前記切り出し手段は、前記注目するオブジェクトを前記第1の動画像から見失った場合、前記第1の動画像を出力する、
ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
【請求項9】
前記切り出し手段は、前記注目するオブジェクトを前記第1の動画像から見失った場合、前記切り出し画像領域を拡大する、
ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
【請求項10】
前記設定手段は、前記注目するオブジェクトに装着されたマーカー、又は前記注目するオブジェクトに装着された電子機器から受信する座標情報に基づき、前記注目画像領域を取得する、
ことを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、撮像センサから出力された撮像画像の画像処理技術に関する。
続きを表示(約 1,900 文字)【背景技術】
【0002】
電子機器が備える撮像センサで生成された動画像は、電子機器内外へ伝送されたり、記憶媒体や記憶装置に保存されたり、表示装置で再生されたりする。近年、デジタルカメラで扱われる動画像の画素数は高解像度化が進んでおり、フルHD(2K)より高解像度な4K、8Kの動画像である場合もある。
【0003】
一方、動きながら撮像するのに適したアクションカメラやウェアラブルカメラなどでは、撮像領域に対して相対的に動く被写体を高確率で撮像領域内に納めるために広角で撮像されることが多い。被写体を広角、高解像度で撮像して得られた動画像は、その後PCやスマートフォンなどで動画編集ソフトを使って、注目する被写体が中心または視覚的に好適な位置に配置される構図となる画像領域が切り出される場合も多い。
【0004】
特許文献1では、被写体の動き予測情報に基づいて撮像画像から切り出す画像領域を決定して切り出す方法が開示されている。特許文献1では、撮像センサから出力された撮像画像に対して手動操作によって検出領域が設定されると、動き検出回路が検出領域内の動きベクトルを検知し、検出された動きベクトルに応じて切り出し枠の移動を行う。このように撮像しながら画像の切り出しを行うことで、その後の画像処理の負荷を低減することが可能となる。しかしながら、特許文献1では、撮像センサから出力された撮像画像から画像領域を切り出す場合、撮像画像を一旦メモリに保存し、メモリから読み出した画像に対して画像処理を行う必要がある。その結果、切り出し処理を行うとメモリへの画像の入出力が増大し、消費電力も増大するという課題がある。
【0005】
撮像センサ以降の画像処理の負荷、消費電力、を抑える技術の例として、特許文献2が挙げられる。当該従来技術では、動き予測情報に基づいてセンサ撮像領域から読み出す任意の領域を決定し、その後さらに任意の領域を切り出すように制御する。また、動き予測情報を演算する部分を撮像素子内に実施することもできる。このようにすれば、小型化が進んでいるデジタルカメラ、デジタルビデオカメラ、アクションカメラやウェアラブルカメラにとって画像処理の負荷低減することが可能となる。
【先行技術文献】
【特許文献】
【0006】
特開平6―14323号公報
特開2019-121941号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、当該従来技術は、防振のために動き検出機能を撮像センサ外、もしくは撮像センサ内に持ち、撮影された動画像の全体の動きを検知して、動きの大きさと方向によって切り出す位置を決定する。このため、撮影された動画像の画面内から被写体を探し当て、その被写体が中心、または好適な画角に納まるような画像サイズ切り出しは実施できない。例えば、アクションカメラ全体の消費電力とストレージを抑えるような効果を得るために、撮像センサ内でまず4K撮影をして、被写体が好適な画角位置に納まるように撮像センサから出力する際に2K画像に切り出すことはできない。また、より広範囲かつ高解像度で被写体を撮像するためには、切り出し前の動画像撮像を8Kなどより高解像度にした方がより効果的である。しかし撮像センサの外、すなわち撮像センサの処理よりも後段の処理で画像サイズ切り出しを行う場合は、消費電力やストレージ消費が増大する。
【0008】
そこで本発明は、撮像画像から、注目する被写体が所定の位置に配置された構図の画像領域を効率良く切り出す処理を行うことを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明は、入射光を電気信号に変換して第1の動画像を生成する光電変換手段と、前記第1の動画像から動きベクトルを算出する算出手段と、前記第1の動画像に対して、注目するオブジェクトに対応する注目画像領域を設定する設定手段と、前記設定手段が設定した前記注目画像領域と前記算出手段が算出した前記動きベクトルとに基づき、前記第1の動画像に対して前記注目画像領域を含む第2の画像領域を設定し、当該切り出し画像領域に対応する第2の動画像を出力する切り出し手段と、を備えたことを特徴とする。
【発明の効果】
【0010】
本発明によれば、撮像画像から、注目する被写体が所定の位置に配置された構図の画像領域を効率良く切り出す処理を行うことを可能にする。
【図面の簡単な説明】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

キヤノン株式会社
多面鏡
13日前
キヤノン株式会社
トナー
15日前
キヤノン株式会社
光学機器
6日前
キヤノン株式会社
電子機器
12日前
キヤノン株式会社
撮像装置
12日前
キヤノン株式会社
現像装置
12日前
キヤノン株式会社
定着装置
12日前
キヤノン株式会社
投影装置
15日前
キヤノン株式会社
投影装置
今日
キヤノン株式会社
磁性トナー
6日前
キヤノン株式会社
磁性トナー
15日前
キヤノン株式会社
磁性トナー
6日前
キヤノン株式会社
画像形成装置
6日前
キヤノン株式会社
画像形成装置
6日前
キヤノン株式会社
視線検出装置
6日前
キヤノン株式会社
信号処理装置
13日前
キヤノン株式会社
情報処理装置
13日前
キヤノン株式会社
画像形成装置
6日前
キヤノン株式会社
画像形成装置
7日前
キヤノン株式会社
画像形成装置
12日前
キヤノン株式会社
画像形成装置
11日前
キヤノン株式会社
画像形成装置
4日前
キヤノン株式会社
画像形成装置
6日前
キヤノン株式会社
画像読取装置
11日前
キヤノン株式会社
画像投写装置
8日前
キヤノン株式会社
画像形成装置
18日前
キヤノン株式会社
画像形成装置
18日前
キヤノン株式会社
光電変換素子
18日前
キヤノン株式会社
液晶表示装置
15日前
キヤノン株式会社
画像読取装置
1日前
キヤノン株式会社
振動波駆動装置
8日前
キヤノン株式会社
放射線撮影装置
15日前
キヤノン株式会社
トナー搬送装置
11日前
キヤノン株式会社
投射型表示装置
14日前
キヤノン株式会社
画像形成システム
15日前
キヤノン株式会社
画像形成システム
13日前
続きを見る