TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2019185757
公報種別公開特許公報(A)
公開日20191024
出願番号2019046780
出願日20190314
発明の名称画像処理装置、撮影システム、画像処理方法、及びプログラム
出願人株式会社リコー
代理人
主分類G06T 3/00 20060101AFI20190927BHJP(計算;計数)
要約【課題】全天球画像CEの一部の領域に、全天球画像CEとは別に撮影することで得られた平面画像Pを重畳しようとしても、正距円筒射影画像EC(全天球画像CE)と平面画像Pは射影方式が異なるため、画像のズレが生じるという課題が生じる。
【解決手段】画像処理装置は、画像ECにおいて画像Pに対応する領域CA1を算出し、領域CA1を含む周辺領域画像PIを特定して、重畳画像Sを画像Pの射影方式に変換する。画像処理装置は、変換後の画像S’において、画像Pに対応する領域CA02を算出し、第2の画像をブロック分割して第3の画像にマッチングさせることにより求めた第3の画像における複数の対応ブロックに基づいて領域CA2を求め、領域CA2の射影方式を画像ECの射影方式に逆変換する。画像処理装置は、画像ECにおいて、領域CA2に対応する第3の対応領域CA3を算出し、領域CA3に画像Pを重畳する。
【選択図】図21
特許請求の範囲【請求項1】
第1の射影方式の第1の画像と、第1の射影方式とは異なる第2の射影方式の第2の画像とを取得する取得手段と、
前記第1の画像を前記第2の射影方式に変換し、第3の画像を生成する第1の射影方式変換手段と、
前記第2の画像及び前記第3の画像からそれぞれ複数の特徴点を抽出する抽出手段と、
前記抽出手段でそれぞれ抽出した前記第2の画像の複数の特徴点及び前記第3の画像の複数の特徴点に基づいて前記第3の画像における前記第2の画像に対応する第2の対応領域を求める対応領域算出手段と、
前記第2の画像をブロック分割して前記第3の画像にマッチングさせることにより求めた前記第3の画像における複数のブロックに基づいて、前記第2の対応領域を補正する対応領域補正手段と、
前記補正後の第2の対応領域に含まれる所定の複数の点を、前記第1の射影方式に変換する第2の射影方式変換手段と、
前記第2の射影方式変換手段で変換した前記所定の複数の点の前記第1の画像における位置情報を求める位置算出手段と、
前記位置算出手段により求めた位置情報を前記第2の画像の複数の点と対応付けて記憶する記憶手段と、
を有することを特徴とする画像処理装置。
続きを表示(約 1,600 文字)【請求項2】
前記対応領域補正手段は、
前記第2の画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段によって分割された各ブロックを、前記第3の画像上にマッチングするマッチング手段と、
前記マッチング手段によってマッチングされた前記第3の画像上の対応ブロックの所定の点に対して、前記第2の対応領域における代表点からの動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルに基づいて、前記第2の対応領域における代表点を補正することで、前記第2の対応領域を補正する代表点補正手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記対応領域補正手段は、
前記動きベクトル算出手段によって算出された動きベクトルを、前記第1の画像と前記第3の画像における類似度に基づいて補正する動きベクトル補正手段を有し、
前記代表点補正手段は、前記ベクトル補正手段による補正後の動きベクトルに基づいて、前記第2の対応領域における代表点を補正することで、前記第2の対応領域を補正することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
請求項2に記載の画像処理装置であって、
前記対応領域補正手段は、
前記動きベクトル算出手段によって算出された動きベクトルを、前記第3の画像における輝度の分散値に基づいて補正する動きベクトル補正手段を有し、
前記代表点補正手段は、前記ベクトル補正手段による補正後の動きベクトルに基づいて、前記第2の対応領域における代表点を補正することで、前記第2の対応領域を補正することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記画像処理装置は、スマートフォン、タブレット型パソコン、ノートパソコン、デスクトップパソコン、又はサーバコンピュータであることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
【請求項6】
請求項1乃至5に記載の画像処理装置と、
被写体を撮像し、前記第1の射影方式の前記第1の画像を得る第1の撮影装置と、
被写体を撮像し、前記第2の射影方式の前記第2の画像を得る第2の撮影装置と、
を有することを特徴とする撮影システム。
【請求項7】
第1の射影方式の第1の画像と、第1の射影方式とは異なる第2の射影方式の第2の画像とを取得する取得ステップと、
前記第1の画像を前記第2の射影方式に変換し、第3の画像を生成する第1の射影方式変換ステップと、
前記第2の画像及び前記第3の画像からそれぞれ複数の特徴点を抽出する抽出ステップと、
前記抽出ステップでそれぞれ抽出した前記第2の画像の複数の特徴点及び前記第3の画像の複数の特徴点に基づいて前記第3の画像における前記第2の画像に対応する第2の対応領域を求める対応領域算出ステップと、
前記第2の画像をブロック分割して前記第3の画像にマッチングさせることにより求めた前記第3の画像における複数のブロックに基づいて、前記第2の対応領域を補正する対応領域補正ステップと、
前記補正後の第2の対応領域に含まれる所定の複数の点を、前記第1の射影方式に変換する第2の射影方式変換ステップと、
前記第2の射影方式変換ステップで変換した前記所定の複数の点の前記第1の画像における位置情報を求める位置算出ステップと、
前記位置算出ステップにより求めた位置情報を前記第2の画像の複数の点と対応付けて記憶する記憶ステップと、
を実行する特徴とする画像処理方法。

発明の詳細な説明【技術分野】
【0001】
本発明は、画像処理装置、撮影システム、画像処理方法、及びプログラムに関するものである。
続きを表示(約 11,000 文字)【背景技術】
【0002】
従来、広角の平面画像のうちの一部の領域に、広角の平面画像とは別に撮影することで得られた拡大の平面画像を嵌め込むことで、上記一部の領域を拡大しても鮮明な画像を表示することができる技術が開示されている(特許文献1参照)。
【0003】
ところで、近年、一度の撮影で、360°の全天球画像の元になる2つの半球画像データを得る特殊なデジタルカメラが提供されている(特許文献2参照)。このデジタルカメラは、2つの半球画像データに基づいて1つの正距円筒射影画像データを作成し、スマートフォン等の通信端末に正距円筒射影画像データを送信する。正距円筒射影画像データを得た通信端末は、正距円筒射影画像データに基づいて全天球画像を作成する。但し、そのままでは画像が湾曲して利用者が見えづらいため、通信端末に全天球画像の一部の所定領域を示す所定領域画像を表示させることで、利用者は一般のデジタルカメラで撮影された平面画像と同じ感覚で閲覧することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、例えば、全天球画像の一部の領域に、全天球画像とは別に撮影することで得られた平面画像を重畳等する場合のように、射影方式が異なる一方の画像に他方の画像を重畳等すると、画像のズレが生じるという課題が生じる。
【課題を解決するための手段】
【0005】
請求項1に係る発明は、第1の射影方式の第1の画像と、第1の射影方式とは異なる第2の射影方式の第2の画像とを取得する取得手段と、前記第1の画像を前記第2の射影方式に変換し、第3の画像を生成する第1の射影方式変換手段と、前記第2の画像及び前記第3の画像からそれぞれ複数の特徴点を抽出する抽出手段と、前記抽出手段でそれぞれ抽出した前記第2の画像の複数の特徴点及び前記第3の画像の複数の特徴点に基づいて前記第3の画像における前記第2の画像に対応する第2の対応領域を求める対応領域算出手段と、前記第2の画像をブロック分割して前記第3の画像にマッチングさせることにより求めた前記第3の画像における複数のブロックに基づいて、前記第2の対応領域を補正する対応領域補正手段と、前記補正後の第2の対応領域に含まれる所定の複数の点を、前記第1の射影方式に変換する第2の射影方式変換手段と、前記第2の射影方式変換手段で変換した前記所定の複数の点の前記第1の画像における位置情報を求める位置算出手段と、前記位置算出手段により求めた位置情報を前記第2の画像の複数の点と対応付けて記憶する記憶手段と、を有することを特徴とする画像処理装置である。
【発明の効果】
【0006】
以上説明したように本発明によれば、射影方式が異なる一方の画像に他方の画像を合わせても、画像のずれを抑制することができるという効果を奏する。
【図面の簡単な説明】
【0007】
(a)は特殊撮影装置の左側面図であり、(b)は特殊撮影装置の背面図であり、(c)は特殊撮影装置の平面図であり、(d)は特殊撮影装置の底面図である。
特殊撮影装置の使用イメージ図である。
(a)は特殊撮影装置で撮影された半球画像(前)、(b)は特殊撮影装置で撮影された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。
(a)は正距円筒射影画像で球を被う状態を示した概念図、(b)は全天球画像を示した図である。
全天球画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
(a)は図5の立体斜視図、(b)は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。
所定領域情報と所定領域Tの画像との関係を示した図である。
本発明の第1の実施形態に係る撮影システムの概略図である。
アダプタの斜視図である。
撮影システムの使用イメージ図である。
特殊撮影装置のハードウェア構成図である。
一般撮影装置のハードウェア構成図である。
スマートフォンのハードウェア構成図である。
第1の実施形態に係る撮影システムの機能ブロック図である。
(a)は連携撮影装置管理テーブルの概念図、(b)連携撮影装置設定画面を示す概念図である。
第1の実施形態に係る画像・音処理部の詳細な機能ブロック図である。
対応領域補正部の詳細図である。
重畳表示メタデータの構成図である。
(a)は第2の対応領域における各格子領域を示した概念図、(b)は第3の対応領域における各格子領域を示した概念図である。
第1の実施形態に係る撮影方法を示したシーケンス図である。
重畳表示パラメータの作成処理の過程における画像の概念図である。
周辺領域画像を特定する際の概念図である。
対応領域補正部の処理を示した概念図概念図である。
動きベクトルの概念について説明する図である。
類似度および輝度の分散値に基づく補正処理を示し、(a)は類似に基づく有効度X、(b)は輝度の分散に基づく有効度Yについて説明する図である。
補正後の動きベクトルにより代表点を補正する処理の概念について説明する図である。
対応領域補正部の他の処理を示した概念図である。
第2の対応領域CA02を平面画像Pと同じ数だけ分割した場合の全ての代表点を示した図である。
動きベクトルの補正に関する概念について説明する図である。
動きベクトルの補正に関する概念について説明する図であり、(a)は非共有点における補正位置、(b)は2つのブロックにおける共有点の補正位置、(c)は4つのブロックにおける共有点の補正位置をそれぞれ示す概念図である。
ブロックマッチングおよび補正の有効又は無効の判定を用いた場合の補正前および補正後の重畳合成位置を示した図である。
第2の対応領域を複数の格子領域に分割する際の概念図である。
正距円筒射影画像ECにおいて第3の対応領域を示す概念図である。
補正パラメータの作成処理の過程における画像の概念図である。
重畳の処理の課程における画像の概念図である。
全天球画像に平面画像を重畳した場合の二次元の概念図である。
全天球画像に平面画像を重畳した場合の三次元の概念図である。
本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。
本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。
(a)重畳表示しない場合のワイド画像の表示例、(b)重畳表示しない場合のテレ画像の表示例、(c)重畳表示する場合のワイド画像の表示例、(d)重畳表示する場合のテレ画像の表示例を示した概念図である。
本発明の第2の実施形態に係る撮影システムの概略図である。
画像処理サーバのハードウェア構成図である。
第2の実施形態に係る撮影システムの機能ブロック図である。
第2の実施形態に係る画像・音処理部の詳細な機能ブロック図である。
第2の実施形態に係る撮影方法を示したシーケンス図である。
【発明を実施するための形態】
【0008】
以下、図面を用いて、本発明の実施形態について説明する。なお、後述の全天球画像は第1の画像の一例であり、重畳画像は第2の画像の一例である。周辺領域画像は第3の画像の一例である。
【0009】
〔実施形態の概要〕
以下、本実施形態の概要について説明する。
【0010】
まずは、図1乃至図7を用いて、全天球画像の生成方法について説明する。
【0011】
まず、図1を用いて、特殊撮影装置1の外観を説明する。特殊撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は特殊撮影装置の左側面図であり、図1(b)は特殊撮影装置の背面図であり、図1(c)は特殊撮影装置の平面図であり、図1(d)は特殊撮影装置の底面図である。
【0012】
図1(a),図1(b),図1(c),図(d)に示されているように、特殊撮影装置1の上部には、正面側(前側)に魚眼型のレンズ102a及び背面側(後側)に魚眼型のレンズ102bが設けられている。特殊撮影装置1の内部には、後述の撮像素子(画像センサ)103a,103bが設けられており、それぞれレンズ102a、102bを介して被写体や風景を撮影することで、半球画像(画角180°以上)を得ることができる。特殊撮影装置1の正面側と反対側の面には、シャッターボタン115aが設けられている。また、特殊撮影装置1の側面には、電源ボタン115b、Wi-Fi(Wireless Fidelity)ボタン115c、及び撮影モード切替ボタン115dが設けられている。電源ボタン115b、及びWi-Fiボタン115cは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン115dは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン115a、電源ボタン115b、Wi-Fiボタン115c、及び撮影モード切替ボタン115dは、操作部115の一部であり、操作部115は、これらのボタンに限られない。
【0013】
また、特殊撮影装置1の底部150の中央には、カメラ用三脚に特殊撮影装置1や一般撮影装置3を取り付けるための三脚ねじ穴151が設けられている。また、底部150の左端側には、Micro USB(Universal Serial Bus)端子152が設けられている。底部150の右端側には、HDMI(High-Definition Multimedia Interface)端子153が設けられている。なお、HDMIは登録商標である。
【0014】
次に、図2を用いて、特殊撮影装置1の使用状況を説明する。なお、図2は、特殊撮影装置の使用イメージ図である。特殊撮影装置1は、図2に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
【0015】
次に、図3及び図4を用いて、特殊撮影装置1で撮影された画像から正距円筒射影画像EC及び全天球画像CEが作成されるまでの処理の概略を説明する。なお、図3(a)は特殊撮影装置1で撮影された半球画像(前側)、図3(b)は特殊撮影装置で撮影された半球画像(後側)、図3(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図4(a)は正距円筒射影画像で球を被う状態を示した概念図、図4(b)は全天球画像を示した図である。
【0016】
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、特殊撮影装置1によって合成され、図3(c)に示されているように、正距円筒射影画像ECが作成される。
【0017】
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像CEは、静止画であっても動画であってもよい。
【0018】
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像CEの一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
【0019】
なお、図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
【0020】
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下では、仮想カメラICの撮影方向(ea,aa)と画角(α)を用いて説明する。
【0021】
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
【0022】
L/f=tan(α/2)・・・(式1)
〔第1の実施形態〕
続いて、図8乃至図40を用いて、本発明の第1の実施形態について説明する。
【0023】
<撮影システムの概略>
まずは、図8を用いて、本実施形態の撮影システムの構成の概略について説明する。図8は、本実施形態の撮影システムの構成の概略図である。
【0024】
図8に示されているように、本実施形態の撮影システムは、特殊撮影装置1、一般撮影装置3、スマートフォン5、及びアダプタ9によって構成されている。特殊撮影装置1はアダプタ9を介して一般撮影装置3に接続されている。
【0025】
これらのうち、特殊撮影装置1は、上述のように、被写体や風景等を撮影して全天球(パノラマ)画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。
【0026】
一般撮影装置3は、デジタル一眼レフカメラであるが、コンパクトデジタルカメラであってもよい。一般撮影装置3には、後述の操作部315の一部であるシャッターボタン315aが設けられている。
【0027】
スマートフォン5は、Wi-Fi、Bluetooth(登録商標)、NFC(Near Field Communication)等の近距離無線通信技術を利用して、特殊撮影装置1及び一般撮影装置3と無線通信を行なうことができる。また、スマートフォン5では、自装置に設けられた後述のディスプレイ517に、特殊撮影装置1及び一般撮影装置3からそれぞれ取得した画像を表示することができる。
【0028】
なお、スマートフォン5は、近距離無線通信技術を利用せずに、有線ケーブルによって特殊撮影装置1及び一般撮影装置3と通信を行なうようにしてもよい。また、スマートフォン5は、画像処理装置の一例であり、画像処理装置には、タブレット型PC(Personal Computer:パーソナルコンピュータ)、ノートPC、デスクトップPCも含まれる。なお、スマートフォンは、後述の通信端末の一例でもある。
【0029】
また、図9は、アダプタの斜視図である。図9に示されているように、アダプタ9は、シューアダプタ901、ボルト902、上部アジャスタ903、及び下部アジャスタ904によって構成されている。これらのうち、シューアダプタ901は、一般撮影装置3のアクセサリシューにスライドして取り付けられる。このシューアダプタ901の中心に、三脚ねじ穴151に回転して取り付けられるボルト902が設けられている。このボルト902には、回転可能に、上部アジャスタ903及び下部アジャスタ904が設けられている。上部アジャスタ903は、ボルト902に取り付けた物(例えば、特殊撮影装置1)を固定する役割を果たす。下部アジャスタ904は、シューアダプタ901を取り付けた物(例えば、一般撮影装置3)を固定する役割を果たす。
【0030】
図10は、撮影システムの使用イメージ図である。図10に示されているように、利用者は、スマートフォン5を衣服のポケットに入れ、アダプタ9を用いて特殊撮影装置1を取り付けた一般撮影装置3で被写体等の撮影を行なう。なお、スマートフォン5は、衣服のポケットに入れずに、特殊撮影装置1や一般撮影装置3と無線通信可能な範囲に置いてもよい。
【0031】
<<実施形態のハードウェア構成>>
次に、図11及び図13を用いて、本実施形態の特殊撮影装置1、一般撮影装置3及びスマートフォン5のハードウェア構成を詳細に説明する。
【0032】
<特殊撮影装置のハードウェア構成>
まず、図11を用いて、特殊撮影装置1のハードウェア構成を説明する。図11は、特殊撮影装置1のハードウェア構成図である。以下では、特殊撮影装置1は、2つの撮像素子を使用した全天球(全方位)特殊撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮影装置1と同じ機能を有するようにしてもよい。
【0033】
図11に示されているように、特殊撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、電子コンパス118、ジャイロセンサ119、加速度センサ120、及び端子121によって構成されている。
【0034】
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【0035】
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
【0036】
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているような正距円筒射影画像のデータを作成する。
【0037】
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
【0038】
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。特殊撮影装置1によっては、ディスプレイ(例えば、スマートフォン5のディスプレイ517)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0039】
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置1にはディスプレイが設けられていないが、表示部を設けてもよい。
【0040】
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
【0041】
CPU111は、特殊撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0042】
操作部115は、シャッターボタン115aなどの操作ボタンの総称である。ユーザは操作部115を操作することで、種々の撮影モードや撮影条件などを入力する。
【0043】
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してスマートフォン5等の外部端末(装置)に送信されたりする。
【0044】
通信部117は、特殊撮影装置1に設けられたアンテナ117aを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン5等の外部端末(装置)と通信を行う。この通信部117によっても、正距円筒射影画像のデータをスマートフォン5等の外部端末(装置)に送信することができる。
【0045】
電子コンパス118は、地球の磁気から特殊撮影装置1の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
【0046】
ジャイロセンサ119は、全天球カメラ20の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
【0047】
加速度センサ120は、3軸方向の加速度を検出するセンサである。特殊撮影装置3aは、加速度センサ120が検出した加速度に基づいて、自装置(特殊撮影装置3a)の姿勢(重力方向に対する角度)を算出する。特殊撮影装置3aに、ジャイロセンサ119と加速度センサ120の両方が設けられることによって、画像補正の精度が向上する。
【0048】
端子121は、Micro USB用の凹状の端子である。
【0049】
<一般撮影装置のハードウェア構成>
次に、図12を用いて、一般撮影装置のハードウェアについて説明する。図12は、一般撮影装置3のハードウェア構成図である。図12に示されているように、一般撮影装置3は、撮像ユニット301、画像処理ユニット304、撮像制御ユニット305、マイク308、音処理ユニット309、バス310、CPU311、ROM312、SRAM313、DRAM314、操作部315、ネットワークI/F316、通信部317、アンテナ317a、電子コンパス318、及びディスプレイ319によって構成されている。画像処理ユニット304及び撮像制御ユニット305は、バス310を介してCPU311と接続される。
【0050】
各構成304、310、311、312、313、314、315、316、317、317a、318は、それぞれ、図11の特殊撮影装置1における各構成104、110、111、112、113、114、115、116、117、117a、118と同様の構成であるため、その説明を省略する。
(【0051】以降は省略されています)

関連特許

株式会社リコー
電気機器
株式会社リコー
電子黒板
株式会社リコー
画像形成装置
株式会社リコー
画像表示装置
株式会社リコー
乾燥装置、印刷装置
株式会社リコー
液体を吐出する装置
株式会社リコー
ステレオカメラ装置
株式会社リコー
液体を吐出する装置
株式会社リコー
自動スプレー塗装装置
株式会社リコー
インクジェット記録装置
株式会社リコー
エレクトロクロミック素子
株式会社リコー
予測方法及び予測システム
株式会社リコー
冷却装置及び画像形成装置
株式会社リコー
液体吐出装置及び制御方法
株式会社リコー
情報処理装置及び起動方法
株式会社リコー
表示システム、及び表示方法
株式会社リコー
定着装置および画像形成装置
株式会社リコー
液体吐出装置および制御方法
株式会社リコー
給送装置、及び、画像形成装置
株式会社リコー
エレクトロクロミックデバイス
株式会社リコー
液体吐出装置及び液体吐出方法
株式会社リコー
情報処理装置およびプログラム
株式会社リコー
液体吐出装置及び液体吐出方法
株式会社リコー
操作パネルおよび画像形成装置