特許ウォッチ

公開番号2024056212
公報種別公開特許公報(A)
公開日2024-04-23
出願番号2022162948
出願日2022-10-11
発明の名称画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
出願人株式会社リコー
代理人個人
主分類H04N 23/698 20230101AFI20240416BHJP(電気通信技術)
要約【課題】画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラムを提供すること。
【解決手段】
画像処理装置10は、第1の画像(補正画像F)および第2の画像(補正画像R)が入力される画像入力手段(206)を含む。第1の撮影画像(補正画像F)における第2の撮影画像(補正画像R)との重複領域(F0)内で、つなぎ位置を求めるための複数の対象領域(F0_u,F0_l)は、第1の撮影画像および第2の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している。
【選択図】図5
特許請求の範囲【請求項１】
少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段
を含み、
前記第１の撮影画像における前記第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、前記第１の撮影画像および前記第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している、画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記複数の対象領域を設定する設定手段
をさらに含む、請求項１に記載の画像処理装置。
【請求項３】
前記複数の対象領域各々にマッチする前記第２の撮影画像上の複数の対応領域各々の位置を算出する算出手段
をさらに含む、請求項２に記載の画像処理装置。
【請求項４】
前記複数の対象領域は、２つの対象領域であり、前記複数の対象領域のうちのサイズが小さい一方は、他方よりも近距離にある被写体が配置されやすい傾向にある箇所である、請求項１に記載の画像処理装置。
【請求項５】
前記第１の撮影画像および前記第２の撮影画像は、全天球画像またはパノラマ画像のフォーマットの画像であり、前記複数の対象領域は、垂直方向における赤道を境にして配置される、請求項１に記載の画像処理装置。
【請求項６】
前記設定手段によって設定された前記複数の対象領域各々に対して前記算出手段により算出された位置に基づいて、前記画像入力手段に入力される第１の撮影画像および第２の撮影画像を合成する画像合成処理手段
をさらに含む、請求項３に記載の画像処理装置。
【請求項７】
前記第１の撮影画像および前記第２の撮影画像間には、前記重複領域とは異なる第２の重複領域があり、前記設定手段は、前記第２の重複領域内で、それぞれつなぎ位置を求めるための複数の第２の対象領域を設定し、前記算出手段は、前記複数の第２の対象領域各々にマッチする複数の第２の対応領域各々の位置を算出する、請求項３に記載の画像処理装置。
【請求項８】
前記複数の対象領域のうちの一の対象領域に関し、前記設定手段は、前記複数の対応領域のうちの前記一の対象領域に対応する一の対応領域の位置を走査し、前記算出手段は、前記一の対象領域の画像と前記一の対応領域の画像とがマッチするスコアを評価し、最大のスコアを示す前記一の対応領域の位置を求める、請求項３に記載の画像処理装置。
【請求項９】
前記一の対象領域に関し、前記設定手段は、さらに前記一の対象領域の位置を走査することを特徴とし、前記算出手段は、前記一の対象領域の画像と、前記一の対応領域の画像との最大の前記スコアを与える前記一の対象領域の位置および前記一の対応領域の位置の組み合わせを求める、請求項８に記載の画像処理装置。
【請求項１０】
前記第１の撮影画像および前記第２の撮影画像は、当該画像処理装置と一体または別体の撮像装置が備える第１の撮像手段および第２の撮像手段であって、互いに、水平面において異なる方向を撮像し、かつ、前記水平面において視野が一部重複するように構成された前記第１の撮像手段および前記第２の撮像手段によりそれぞれ撮像された画像であり、前記並べられる方向は、左右方向であり、前記直交方向は、上下方向であり、前記撮像装置は、上部また下部に設置部位が設けられる、請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理技術に関し、より詳細には、画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
従来、パノラマ画像や全天球画像など３６０度の範囲を撮像する撮像装置が知られている。このような撮像装置においては、複数の広角レンズまたは魚眼レンズを用いて撮像した画像をつなぎ合わせて１枚の画像を生成する。従来の画像つなぎ合わせ技術においては、撮像された複数の各画像に対し歪み補正および射影変換を行い、処理後の画像間の重複部分において、パターンマッチングなどにより、被写体が重なるつなぎ位置を検出する。その他、処理の高速化のため、つなぎ位置検出を行わずにつなぎ合わせる被写体距離を固定して画像をつなぎ合わせる技術も知られている。
【０００３】
例えば、全天球動画像のつなぎ合わせに関連して、特開２０２１－１１７９２４号公報（特許文献１）が知られている。特許文献１は、第１の画像および第２の画像が入力される画像入力手段と、画像入力手段に入力される画像間の複数の箇所各々のつなぎ位置を記憶する記憶手段と、複数の箇所各々について、記憶手段に記憶された過去のつなぎ位置の有効性を評価する評価手段と、有効性が基準を満たした箇所の記憶手段に記憶された過去のつなぎ位置に基づいて、画像入力手段に入力される第１の画像および第２の画像に基づく合成処理を実行する画像合成処理手段とをさらに含む画像処理装置を開示する。
【０００４】
しかしながら、上記従来技術は、被写体距離に応じて画像をつなぎ合わせるため高精度につなぎ合わせることが可能であるが、かかるつなぎ検出処理は、通常、時間を要する。このため、上記動画像をリアルタイムで配信する場合、フレームレートの低下やレイテンシの増加につながり、必ずしも十分なものではなかった。一方で、つなぎ合わせる被写体距離を固定する技術では、固定にした距離以外に位置している被写体がつながらない点で、充分なものではなかった。
【０００５】
上記背景から、複数の広角レンズまたは魚眼レンズで撮影した互いに重複する重複領域を有する複数の画像を合成する際に、被写体の距離に応じた画像つなぎ処理における精度および速度の両立が求められていた。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、従来技術における上記点に鑑みてなされたものであり、重複領域を有する複数の画像を合成する際に、精度および速度の観点で両立しながら、被写体の距離に応じた画像つなぎ合わせが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示では、上記課題を解決するために、下記特徴を有する画像処理装置を提供する。本画像処理装置は、少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段を含む。第１の撮影画像における第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、第１の撮影画像および第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している。
【発明の効果】
【０００８】
上記構成により、重複領域を有する複数の画像を合成する際に、精度および速度の観点で両立しながら、被写体の距離に応じた画像つなぎ合わせが可能となる。
【図面の簡単な説明】
【０００９】
図１は、本実施形態による全天球撮像デバイスを示す外観図である。
図２は、本実施形態による全天球撮像デバイスを示す断面図である。
図３は、本実施形態による全天球撮像デバイスのハードウェア構成を示す。
図４は、本実施形態による全天球撮像デバイスを制御するために用いることができる情報端末のハードウェア構成図である。
図５は、本実施形態による全天球撮像デバイス上に実現される全天球動画像合成処理の主要な機能ブロック図である。
図６は、本実施形態による全天球撮像デバイスにおける射影関係を説明する図である。
図７は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。
図８は、本実施形態による変換データを説明する図である。
図９は、本実施形態によるつなぎ位置検出および画像合成処理の際における、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。
図１０は、（Ａ）テンプレート画像と、（Ｂ）パターンマッチングにより探索範囲でテンプレート画像を探索する処理を説明する図である。
図１１は、本実施形態における、全天球撮像デバイスおよび情報端末を含み構成されるビデオ会議システムの設置状態を示す図である。
図１２は、本実施形態におけるつなぎ検出処理を説明する図である。
図１３は、図１１に示すビデオ会議の使用態様で典型的にみられる被写体Ｏｎｅａｒ，Ｏｆａｒの画面上の配置の傾向を説明する図である。
図１４は、本実施形態によるつなぎ位置検出処理においてテンプレート画像を生成する対象領域および比較画像を生成する対応領域の走査を説明する図である。
図１５は、本実施形態による全天球撮像デバイスが実行する、つなぎ位置検出処理のフローチャートである。
図１６は、本実施形態において、変換テーブルを修正するための画素毎のつなぎ位置を含むつなぎ位置テーブルのデータ構造を示す図である。
図１７は、本実施形態において、変換テーブルを修正するためのつなぎ位置テーブルを生成する処理を説明する図である。
図１８は、本実施形態において、変換後の画像合成処理を説明する図である。
図１９は、本実施形態において、変換後の画像合成処理を説明する図である。
図２０は、追加の実施形態による、移動体である車両に４つの撮像体を備えた場合を模式的に示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理装置、画像処理システムおよび撮像装置の一例として、２つの魚眼レンズを光学系に含む撮像体を備えるとともに、２つの魚眼レンズで撮像した２つの部分画像に対し歪曲補正および射影変換を行い、画像つなぎ合わせを行って、全天球画像を生成する画像処理機能を備えた、全天球撮像デバイス１０を用いて説明する。
（【００１１】以降は省略されています）

関連特許