特許ウォッチ

公開番号2024057977
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022165020
出願日2022-10-13
発明の名称撮影支援装置、撮影支援装置の制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20240418BHJP(電気通信技術)
要約【課題】複数のレンズで取得された画像同士を繋ぎ合わせるスティッチ処理の際に、繋ぎ目が不連続になりにくい画像を容易に撮影可能にするための技術を提供する。
【解決手段】異なる方向を向いた複数のレンズを有する撮影装置による撮影を支援する撮影支援装置であって、前記複数のレンズを介して取得された第1の画像及び第2の画像が、画像同士を繋ぎ合わせるスティッチ処理に適している度合いを示すスティッチ適性度を算出する算出部と、前記スティッチ適性度を報知する報知部とを備える。
【選択図】図2
特許請求の範囲【請求項１】
異なる方向を向いた複数のレンズを有する撮影装置による撮影を支援する撮影支援装置であって、
前記複数のレンズを介して取得された第１の画像及び第２の画像が、画像同士を繋ぎ合わせるスティッチ処理に適している度合いを示すスティッチ適性度を算出する算出手段と、
前記スティッチ適性度を報知する報知手段と、
を備えることを特徴とする撮影支援装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１の画像及び前記第２の画像の重複部分をスティッチ領域として設定する設定手段と、
前記第１の画像又は前記第２の画像から前記スティッチ領域の画像を抜き出して生成する生成手段と、をさらに備え、
前記算出手段は、前記スティッチ領域の画像に基づいて前記スティッチ適性度を算出することを特徴とする請求項１に記載の撮影支援装置。
【請求項３】
前記算出手段は、前記スティッチ領域の画像に基づいて、画像同士を繋いだ場合に画像同士が不連続に見えにくい度合いを示すエッジ適性度を、前記スティッチ適性度として算出することを特徴とする請求項２に記載の撮影支援装置。
【請求項４】
前記算出手段は、前記スティッチ領域の画像に基づいて、画像同士を繋ぐ際の位置合わせのしやすさを示す特徴点適性度を、前記スティッチ適性度として算出することを特徴とする請求項２に記載の撮影支援装置。
【請求項５】
前記算出手段は、
前記スティッチ領域の画像に基づいて、画像同士を繋いだ場合に画像同士が不連続に見えにくい度合いを示すエッジ適性度を算出し、
前記スティッチ領域の画像に基づいて、画像同士を繋ぐ際の位置合わせのしやすさを示す特徴点適性度を算出し、
前記エッジ適性度と前記特徴点適性度とに基づいて前記スティッチ適性度を算出することを特徴とする請求項２に記載の撮影支援装置。
【請求項６】
前記設定手段は、前記第１の画像及び前記第２の画像に複数の重複部分がある場合、前記複数の重複部分のすべてを複数のスティッチ領域として設定することを特徴とする請求項２に記載の撮影支援装置。
【請求項７】
前記設定手段は、
前記第１の画像及び前記第２の画像に第１の重複部分及び第２の重複部分がある場合、前記第１の重複部分を第１のスティッチ領域として設定し、前記第２の重複部分を第２のスティッチ領域として設定し、
前記第１のスティッチ領域及び前記第２のスティッチ領域の形状及び位置関係が維持された前記第１の画像又は前記第２の画像におけるそれぞれの領域を第１のスティッチ領域候補及び第２のスティッチ領域候補として設定することを特徴とする請求項６に記載の撮影支援装置。
【請求項８】
前記設定手段は、前記第１の画像と前記第２の画像の前記重複部分の形状をした前記第１の画像又は前記第２の画像における領域をスティッチ領域候補としてさらに設定することを特徴とする請求項２に記載の撮影支援装置。
【請求項９】
前記生成手段は、前記第１の画像又は前記第２の画像から前記スティッチ領域候補の画像を抜き出してさらに生成し、
前記算出手段は、前記スティッチ領域候補の画像に基づいて第２のスティッチ適性度をさらに算出し、
前記報知手段は、前記スティッチ適性度よりも前記第２のスティッチ適性度の方が高い場合には、前記スティッチ領域候補をさらに報知することを特徴とする請求項８に記載の撮影支援装置。
【請求項１０】
前記報知手段は、前記スティッチ領域候補の画像を前記スティッチ領域の位置へ移動させるために必要な撮影装置の回転動作を促すインジケータをさらに報知することを特徴とする請求項９に記載の撮影支援装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮影支援装置、撮影支援装置の制御方法及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、複数の画像から、３６０°の全周囲の画像を生成する技術が普及しつつある。３６０°の全周囲の画像を生成するためには、複数の画像を1つの画像にスティッチする（繋ぎ合わせる）必要がある。
【０００３】
単一のレンズを持つ撮影装置で複数回の撮影を行い、複数の方向を撮影した画像をスティッチするシステムは広く普及している。このようなシステムでは、画像を連続的にスティッチするために、撮影する画像の視野範囲が重複部分を持つように、ユーザの目分量で撮影の方向を決める必要がある。これに対して、特許文献１は、単一のレンズを持つ撮影装置で複数の方向を撮影した画像の視野角が重複部分を持つように、撮影する方向を決める支援する方法を開示している。
【０００４】
一方、単一のレンズの撮影装置では３６０°の全周囲を同時に撮影することはできないものの、複数のレンズを用いて複数の方向を同時に撮影した画像をスティッチして、３６０°の全周囲の画像を生成するシステムも知られている。
【先行技術文献】
【特許文献】
【０００５】
特開２００８－３０６２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数のレンズを用いて複数の方向を同時に撮影する場合は、スティッチ領域（繋ぎ目となる部分）について１つのレンズで撮影したのと同じような画像を生成することは難しい。レンズ間に距離があり、ノーダルポイント（焦点の中心位置）が異なるため、距離が近い物体の像の形状が重複部分の画像間で異なるからである。特に、距離が近い物体が重複部分に写っていると、スティッチ領域の画像が不連続になりやすい。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、複数のレンズで取得された画像同士を繋ぎ合わせるスティッチ処理の際に、繋ぎ目が不連続になりにくい画像を容易に撮影可能にするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成する本発明の一態様による撮影支援装置は、
異なる方向を向いた複数のレンズを有する撮影装置による撮影を支援する撮影支援装置であって、
前記複数のレンズを介して取得された第１の画像及び第２の画像が、画像同士を繋ぎ合わせるスティッチ処理に適している度合いを示すスティッチ適性度を算出する算出手段と、
前記スティッチ適性度を報知する報知手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数のレンズで取得された画像同士を繋ぎ合わせるスティッチ処理の際に、繋ぎ目が不連続になりにくい画像を容易に撮影することが可能となる。
【図面の簡単な説明】
【００１０】
一実施形態に係る撮影支援装置のハードウェア構成の一例を示す図。
実施形態１に係る撮影支援装置が実施する処理の手順を示すフローチャート。
実施形態１に係る撮影支援装置が実施するスティッチ適性度を算出する処理の詳細を示すフローチャート。
実施形態２に係る撮影支援装置が実施する処理の手順を示すフローチャート。
（ａ）～（ｈ）一実施形態に係る報知表示のためのインジケータの例を示す図。
（ａ）及び（ｂ）一実施形態に係る歪曲補正画像の一例を示す図、（ｃ）～（ｅ）抜き出し画像の一例を示す図。
（ａ）及び（ｂ）一実施形態に係るプレビュー表示を伴った報知例を示す図。
一実施形態に係る重複部分が複数存在する場合の処理及び報知例の説明図。
（ａ）～（ｄ）一実施形態に係るエッジ抽出画像の一例を示す図。
（ａ）一実施形態に係るエッジ適性度を算出する処理の手順を示すフローチャート、（ｂ）一実施形態に係るエッジ抽出フィルタの一例を示す図。
（ａ）～（ｃ）一実施形態に係る特徴点抽出処理を説明する図。
（ａ）～（ｃ）一実施形態に係る特徴点抽出処理を説明する図。
一実施形態に係る特徴点適性度を算出する処理の手順を示すフローチャート。
一実施形態に係る撮影支援装置の機能構成の一例を示す図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許