特許ウォッチ

公開番号2024131411
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023041650
出願日2023-03-16
発明の名称画像処理システム、画像処理方法及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20240920BHJP(計算;計数)
要約【課題】仮想視点映像から画質の良い仮想視点画像を容易に生成できない虞がある。
【解決手段】画像処理システム100は、複数の撮像装置により撮像されることで得られる複数の撮像画像に基づいて生成された仮想視点画像であって、複数の前記仮想視点画像に基づいて生成された仮想視点映像を取得し、前記仮想視点映像から、仮想視点画像に対応する仮想視点からの視線方向と、前記複数の撮像装置のうち特定の撮像装置の視線方向と、が成す角度が所定の値より小さい当該特定の撮像装置により撮像されることで得られる前記撮像画像に基づいて前記仮想視点画像を生成する。
【選択図】図1
特許請求の範囲【請求項１】
複数の撮像装置により撮像されることで得られる複数の撮像画像に基づいて生成された仮想視点画像であって、複数の前記仮想視点画像に基づいて生成された仮想視点映像を取得する取得手段と、
前記仮想視点映像から、仮想視点画像に対応する仮想視点からの視線方向と、前記複数の撮像装置のうち特定の撮像装置の視線方向と、が成す角度が所定の値より小さい当該特定の撮像装置により撮像されることで得られる前記撮像画像に基づいて前記仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理システム。
続きを表示（約 1,100 文字）【請求項２】
前記特定の撮像装置は、前記仮想視点画像に対応する仮想視点の位置に基づいて特定されることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記特定の撮像装置は、前記仮想視点画像に対応する仮想視点の位置に最も近い位置に位置する前記撮像装置であることを特徴とする請求項２に記載の画像処理システム。
【請求項４】
更に、前記生成手段により生成された前記仮想視点画像を表示する表示手段を有することを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記生成手段は、前記仮想視点映像から、仮想視点画像に対応する仮想視点からの視線方向と前記仮想視点の位置に最も近い位置に位置する前記撮像装置の視線方向とが成す前記角度が所定の値より小さい複数の仮想視点画像を生成し、
更に、前記生成手段により生成された前記複数の仮想視点画像のうち、１つの仮想視点画像を特定する特定手段を有すること
を特徴とする請求項１に記載の画像処理システム。
【請求項６】
前記特定手段は、ユーザ操作に基づいて、前記複数の仮想視点画像のうち、１つの仮想視点画像を特定することを特徴とする請求項５に記載の画像処理システム。
【請求項７】
前記仮想視点の位置に最も近い位置に位置する前記撮像装置は、特定の被写体を撮像する前記撮像装置であることを特徴とする請求項１に記載の画像処理システム。
【請求項８】
前記生成手段は、前記特定の被写体に対応する領域を切り抜いた前記仮想視点画像を生成することを特徴とする請求項７に記載の画像処理システム。
【請求項９】
前記生成手段により生成される前記仮想視点画像は、前記仮想視点映像を含むコンテンツのサムネイル画像に用いられる仮想視点画像であって、
前記生成手段は、前記コンテンツのサムネイル画像のサイズまたは解像度の少なくとも一方に応じた領域を切り抜いた前記仮想視点画像を生成することを特徴とする請求項８に記載の画像処理システム。
【請求項１０】
複数の撮像装置により撮像されることで得られる複数の撮像画像に基づいて生成された仮想視点画像であって、複数の前記仮想視点画像に基づいて生成された仮想視点映像を取得する取得手段と、
前記仮想視点映像から、仮想視点画像の生成に用いた前記複数の撮像画像の数が所定の値より大きい仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は画像処理システム、画像処理方法及びコンピュータプログラム等に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
複数の撮像装置の撮像により得られた複数の画像を用いて、指定された仮想視点からの仮想視点画像を生成する技術が注目されている。特許文献１には、複数の撮像装置を異なる位置に設置して被写体を撮像し、撮像により得られた撮像画像から推定される被写体の３Ｄモデルを用いて、仮想視点画像を生成する方法について記載されている。
【０００３】
一方、複数のフレームから生成される映像を流通させる際、映像を端的に表現する方法としてサムネイル画像が知られている。サムネイル画像とは、映像の内容をひと目で判断できるようにファイルサイズを小さくした画像のことであり、複数の仮想視点画像から生成される仮想視点映像を流通させる際にも活用されることが望まれる。
【先行技術文献】
【特許文献】
【０００４】
特開２０１５－４５９２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、仮想視点画像は撮影時の状況が仮想視点画像の画質に影響するため、仮想視点映像から画質の良い仮想視点画像を容易に生成できない虞がある。例えば、複数の撮像画像から推定される被写体の３Ｄモデルの形状は、被写体を撮像する撮像装置の配置や数に影響される。撮像装置の数が少なく、被写体の形状を適切に再現できていない３Ｄモデルを用いて生成された仮想視点画像をサムネイル画像として用いた場合、仮想視点映像の内容を適切に表現できない虞がある。
【０００６】
本開示は、仮想視点画像の画質に関する情報に基づいて、仮想視点映像から画質の良い仮想視点画像を生成することを目的としている。
【課題を解決するための手段】
【０００７】
本開示の１つの実施形態の画像処理システムは、
複数の撮像装置により撮像されることで得られる複数の撮像画像に基づいて生成された仮想視点画像であって、複数の前記仮想視点画像に基づいて生成された仮想視点映像を取得する取得手段と、
前記仮想視点映像から、仮想視点画像に対応する仮想視点からの視線方向と、前記複数の撮像装置のうち特定の撮像装置の視線方向と、が成す角度が所定の値より小さい当該特定の撮像装置により撮像されることで得られる前記撮像画像に基づいて前記仮想視点画像を生成する生成手段と
を備える事を特徴とする。
【発明の効果】
【０００８】
本開示によれば、仮想視点画像の画質に関する情報に基づいて、仮想視点映像から画質の良い仮想視点画像を生成することができる。
【図面の簡単な説明】
【０００９】
実施形態１に係る画像処理システム１００の装置構成の１例を示す図である。
実施形態１に係る画像処理システム１００のハードウェア構成を示す図である。
実施形態１に係るコンテンツ生成部２００の構成の１例を示す図である。
実施形態１から３でコンテンツ生成部２００が生成するデジタルコンテンツとしての立体画像を示す図である。
実施形態１に係る画像設定を行う為のＧＵＩの１例を示す図である。
実施形態１に係る画角決定を行う為のＧＵＩの１例を示す図である。
実施形態１の画像処理システム１００の動作フローを説明するためのフローチャートである。
実施形態２に係るコンテンツ生成部２００の構成の１例を示す図である。
実施形態２の画像処理システム１００の動作フローを説明するためのフローチャートである。
実施形態３に係るコンテンツ生成部２００の構成の１例を示す図である。
実施形態３の画像処理システム１００の動作フローを説明するためのフローチャートである。
実施形態４の画像処理システム１００の動作フローを説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。
（【００１１】以降は省略されています）

関連特許