特許ウォッチ

公開番号2024135024
公報種別公開特許公報(A)
公開日2024-10-04
出願番号2023045512
出願日2023-03-22
発明の名称画像処理装置、および画像処理方法
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類H04N 23/95 20230101AFI20240927BHJP(電気通信技術)
要約【課題】高精度の学習済モデルを少ない学習時間で得ることができるようにする。
【解決手段】複数の撮像装置それぞれに対応する複数の撮影画像及び仮想視点画像を生成するための仮想視点を規定する仮想視点情報を取得し、当該仮想視点情報に基づいて、複数の撮像装置のうち機械学習において参照する撮像装置を選択する。そして、選択された撮像装置の撮影画像を正解データとして、当該撮像装置の視点を仮想視点として生成した学習用仮想視点画像に対応付けた学習データセットを用いて機械学習を行う。
【選択図】図5
特許請求の範囲【請求項１】
複数の撮影画像に基づく仮想視点画像を高画質化するための機械学習を行う画像処理装置であって、
複数の撮像装置それぞれに対応する前記複数の撮影画像及び前記仮想視点画像を生成するための仮想視点を規定する仮想視点情報を取得する取得手段と、
前記仮想視点情報に基づいて、前記複数の撮像装置のうち、前記機械学習において参照する撮像装置を選択する選択手段と、
前記選択手段によって選択された撮像装置の撮影画像を正解データとして、当該撮像装置の視点を仮想視点として生成した学習用仮想視点画像に対応付けた学習データセットを用いて前記機械学習を行う学習手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記選択手段は、前記複数の撮像装置のうち、前記仮想視点情報が示す仮想視点と類似する視点から撮像を行っている撮像装置を選択する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記複数の撮像装置それぞれの視点と前記仮想視点情報が示す仮想視点とが類似するか否かを、その姿勢の値に基づいて決定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記姿勢の値は、パン、チルト、ロールによって規定される値である、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段は、前記複数の撮像装置それぞれの視点と前記仮想視点情報が示す仮想視点とが類似するか否かを、さらにその位置と焦点距離の値に基づいて判定する、ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記選択手段によって複数の撮像装置が選択された場合、前記学習手段は、当該複数の撮像装置による各撮影画像を正解データとして、当該複数の撮像装置それぞれの視点を仮想視点として生成された各学習用仮想視点画像に１対１で対応付けた学習データセットを用いて前記機械学習を行う、ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記複数の撮影画像及び前記仮想視点画像がタイムコードによって特定される複数のフレームから成る動画であって、前記仮想視点情報が仮想視点の時系列な移動の軌跡を示すカメラパスである場合、
前記選択手段は、タイムコード毎に前記選択を行い、
前記学習手段は、タイムコードそれぞれに対応する前記学習データセットを用いて、前記機械学習を行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
タイムコードそれぞれに対応する前記学習データセットにおいては、注目タイムコードに対応する選択された撮像装置の撮影画像におけるフレームを正解データとして、当該注目タイムコードに対応する前記学習用仮想視点画像におけるフレームと対応付けられている、ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記選択手段は、前記複数の撮像装置のうち、前記カメラパスにおけるフレーム間の前記仮想視点の変化量が一定量未満であるフレームを対象に前記選択を行う、ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記フレーム間の前記仮想視点の変化量は、前記フレーム間における前記仮想視点の位置の変化量である、ことを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理システムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年、同一シーンを複数の撮像装置（カメラ）で複数の視点から同期撮影することで空間全体を３Ｄデータ化し、それを基に撮影空間内の自由な視点（仮想カメラ）からの見えを表す画像（仮想視点画像）を生成する技術が注目されている。しかし、仮想視点画像には画質に課題があり、機械学習を用いた画質改善が検討されている。特許文献１には、仮想視点画像を入力データ、その仮想視点の位置に対応するカメラの撮像画像を正解データとした教師データを用いて学習を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１２８５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の技術では、各実カメラからの撮像画像と各カメラの視点に対応する仮想視点画像とを対応付けた機械学習を、同期撮影を行う複数のカメラの全てについて行う必要があった。そのため、学習に多くの時間を要してしまうという課題があった。
【課題を解決するための手段】
【０００５】
本開示に係る画像処理装置は、複数の撮影画像に基づく仮想視点画像を高画質化するための機械学習を行う画像処理装置であって、複数の撮像装置それぞれに対応する前記複数の撮影画像及び前記仮想視点画像を生成するための仮想視点を規定する仮想視点情報を取得する取得手段と、前記仮想視点情報に基づいて、前記複数の撮像装置のうち、前記機械学習において参照する撮像装置を選択する選択手段と、前記選択手段によって選択された撮像装置の撮影画像を正解データとして、当該撮像装置の視点を仮想視点として生成した学習用仮想視点画像に対応付けた学習データセットを用いて前記機械学習を行う学習手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本開示の技術によれば、高精度の学習済モデルを少ない学習時間で得ることができる。
【図面の簡単な説明】
【０００７】
画像処理システムの構成例を示す図。
実カメラの設置例を示す図。
画像処理装置のハードウェア構成例を示す図。
実施形態１に係る、画像処理装置の機能構成を示す図。
実施形態１に係る、画像処理装置の動作フローを示す図。
（ａ）及び（ｂ）は、タイムコード毎に応じて実カメラが選択されていく様子を説明する図。
実施形態２に係る、画像処理装置の機能構成を示す図。
実施形態２に係る、画像処理装置の動作フローを示す図。
フレーム間での仮想カメラの移動量に着目して処理対象フレームの選定を行う様子を説明する図。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
［実施形態１］
＜システム構成＞
図1は、本実施形態に係る、複数の撮影画像に基づき仮想視点画像を生成する画像処理システムの構成例を示した図である。画像処理システム１００は、複数の撮像装置１１０、画像処理装置１２０及びユーザ端末１３０を有している。本実施形態における仮想視点画像は、自由視点画像とも呼ばれる。仮想視点画像は、撮影空間に関連付けられる仮想的な三次元空間（仮想空間）内に設定された仮想視点から撮像した画像であると見做すことができる。そして、仮想視点の位置及び向きは仮想カメラの位置及び姿勢として表すことができる。ここで、仮想カメラとは、撮影空間の周囲に実際に設置された複数の撮像装置（以下、便宜的に「実カメラ」と呼ぶ。）とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。言い換えれば、仮想視点画像は、撮影空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮影画像を模擬的に表した画像であると言える。なお、仮想視点画像は、ユーザが任意に指定した仮想視点（仮想カメラ）に対応する画像に限定されず、例えば複数の仮想視点候補の中からユーザが選択した仮想視点に対応する画像も、本実施形態における仮想視点画像に含まれる。また、本実施形態では、仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では、仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
【００１０】
仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向きを示す情報である。具体的には、視点情報は、仮想視点（仮想カメラ）の三次元位置を表すパラメータと、パン、チルト、及びロールの各方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像を構成する複数のフレームそれぞれに対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。
（【００１１】以降は省略されています）

関連特許