特許ウォッチ

公開番号2025091615
公報種別公開特許公報(A)
公開日2025-06-19
出願番号2023206957
出願日2023-12-07
発明の名称オクルージョン検出装置及びそのプログラム
出願人日本放送協会
代理人弁理士法人磯野国際特許商標事務所
主分類H04N 23/60 20230101AFI20250612BHJP(電気通信技術)
要約【課題】オクルージョンを正確に検出する。
【解決手段】スティッチング処理装置1は、デプス画像からエッジ検出画像を生成するエッジ検出部11と、デプス値均一処理によりデプス値制限画像を生成する制限処理部12と、エッジ検出画像とデプス値制限画像とを加算する画像生成部13と、エッジ加算デプス画像を所定方向の領域に分割する分割処理部14と、オクルージョン発生スコアを算出するスコア算出部15と、オクルージョン発生スコアを参照し、スティッチング処理を行うスティッチング処理部16とを備える。
【選択図】図4
特許請求の範囲【請求項１】
撮影カメラで撮影した撮影画像の各画素のデプス値を表すデプス画像を用いて、オクルージョンの発生率を表すオクルージョン発生スコアを算出するオクルージョン検出装置であって、
前記デプス画像が入力され、入力された前記デプス画像に微分フィルタを適用することで、前記デプス画像から検出されたエッジを表すエッジ検出画像を生成するエッジ検出部と、
前記デプス画像に対し、予め設定した閾値より遠方又は近方のデプス値を均一に制限するデプス値均一処理を適用することで、デプス値制限画像を生成する制限処理部と、
前記エッジ検出画像と前記デプス値制限画像とを加算することで、エッジ加算デプス画像を生成する画像生成部と、
前記エッジ加算デプス画像を所望の領域に分割する分割処理部と、
前記エッジ加算デプス画像において、前記デプス値が前記閾値より大きな値の画素数を前記領域毎にカウントし、カウントした前記画素数に基づいて前記オクルージョン発生スコアを算出するスコア算出部と、
を備えることを特徴とするオクルージョン検出装置。
続きを表示（約 490 文字）【請求項２】
前記スコア算出部は、前記オクルージョン発生スコアとして、カウントした前記画素数を前記領域の総画素数で除算した値を算出することを特徴とする請求項１に記載のオクルージョン検出装置。
【請求項３】
前記オクルージョン発生スコアに基づいて、前記領域毎にオクルージョンが発生したか否かを判定し、オクルージョンが発生した当該領域を前記撮影画像から除外してスティッチング処理を行うスティッチング処理部、
をさらに備えることを特徴とする請求項１に記載のオクルージョン検出装置。
【請求項４】
前記エッジ検出部は、前記撮影カメラを回転又は移動させながら撮影した撮影画像のそれぞれに対応した前記デプス画像が入力され、
前記分割処理部は、前記エッジ加算デプス画像を、前記撮影カメラを回転又は移動させる方向に直交する方向の前記領域に分割することを特徴とする請求項１に記載のオクルージョン検出装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載のオクルージョン検出装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、オクルージョン検出装置及びそのプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
近年、遠隔地の様子をその場にいるかのように体験できる仮想現実（ＶＲ：Virtual Reality）技術を用いたサービスが普及している。このサービスでは、ユーザがヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を装着し、事前に制作した３６０度映像の中からユーザの頭の動きに応じて所望の映像（ビューポート）を表示する。なお、３６０度映像は、全天周映像や全天球映像と呼ばれることもある。
【０００３】
３６０度映像は、魚眼レンズ又は超広角レンズで撮影することが多い。一般的に３６０度映像を一つのレンズを通して一度で撮影することは難しいので、複数台のカメラを用いるか１台のカメラを回転させて撮影する。そして、撮影した複数の画像をスティッチングすることで３６０度映像が得られる。
【０００４】
スティッチングの一つとして、画像毎に特徴点を探して複数の画像を結合する手法が知られている。この手法では、複数台のカメラ間距離が離れている場合では、各カメラの画像で視差が生じてしまう。この視差によって生じるオクルージョンの違いが各画像で異なることから、一枚の３６０映像として上手く結合できないエラー（スティッチングエラー）が生じる。
【０００５】
そこで、複数台のカメラ間距離を短くする手法が提案されている（特許文献１，２）。特許文献１に記載の発明では、２台のカメラを背中合わせに配置することで、カメラ間距離を短くしている。また、特許文献２に記載の発明では、ミラーを用いることで、カメラ間距離を疑似的に短くしている。しかし、特許文献１，２に記載の発明では、物理的にカメラ間距離をゼロにできないので、スティッチングエラーが発生してしまうことがある。
【０００６】
そこで、画像処理によりスティッチングエラーを低減する手法も提案されている（特許文献３）。特許文献３に記載の発明では、近景の被写体にはスティッチングを行わないことで、スティッチングエラーを低減している。
【先行技術文献】
【特許文献】
【０００７】
国際公開２０１９／１１１２２７号
特開２００６－０３９５６４号公報
特開２０１８－１４２９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献３に記載の発明では、近景の被写体だからと言って必ずオクルージョンが発生するわけでなく、オクルージョンを正確に検出できないという問題がある。
【０００９】
前記した問題に鑑みて、本発明は、オクルージョンを正確に検出できるオクルージョン検出装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明に係るオクルージョン検出装置は、撮影カメラで撮影した撮影画像の各画素のデプス値を表すデプス画像を用いて、オクルージョンの発生率を表すオクルージョン発生スコアを算出するオクルージョン検出装置であって、エッジ検出部と、制限処理部と、画像生成部と、分割処理部と、スコア算出部と、を備える構成とした。
（【００１１】以降は省略されています）

関連特許