特許ウォッチ

公開番号2024150421
公報種別公開特許公報(A)
公開日2024-10-23
出願番号2024062278
出願日2024-04-08
発明の名称ビデオにおける被遮蔽領域の検出方法、装置及び記憶媒体
出願人富士通株式会社
代理人個人,個人
主分類G06V 10/26 20220101AFI20241016BHJP(計算;計数)
要約【課題】ビデオにおける被遮蔽領域の検出方法、装置及び記憶媒体を提供する。
【解決手段】該ビデオにおける被遮蔽領域の検出方法は、ビデオに出現する複数のオブジェクトを検出するステップと、該複数のオブジェクトのうちの各オブジェクトの該ビデオのフレームにおける位置を決定するステップと、該複数のオブジェクトのうちの各オブジェクトの特徴を抽出するステップと、該フレームにおける各画素について、該画素の近傍のオブジェクトの特徴間の類似度に基づいて、該画素が被遮蔽画素であるか否かを決定するステップと、該フレームにおける被遮蔽画素として決定された複数の画素に基づいて被遮蔽領域を生成するステップと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
ビデオにおける被遮蔽領域の検出方法であって、
ビデオに出現する複数のオブジェクトを検出するステップと、
前記複数のオブジェクトのうちの各オブジェクトの前記ビデオのフレームにおける位置を決定するステップと、
前記複数のオブジェクトのうちの各オブジェクトの特徴を抽出するステップと、
前記フレームにおける各画素について、前記画素の近傍のオブジェクトの特徴間の類似度に基づいて、前記画素が被遮蔽画素であるか否かを決定するステップと、
前記フレームにおける被遮蔽画素として決定された複数の画素に基づいて被遮蔽領域を生成するステップと、を含む、方法。
続きを表示（約 1,500 文字）【請求項２】
各オブジェクトのフレームにおける位置を、前記ビデオにおけるシーンに対応する平面レイアウトマップにマッピングするステップと、
前記平面レイアウトマップにおける各画素について、前記画素の近傍のオブジェクトの特徴間の類似度に基づいて、前記画素が被遮蔽画素であるか否かを決定するステップと、
前記平面レイアウトマップにおける被遮蔽画素として決定された複数の画素を処理し、被遮蔽領域を生成するステップと、をさらに含む、請求項１に記載の方法。
【請求項３】
前記フレーム又は前記平面レイアウトマップにおける各画素について、
前記画素との距離が第１の閾値よりも小さい複数の隣接オブジェクトを決定するステップと、
前記複数の隣接オブジェクトのうちの任意の２つの隣接オブジェクトの特徴間の類似度を計算し、類似度集合を生成するステップと、
前記類似度集合における類似度の総数に対する、第２の閾値よりも大きい類似度の数の比率を計算するステップと、
前記比率が第３の閾値よりも大きい場合、前記画素が被遮蔽画素であると決定するステップと、をさらに含む、請求項１又は２に記載の方法。
【請求項４】
決定された隣接オブジェクトの数が第４の閾値よりも小さい場合、前記画素が被遮蔽画素ではないと直接決定するステップと、
決定された隣接オブジェクトの数が第５の閾値よりも大きい場合、第５の閾値の数の隣接オブジェクトを選択し、選択された隣接オブジェクトの特徴間の類似度を計算するステップと、をさらに含み、
前記第４の閾値は、前記第５の閾値よりも小さい、請求項３に記載の方法。
【請求項５】
前記類似度は、コサイン類似度である、請求項３に記載の方法。
【請求項６】
被遮蔽画素として決定された複数の画素により構成された集合について、前記集合における外れ値画素を削除し、残りの画素に対して膨張処理を行い、被遮蔽領域を生成するステップ、をさらに含む、請求項１又は２に記載の方法。
【請求項７】
歩行者再認識技術を用いてオブジェクトの特徴を抽出する、請求項１に記載の方法。
【請求項８】
前記画素と前記隣接オブジェクトとの間の距離は画素単位である、請求項３に記載の方法。
【請求項９】
ビデオにおける被遮蔽領域の検出装置であって、
コンピュータプログラムが記憶されたメモリと、
プロセッサと、を含み、
前記プロセッサは、前記コンピュータプログラムを実行することで、
ビデオに出現する複数のオブジェクトを検出するステップと、
前記複数のオブジェクトのうちの各オブジェクトの前記ビデオのフレームにおける位置を決定するステップと、
前記複数のオブジェクトのうちの各オブジェクトの特徴を抽出するステップと、
前記フレームにおける各画素について、前記画素の近傍のオブジェクトの特徴間の類似度に基づいて、前記画素が被遮蔽画素であるか否かを決定するステップと、
前記フレームにおける被遮蔽画素として決定された複数の画素に基づいて被遮蔽領域を生成するステップと、を実行するように構成される、装置。
【請求項１０】
プログラムが記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータに請求項１又は２に記載のビデオにおける被遮蔽領域の検出方法を実行させる、記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本開示は、一般的に、コンピュータビジョンの分野に関し、具体的には、ビデオにおける被遮蔽領域の検出方法及び装置、並びに対応するプログラムが記憶された記憶媒体に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
遮蔽はコンピュータビジョンの分野において一般的な問題である。例えば、歩行者認識及び追跡の応用では、ビデオの一部において歩行者が物体（例えば、木又は建物）により遮蔽された場合、ビデオのこの部分において歩行者の特徴を抽出することは困難であり、歩行者を認識及び追跡することができない。従って、遮蔽がある場合は、一般に、目標認識の精度及び再現率が低下し、実際の応用に悪影響を与えてしまう。
【０００３】
固定カメラ（例えば監視カメラ）を使用してシーンを撮影する場合、遮蔽の悪影響を低減するために、ビデオに示されるシーンにおける障害物により遮蔽された領域を予め決定し、被遮蔽領域の情報及び他の情報（例えば、オブジェクトの移動速度や方向）を使用して、遮蔽されている期間内のオブジェクトの位置又は移動軌跡を推定してもよい。例えば、オブジェクトの消失の時間及び位置、並びにオブジェクトの再出現の時間及び位置に基づいて、オブジェクトの１つ以上の可能な移動経路を予測してもよい。そして、予め決定された被遮蔽領域の情報に基づいて、被遮蔽領域を通過する経路を信頼度の高い推定結果として選択し、該結果に基づいて追跡を行ってもよい。
【０００４】
この場合、シーン、特に固定カメラにより撮影されたシーンについて、カメラの視点から見て、該シーンにおける障害物により遮蔽された領域をどのように決定するかという技術的問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の技術的問題を鑑み、本開示は、ビデオに示されるシーンにおける被遮蔽領域を自動的に検出する方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の１つの態様では、ビデオにおける被遮蔽領域の検出方法であって、ビデオに出現する複数のオブジェクトを検出するステップと、前記複数のオブジェクトのうちの各オブジェクトの前記ビデオのフレームにおける位置を決定するステップと、前記複数のオブジェクトのうちの各オブジェクトの特徴を抽出するステップと、前記フレームにおける各画素について、前記画素の近傍のオブジェクトの特徴間の類似度に基づいて、前記画素が被遮蔽画素であるか否かを決定するステップと、前記フレームにおける被遮蔽画素として決定された複数の画素に基づいて被遮蔽領域を生成するステップと、を含む、方法を提供する。
【０００７】
本開示のもう１つの態様では、ビデオにおける被遮蔽領域の検出装置であって、コンピュータプログラムが記憶されたメモリと、プロセッサと、を含み、前記プロセッサは、前記コンピュータプログラムを実行することで、ビデオに出現する複数のオブジェクトを検出するステップと、前記複数のオブジェクトのうちの各オブジェクトの前記ビデオのフレームにおける位置を決定するステップと、前記複数のオブジェクトのうちの各オブジェクトの特徴を抽出するステップと、前記フレームにおける各画素について、前記画素の近傍のオブジェクトの特徴間の類似度に基づいて、前記画素が被遮蔽画素であるか否かを決定するステップと、前記フレームにおける被遮蔽画素として決定された複数の画素に基づいて被遮蔽領域を生成するステップと、を実行するように構成される、装置を提供する。
【０００８】
本開示のもう１つの態様では、プログラムが記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータに上記のビデオにおける被遮蔽領域の検出方法を実行させる、記憶媒体を提供する。
【０００９】
本開示の技術によれば、ビデオに示されるシーンにおいて障害物により遮蔽された領域を自動的に検出することができる。従って、ビデオにおけるオブジェクト（例えば人）が遮蔽により認識及び追跡できない場合、検出された被遮蔽領域の情報及び追跡オブジェクトの関連情報を用いて、オブジェクトの遮蔽された期間内の位置又は移動経路を高い正確度で推定することができるため、遮蔽の悪影響を低減することができる。
【図面の簡単な説明】
【００１０】
本開示に係る被遮蔽領域の方法を示すフローチャートである。
本開示に係る検出方法を実現する機能モジュールを示す図である。
ビデオにおけるシーンに対応する平面レイアウトマップを示す概略図である。
画素が被遮蔽画素であるか否かを決定する処理の流れを示す図である。
本開示に係る方法を用いた検出結果を示す概略図である。
本開示に係る方法を用いた検出結果を示す概略図である。
本開示を実現可能なコンピュータのハードウェアの例示的な構成を示すブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許