特許ウォッチ

公開番号2024144327
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024050662
出願日2024-03-27
発明の名称物品認識装置、方法及び電子機器
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20241003BHJP(計算;計数)
要約【課題】本発明の実施例は、物品認識装置、方法及び電子機器を提供する。
【解決手段】該装置は、ビデオデータの画像フレームにおける参照領域に対して物品検出を行う検出部と、複数の画像フレームにおいて検出された物品を追跡する追跡部であって、異なる時間窓で該複数の画像フレームにおける該物品に対してマルチレベル判定を行う、追跡部と、該追跡部の判定結果に基づいて該物品を認識する分類部と、を含む。これによって、一部のシナリオにおいて物品が短時間で移動された場合でも、該物品が2つの異なる物品として認識されることなく、物品の二重認識を低減させ、物品検出の正確度及びロバスト性を向上させることができる。
【選択図】図6

特許請求の範囲【請求項１】
物品認識装置であって、
ビデオデータの画像フレームにおける参照領域に対して物品検出を行う検出部と、
複数の画像フレームにおいて検出された物品を追跡する追跡部であって、異なる時間窓で前記複数の画像フレームにおける前記物品に対してマルチレベル判定を行う、追跡部と、
前記追跡部の判定結果に基づいて前記物品を認識する分類部と、を含む、装置。
続きを表示（約 1,200 文字）【請求項２】
前記ビデオデータにおける画像フレームに対して前処理を行う前処理部、をさらに含み、
検出された物品の外縁領域の少なくとも一部を分離して除去し、除去された領域を前記参照領域を使用して充填する、請求項１に記載の装置。
【請求項３】
前記追跡部は、１つのトラックレットについて動的な表面特徴シーケンスを維持し、前記表面特徴シーケンスにおける任意の２つの特徴間の距離は、所定の閾値よりも大きい、請求項１に記載の装置。
【請求項４】
追跡結果に対して後処理を行う後処理部、をさらに含み、
前記後処理は、軌跡の長さが所定の閾値よりも小さいトラックレットを削除すること、背景として分類されたトラックレットを削除すること、トラックレットを分割すること、及び同一の識別子を有する複数のトラックレットを１つのトラックレットとして併合することのうちの少なくとも１つを含む、請求項１に記載の装置。
【請求項５】
前記追跡部は、別個のカルマンフィルタを使用してトラックレットの中心及び比率をそれぞれ処理し、
前記トラックレットの中心に対して線形カルマンフィルタリングを行い、
前記トラックレットの比率に対して非線形カルマンフィルタリングを行う、請求項１に記載の装置。
【請求項６】
１つ又は複数の物品と前記参照領域とに対して画像合成を行う合成部と、
合成後の画像をトリミングしてトレーニング用の検出サンプルを形成するトリミング部と、をさらに含む、請求項１乃至５の何れかに記載の装置。
【請求項７】
前記合成部は、パラメータに基づいて前記画像合成を行い、
前記パラメータは、前記参照領域における物品の数、前記物品の重なり度又は遮蔽比率、及び前記物品のスケーリング比率のうちの少なくとも１つを含む、請求項６に記載の装置。
【請求項８】
前記合成部は、前記１つ又は複数の物品に対して処理を行い、
前記処理は、画像の輝度を増加又は減少させること、重なり度を増加又は減少させること、前記物品の撮影角度を変更すること、及び前記物品のテクスチャ特徴を強調することのうちの少なくとも１つを含む、請求項６に記載の装置。
【請求項９】
物品認識方法であって、
ビデオデータの画像フレームにおける参照領域に対して物品検出を行うステップと、
複数の画像フレームにおいて検出された物品を追跡するステップであって、異なる時間窓で前記複数の画像フレームにおける前記物品に対してマルチレベル判定を行う、ステップと、
判定結果に基づいて前記物品を認識するステップと、を含む、方法。
【請求項１０】
コンピュータプログラムが記憶されたメモリと、プロセッサとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行して請求項９に記載の物品認識方法を実現するように構成される、電子機器。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施例は、ビデオ検出の技術分野に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
現在、ビデオデータにより物品を検出することができる。例えば、無人スーパーマーケットでは、顧客が撮影領域に物品を置き、カメラ機器で物品を認識することで、自動のセルフレジ（ｓｅｌｆ－ｃｈｅｃｋｏｕｔ）を実現する。バーコードのセルフレジの方式と比較して、ビデオデータに基づくセルフレジの方式は、より高速であり、バーコードを意図的に誤って貼り付けることにより引き起こされる不正検出（ｆｒａｕｄｄｅｔｅｃｔｉｏｎ）の問題がない。
【０００３】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、本発明の発明者の発見によると、ビデオデータに基づく物品検出の現在のスキームでは、依然として検出の正確度を向上させる必要がある。例えば、一部のシナリオにおいて物品が短時間で移動された場合、該物品が２つの異なる物品として認識されるため、物品の二重認識の問題が発生してしまう。
【０００５】
上記の技術的問題点の少なくとも１つを鑑み、本発明の実施例は、物品認識装置、方法及び電子機器を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施例の１つの態様では、物品認識装置であって、ビデオデータの画像フレームにおける参照領域に対して物品検出を行う検出部と、複数の画像フレームにおいて検出された物品を追跡する追跡部であって、異なる時間窓で前記複数の画像フレームにおける前記物品に対してマルチレベル判定を行う、追跡部と、前記追跡部の判定結果に基づいて前記物品を認識する分類部と、を含む、装置を提供する。
【０００７】
本発明の実施例のもう１つの態様では、物品認識方法であって、ビデオデータの画像フレームにおける参照領域に対して物品検出を行うステップと、複数の画像フレームにおいて検出された物品を追跡するステップであって、異なる時間窓で前記複数の画像フレームにおける前記物品に対してマルチレベル判定を行う、ステップと、判定結果に基づいて前記物品を認識するステップと、を含む、方法を提供する。
【０００８】
本発明の実施例のもう１つの態様では、コンピュータプログラムが記憶されたメモリと、プロセッサとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行して上記の物品認識方法を実現するように構成される、電子機器を提供する。
【０００９】
本発明の実施例の有利な効果の１つは以下の通りである。異なる時間窓で複数の画像フレームにおける該物品に対してマルチレベル判定を行う。これによって、一部のシナリオにおいて物品が短時間で移動された場合でも、該物品が２つの異なる物品として認識されることなく、物品の二重認識を低減させ、物品検出の正確度及びロバスト性を向上させることができる。
【００１０】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施例は、範囲上には限定されるものではない。本発明の実施例は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の変更、修正、及び均等的なものが含まれる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許