特許ウォッチ

公開番号2025068591
公報種別公開特許公報(A)
公開日2025-04-28
出願番号2024167089
出願日2024-09-26
発明の名称商品状態検出装置及び方法
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/174 20170101AFI20250421BHJP(計算;計数)
要約【課題】本発明は、商品状態検出装置及び方法を提供する。
【解決手段】かかる装置は、第一画像からエッジ特徴を抽出して第一エッジ特徴画像を生成し、第二画像からエッジ特徴を抽出して第二エッジ特徴画像を生成する第一検出ユニット;前記第二エッジ特徴画像と前記第一エッジ特徴画像との第一差分画像を計算し、前記第一差分画像に基づいて商品状態変化領域を確定する第一確定ユニット;及び、前記商品状態変化領域における商品状態変化類型を確定する第二確定ユニットを含む。
【選択図】図1

特許請求の範囲【請求項１】
商品の状態を検出する装置であって、
第一画像からエッジ特徴を抽出して第一エッジ特徴画像を生成し、第二画像からエッジ特徴を抽出して第二エッジ特徴画像を生成する第一検出ユニット；
前記第二エッジ特徴画像と前記第一エッジ特徴画像との第一差分画像を計算し、前記第一差分画像に基づいて商品状態変化領域を確定する第一確定ユニット；及び
前記商品状態変化領域における商品状態変化類型を確定する第二確定ユニットを含む、装置。
続きを表示（約 1,500 文字）【請求項２】
請求項１に記載の装置であって、
前記第一検出ユニットはエッジ検出演算子を用いて前記エッジ特徴を抽出し、前記エッジ検出演算子は、Ｐｒｅｗｉｔｔ演算子、Ｌａｐｌａｃｉａｎ演算子、Ｒｏｂｅｒｔｓ交差演算子、Ｃａｎｎｙ演算子、及びＳｏｂｅｌ演算子のうちの少なくとも１つを含む、装置。
【請求項３】
請求項１に記載の装置であって、
前記第一確定ユニットは前記第一差分画像に対してノイズ低減処理及びグラフィックスクロージング処理を行って前記商品状態変化領域を生成する、装置。
【請求項４】
請求項１に記載の装置であって、
前記第二確定ユニットは差分確定モジュールを含み、
前記差分確定モジュールは前記第一画像に基づいて第一深度画像を生成し、前記第二画像に基づいて第二深度画像を生成し、前記第二深度画像と前記第一深度画像との第二差分画像を計算し、前記第二差分画像において前記商品状態変化領域の商品状態変化類型を確定する、装置。
【請求項５】
請求項４に記載の装置であって、
前記差分確定モジュールはさらに、前記第二差分画像における商品変化領域に対して標準化処理を行い、標準化処理後の商品変化領域の画素に対応する深度差分に基づいて前記商品状態変化類型を確定する、装置。
【請求項６】
請求項５に記載の装置であって、
前記差分確定モジュールは標準化処理後の商品変化領域における深度差分の正の値と負の値の割合に基づいて前記商品状態変化類型を確定し、又は、標準化処理後の商品変化領域における深度差分に対してバイナリクラスタリングを行い、異なるクラスの中心点の正と負に基づいて前記商品状態変化類型を確定する、装置。
【請求項７】
請求項４に記載の装置であって、
前記第二確定ユニットはエッジ確定モジュールを含み、
前記エッジ確定モジュールは前記第一差分画像内の前記商品状態変化領域において、前記第二画像のエッジ特徴に属する画素点の第一数量を確定し、かつ前記第一画像のエッジ特徴に属する画素点の第二数量を確定し、そして、前記第一数量、第二数量及び閾値の関係に基づいて前記商品状態変化領域の商品状態変化類型を確定する、装置。
【請求項８】
請求項７に記載の装置であって、
先に、前記エッジ確定モジュールは前記商品状態変化領域の商品状態変化類型が在庫切れ又は補充であるかを判断し、次に、前記商品状態変化類型が在庫切れ又は補充でないときに、前記差分確定モジュールは前記商品状態変化類型を確定する、装置。
【請求項９】
請求項１に記載の装置であって、
前記第二確定ユニットはニューラルネットワーク確定モジュールを含み、
前記ニューラルネットワーク確定モジュールは同じニューラルネットワークを用いて前記第一画像及び前記第二画像における前記商品状態変化領域から第一特徴及び第二特徴を抽出し、前記第一特徴と前記第二特徴との特徴差を計算し、そして、前記特徴差に基づいて前記商品状態変化類型を確定する、装置。
【請求項１０】
商品の状態を検出する方法であって、
第一画像からエッジ特徴を抽出して第一エッジ特徴画像を生成し、第二画像からエッジ特徴を抽出して第二エッジ特徴画像を生成し；
前記第二エッジ特徴画像と前記第一エッジ特徴画像との第一差分画像を計算し、前記第一差分画像に基づいて商品状態変化領域を確定し；及び
前記商品状態変化領域における商品状態変化類型を確定することを含む、方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
従来の小売業界のスーパーマーケットやコンビニエンスストアではフルタイムのスタッフが必要であり、人件費が比較的高い。関連技術では、スタッフによって、棚上の商品が補充されているか、在庫切れになっているか、顧客によって移動されているかなどをチェックすることが要される。今のところ、一般的に使用されている変化検出方法は、異なる時点に撮影した画像を比較することで画像内の変化部分を見つけ、そして、判断を行うものであるが、このような変化検出方法は通常、屋外シーン、例えば、衛星リモートセンシングなどに適用されており、何故なら、室外シーンの場合に、画像対（ペア）が衛星によって撮影され、画像対におけるほとんどの内容が変わっており、変化領域を検出できれば良いからである。しかし、室内小売のシーンについて言えば、画像対が固定した監視カメラヘッドによって撮影され、画像対におけるほとんど内容が変わっておらず、密集した、テクスチャや形状が似ている商品が棚上に大量存在するため、上述の変化検出方法の実施はより困難になる。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の問題のうちの少なくとも１つに鑑み、本発明の実施例は商品状態検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の実施例の第一側面によれば、商品状態検出装置が提供され、前記装置は、
第一画像からエッジ（辺縁）特徴を抽出して第一エッジ特徴画像を生成し、第二画像からエッジ特徴を抽出して第二エッジ特徴画像を生成する第一検出ユニット；
前記第二エッジ特徴画像と前記第一エッジ特徴画像との第一差分画像を計算し、前記第一差分画像に基づいて商品状態変化領域を確定する第一確定ユニット；及び
前記商品状態変化領域における商品状態変化類型（タイプ）を確定する第二確定ユニットを含む。
【０００６】
本発明の実施例の第二側面によれば、商品状態検出方法が提供され、前記方法は、
第一画像からエッジ特徴を抽出して第一エッジ特徴画像を生成し、第二画像からエッジ特徴を抽出して第二エッジ特徴画像を生成し；
前記第二エッジ特徴画像と前記第一エッジ特徴画像との第一差分画像を計算し、前記第一差分画像に基づいて商品状態変化領域を確定し；及び
前記商品状態変化領域における商品状態変化類型を確定することを含む。
【発明の効果】
【０００７】
本発明の実施例による有利な効果の１つが次のとおりであり、即ち、異なる画像から抽出されるエッジ画像の差分画像に基づいて商品状態変化領域及び商品状態変化類型を確定し、これによって、単眼カメラで取得された画像のみに基づいて、商品状態変化類型の自動化判定を実現でき、また、該差分画像に基づいて判定を行うことで、判定の正確さ（精度）を向上させることができ、コストも比較的低い。
【０００８】
なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在若しくは付加を排除しないということも指す。
【図面の簡単な説明】
【０００９】
本発明の１つの図面又は１つの実施例に記載の要素及び特徴は、１つ又は複数の他の図面又は実施例に示した要素及び特徴と組み合わせることができる。また、図面では、類似した符号は、幾つの図面の中の対応部品を示し、複数の実施例に用いられる対応部品を示すためにも用いられる。
本発明の実施例における商品状態検出装置を示す図である。
本発明の実施例において第一差分画像に基づいて商品状態変化領域を確定することを示す図である。
本発明の実施例における深度画像及び第二差分画像を示す図である。
本発明の実施例におけるニューラルネットワーク構成を示す図である。
本発明の実施例における電子機器を示す図である。
本発明の実施例における電子機器のシステム構成を示すブロック図である。
本発明の実施例における商品状態検出方法を示す図である。
本発明の実施例における商品状態検出方法を示す図である。
【発明を実施するための形態】
【００１０】
添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付した特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。
（【００１１】以降は省略されています）

関連特許