特許ウォッチ

公開番号2025068601
公報種別公開特許公報(A)
公開日2025-04-28
出願番号2024175511
出願日2024-10-07
発明の名称商品棚の検出装置及び方法
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/70 20170101AFI20250421BHJP(計算;計数)
要約【課題】本発明の実施例は、商品棚の検出装置及び方法を提供する。
【解決手段】該装置は、入力画像から複数の商品の該入力画像における位置を検出して認識する第1の検出部と、各商品の所定位置の情報を決定し、該各商品の所定位置の情報を分類する第1の決定部と、各カテゴリにおける商品の所定位置の情報をフィッティングし、各カテゴリにおけるフィッティングにより得られた直線を棚段の位置として決定する第2の決定部と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
商品棚の検出装置であって、
入力画像から複数の商品の前記入力画像における位置を検出して認識する第１の検出部と、
各商品の所定位置の情報を決定し、前記各商品の所定位置の情報を分類する第１の決定部と、
各カテゴリにおける商品の所定位置の情報をフィッティングし、各カテゴリにおけるフィッティングにより得られた直線を棚段の位置として決定する第２の決定部と、を含む、装置。
続きを表示（約 1,500 文字）【請求項２】
前記第１の決定部は、階層的クラスタリングの方法を用いて、設定されたクラスタ距離に基づいて、各商品の所定位置の情報を分類する、請求項１に記載の装置。
【請求項３】
前記第１の決定部は、前記クラスタ距離を決定する際に、
前記入力画像の第１の方向のサイズに基づいて、クラスタ距離の第１の範囲を決定し、
前記第１の範囲内の複数の距離値を用いてクラスタリング処理を順次行い、クラスタリング結果のうちの出現回数が最も多い結果に対応する距離の第２の範囲の統計を取り、
前記第２の範囲内の最小の距離を前記クラスタ距離とする、請求項２に記載の装置。
【請求項４】
前記入力画像に基づいて奥行き画像を生成し、前記奥行き画像に基づいて棚方向を決定し、前記棚方向に基づいて前記棚段の位置を補正する棚方向決定部、をさらに含む、請求項１に記載の装置。
【請求項５】
前記棚方向決定部は、
前記奥行き画像の第１の方向における勾配画像を計算し、前記勾配画像に対してエッジ特徴検出を行い、検出されたエッジ特徴を処理して所定数の直線を生成し、
前記所定数の直線に基づいて消失点を決定し、前記消失点に基づいて各棚段の方向を決定し、前記各棚段の方向に基づいて前記棚段の位置を補正する、請求項４に記載の装置。
【請求項６】
前記第１の検出部により検出された商品の前記入力画像における領域のエッジを検出ウィンドウの開始位置として、前記商品の一方側に隣接する他の商品が占める領域と前記検出ウィンドウとの重なり面積を決定し、前記重なり面積と第１の閾値との関係に基づいて、前記商品と前記他の商品との間に欠品が発生したか否かを決定する商品検出部、をさらに含む、請求項１に記載の装置。
【請求項７】
前記商品検出部は、前記商品が占める領域と前記他の商品が占める領域との中心の第１の距離及び最も遠いエッジ距離を計算し、前記第１の距離及び前記最も遠いエッジ距離に基づいて、前記商品と前記他の商品との間の欠品の数を決定する、請求項６に記載の装置。
【請求項８】
前記商品検出部は、前記第１の距離と前記最も遠いエッジ距離との比率を計算し、前記比率と第２の閾値との関係に基づいて、前記商品と前記他の商品との間の欠品の数を決定する、請求項７に記載の装置。
【請求項９】
商品棚の検出方法であって、
入力画像から複数の商品の前記入力画像における位置を検出して認識するステップと、
各商品の所定位置の情報を決定し、前記各商品の所定位置の情報を分類するステップと、
各カテゴリにおける商品の所定位置の情報をフィッティングし、各カテゴリにおけるフィッティングにより得られた直線を棚段の位置として決定するステップと、を含む、方法。
【請求項１０】
コンピュータ読み取り可能なプログラムが記憶された記憶媒体であって、前記コンピュータ読み取り可能なプログラムは、該記憶媒体に接続されたプロセッサに、
入力画像から複数の商品の前記入力画像における位置を検出して認識するステップと、
各商品の所定位置の情報を決定し、前記各商品の所定位置の情報を分類するステップと、
各カテゴリにおける商品の所定位置の情報をフィッティングし、各カテゴリにおけるフィッティングにより得られた直線を棚段の位置として決定するステップと、を含む、方法を実行させる、記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の分野に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
従来の小売業のスーパーマーケット、コンビニエンスストアは、全て専任の従業員を必要とし、人力コストが比較的に高い。関連技術では、商品棚上の商品の補充、欠品又は顧客により移動された状況を従業員が確認する必要がある。現在、撮影された画像に基づいて商品状態の自動検出を行うことは可能であるが、商品が密集して積まれている場合、画像から棚段を認識することは困難であるため、棚段上の商品に対応する位置情報を用いて商品状態を検出することもできない。また、消失点に基づいて棚段を検出する方法も提案されているが、画像に複雑なテクスチャがある場合、検出結果が安定しない。
【０００３】
なお、上述した背景技術の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の問題のうちの少なくとも１つを鑑み、本発明の実施例は、商品棚の検出装置及び方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の実施例の第１の態様では、商品棚の検出装置であって、入力画像から複数の商品の前記入力画像における位置を検出して認識する第１の検出部と、各商品の所定位置の情報を決定し、前記各商品の所定位置の情報を分類する第１の決定部と、各カテゴリにおける商品の所定位置の情報をフィッティングし、各カテゴリにおけるフィッティングにより得られた直線を棚段の位置として決定する第２の決定部と、を含む、装置を提供する。
【０００６】
本発明の実施例の第２の態様では、商品棚の検出方法であって、入力画像から複数の商品の前記入力画像における位置を検出して認識するステップと、各商品の所定位置の情報を決定し、前記各商品の所定位置の情報を分類するステップと、各カテゴリにおける商品の所定位置の情報をフィッティングし、各カテゴリにおけるフィッティングにより得られた直線を棚段の位置として決定するステップと、を含む、方法を提供する。
【０００７】
本発明の実施例の第３の態様では、コンピュータ読み取り可能なプログラムが記憶された記憶媒体であって、前記コンピュータ読み取り可能なプログラムは、該記憶媒体に接続されたプロセッサに、入力画像から複数の商品の前記入力画像における位置を検出して認識するステップと、各商品の所定位置の情報を決定し、前記各商品の所定位置の情報を分類するステップと、各カテゴリにおける商品の所定位置の情報をフィッティングし、各カテゴリにおけるフィッティングにより得られた直線を棚段の位置として決定するステップと、を含む、方法を実行させる、記憶媒体を提供する。
【０００８】
本発明の実施例の有利な効果の１つは以下の通りである。入力画像から複数の商品の該入力画像における位置を検出して認識し、検出された商品の位置を分類し、各カテゴリにおける位置情報をフィッティングして得られた直線を棚段の位置とすることによって、単眼カメラで取得された画像にのみ基づいて、棚段を正確、且つ低コストで検出することができる。
【０００９】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施例は、範囲上には限定されるものではない。本発明の実施例は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【００１０】
１つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で１つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
（【００１１】以降は省略されています）

関連特許