特許ウォッチ

公開番号2024176763
公報種別公開特許公報(A)
公開日2024-12-19
出願番号2023095548
出願日2023-06-09
発明の名称商品画像記憶装置およびプログラム
出願人東芝テック株式会社
代理人弁理士法人酒井国際特許事務所
主分類G07G 1/00 20060101AFI20241212BHJP(チェック装置)
要約【課題】商品のパッケージが変更された場合に、変更された商品の商品画像を変更前の商品画像と容易に区別してグループ化することが可能な撮像装置およびプログラムを提供することである。
【解決手段】インタフェースと、インタフェースから入力された、撮像部で撮像された商品の商品画像および商品画像の商品を特定する商品特定情報に基づいて、同一の商品特定情報に係る商品画像を一または複数のグループに分類したグループ情報を、商品特定情報に関連付けして記憶する記憶部と、プロセッサと、を有し、プロセッサは、インタフェースから入力された商品特定情報に基づいて、当該商品特定情報とともに入力された商品画像と、記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、算出された類似度に応じて決定されたグループに入力された商品画像を記憶する。
【選択図】図10
特許請求の範囲【請求項１】
インタフェースと、
前記インタフェースから入力された、撮像部で撮像された商品の商品画像および前記商品画像の商品を特定する商品特定情報に基づいて、同一の前記商品特定情報に係る前記商品画像を一または複数のグループに分類したグループ情報を、前記商品特定情報に関連付けして記憶する記憶部と、
プロセッサと、
を有し、
前記プロセッサは、
前記インタフェースから入力された前記商品特定情報に基づいて、当該商品特定情報とともに入力された前記商品画像と、前記記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、
算出された類似度に応じて決定されたグループに前記入力された商品画像を記憶する、
ことを特徴とする商品画像記憶装置。
続きを表示（約 1,400 文字）【請求項２】
前記プロセッサは、
前記類似度が所定値以上である場合には、前記インタフェースから入力された前記商品画像を当該グループに追加して記憶し、
前記類似度が所定値未満である場合には、前記インタフェースから入力された前記商品画像を前記商品特定情報に係る新たなグループとして記憶する、
ことを特徴とする請求項１に記載の商品画像記憶装置。
【請求項３】
前記プロセッサは、
前記インタフェースから入力された前記商品特定情報が前記記憶部に記憶されていない場合には、前記商品画像を前記インタフェースから入力された前記商品特定情報に係る新たなグループとして前記記憶部に記憶する、
ことを特徴とする請求項１に記載の商品画像記憶装置。
【請求項４】
前記記憶部は、遡って所定期間内に前記商品画像が記憶されたことを示す実績情報を前記グループ毎に記憶し、
前記プロセッサは、
前記商品画像が記憶されたグループについて前記実績情報を新たに記憶する、
ことを特徴とする請求項１に記載の商品画像記憶装置。
【請求項５】
前記実績情報は、前記商品画像が予め決められた時刻から遡って所定期間内に記憶された時刻を示す時刻情報であり、
前記プロセッサは、
前記商品画像が記憶されたグループについて記憶された時刻に係る時刻情報を上書きして記憶する、
ことを特徴とする請求項４に記載の商品画像記憶装置。
【請求項６】
前記プロセッサは、
前記実績情報に基づいて前記所定期間内のグループを選択し、選択したグループに記憶されている前記商品画像に基づいて機械学習モデルのトレーニングを行う、
ことを特徴とする請求項４または５に記載の商品画像記憶装置。
【請求項７】
前記プロセッサは、
前記選択されたグループ毎に、当該グループに記憶されている商品画像に基づいて当該商品と撮影時のカメラとの位置・向きを推定し、推定結果に応じて前記商品画像を選別し、選別した商品画像を用いて機械学習モデルをトレーニングする、
ことを特徴とする請求項６に記載の商品画像記憶装置。
【請求項８】
前記プロセッサは、
前記選択されたグループ毎に、当該グループに記憶されている商品画像に基づいて当該商品に係る３Ｄ画像を生成し、
生成した３Ｄ画像を用いて機械学習モデルをトレーニングする、
ことを特徴とする請求項６に記載の商品画像記憶装置。
【請求項９】
インタフェースと、前記インタフェースから入力された、撮像部で撮像された商品の商品画像および前記商品画像の商品を特定する商品特定情報に基づいて、同一の前記商品特定情報に係る前記商品画像を一または複数のグループに分類したグループ情報を、前記商品特定情報に関連付けして記憶する記憶部と、プロセッサと、を有する商品画像記憶装置としてのコンピュータを、
前記インタフェースから入力された前記商品特定情報に基づいて、当該商品特定情報とともに入力された前記商品画像と、前記記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、
算出された類似度に応じて決定されたグループに前記入力された商品画像を記憶する、
ように機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、商品画像記憶装置およびプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
ショッピングセンター、量販店、百貨店等の店舗において、店舗で販売する商品の商品登録処理および決済処理を行うＰＯＳシステムが存在する。このようなＰＯＳシステムには、最近は、撮像装置が撮像した商品の画像をパッケージ認識して商品を判断しているものがある。
【０００３】
ところで、同一の商品であっても、例えば季節等によって商品のパッケージのデザインが変更（以降、パッケージの変更という）されることがある。このような場合、パッケージ認識において、パッケージが変更された商品が変更前の商品と同じ商品であることを認識させるために、事前にパッケージが変更された商品の画像に基づいて機械学習モデルのトレーニングを行う必要があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、商品のパッケージが変更された場合に、同一商品であっても変更された商品の商品画像を変更前の商品画像と別のグループにグループ分けすることが可能な撮像装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の商品画像記憶装置は、インタフェースと、前記インタフェースから入力された、撮像部で撮像された商品の商品画像および前記商品画像の商品を特定する商品特定情報に基づいて、同一の前記商品特定情報に係る前記商品画像を一または複数のグループに分類したグループ情報を、前記商品特定情報に関連付けして記憶する記憶部と、プロセッサと、を有し、前記プロセッサは、前記インタフェースから入力された前記商品特定情報に基づいて、当該商品特定情報とともに入力された前記商品画像と、前記記憶部に前記グループ別に記憶されている当該商品特定情報に関連付けられた商品画像と、の類似度をグループ毎に算出し、算出された類似度に応じて決定されたグループに前記入力された商品画像を記憶する。
【図面の簡単な説明】
【０００６】
図１は、実施形態に係るシステムを示す図である。
図２は、ＰＯＳ端末および撮像装置の外観を示す斜視図である。
図３は、撮像装置のハードウェア構成を示すブロック図である。
図４は、商品画像記憶装置のハードウェア構成を示すブロック図である。
図５は、スキャン画像を抽出する一例を示す図である。
図６は、撮像画像に基づいて商品画像をグループ分けする工程を示す説明図である。
図７は、グループ情報部の構成を示すメモリマップである。
図８は、撮像装置の制御処理の流れを示すフローチャートである。
図９は、商品画像記憶装置の機能構成を示す機能ブロック図である。
図１０は、商品画像記憶装置による商品画像のグループ分けに係る制御処理の流れを示すフローチャートである。
図１１は、商品画像記憶装置による機械学習モデルのトレーニングに係る制御処理の流れを示すフローチャートである。
図１２は、商品画像記憶装置による画像選別手法を用いた機械学習モデルのトレーニングに係る制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の実施形態では、商品画像記憶装置は店舗に設置された、店舗の売上情報を管理する店舗サーバを兼ねたサーバとして説明するが、商品画像記憶装置は、複数の店舗を運営する企業の本部等に設置された本部サーバ、あるいはクラウド上に設置されたクラウドサーバであってもよい。また、以下に説明する実施形態によりこの発明が限定されるものではない。
【０００８】
図１は、実施形態にかかるシステムを示す図である。図１において、システム１０は、スーパーマーケット、量販店、コンビニエンスストア、専門店等の店舗Ｔに設置されている。システム１０は、店舗Ｔ内に設置されたシステムであり、１台または複数台のＰＯＳ（Point of Sales）端末１（商品販売データ処理装置）、各ＰＯＳ端末１に例えば接続された撮像装置３、エッジデバイス５、商品画像記憶装置７を備える。各ＰＯＳ端末１とエッジデバイス５と商品画像記憶装置７は、それぞれ相互に通信が可能な通信回線Ｌ（例えばＬＡＮ（Local Area Network））で接続されている。また撮像装置３は、それぞれのＰＯＳ端末１に一台ずつ接続され、例えばＰＯＳ端末１と例えばＵＳＢ（Universal Serial Bus）ケーブルＵで接続されている。また各撮像装置３は、エッジデバイス５およびと商品画像記憶装置７と通信回線Ｌで接続されている。
【０００９】
なお、実施形態では、エッジデバイス５は商品画像記憶装置７とは別の装置として説明するが、商品画像記憶装置７がエッジデバイス５の機能を兼ねた装置であるとしてもよい。この場合、エッジデバイス５はシステム１０の構成から削除される。
【００１０】
システム１０は、店舗Ｔにおいて販売される商品の商品登録処理、決済処理、売上管理を行う。システム１０は、パッケージ認識技術を用いて商品登録処理を実行する。
（【００１１】以降は省略されています）

関連特許