特許ウォッチ

公開番号2024091181
公報種別公開特許公報(A)
公開日2024-07-04
出願番号2022207689
出願日2022-12-23
発明の名称情報処理プログラム、情報処理方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06Q 20/20 20120101AFI20240627BHJP(計算;計数)
要約【課題】会計機に登録される商品を識別することを課題とする。
【解決手段】情報処理装置は、人物が商品を登録する会計機を含む所定のエリアの映像データを取得し、取得した映像データを分析することで、映像データの中から商品領域を抽出する。情報処理装置は、抽出した商品領域の時系列の座標位置を記憶部に記憶する。情報処理装置は、人物が会計機に商品を登録する操作を基準としたタイミングを特定し、特定された操作を基準としたタイミングと、記憶部に記憶された時系列の座標位置とに基づいて、会計機に登録された商品に関連する商品領域を特定する。
【選択図】図2
特許請求の範囲【請求項１】
コンピュータに、
人物が商品を登録する会計機を含む所定のエリアの映像データを取得し、
取得した前記映像データを分析することで、前記映像データの中から商品領域を抽出し、
抽出した前記商品領域の時系列の座標位置を記憶部に記憶し、
前記人物が前記会計機に商品を登録する操作を基準としたタイミングを特定し、
特定された前記操作を基準としたタイミングと、前記記憶部に記憶された時系列の座標位置とに基づいて、前記会計機に登録された商品に関連する商品領域を特定する、
処理を実行させることを特徴とする情報処理プログラム。
続きを表示（約 1,600 文字）【請求項２】
前記商品領域を抽出する処理は、
取得した前記映像データを第一の機械学習モデルに入力することで、前記映像データの中から商品領域を抽出する、ことを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記会計機に登録された商品に関連する前記商品領域を第二の機械学習モデルに入力することで、前記商品の項目を特定し、
前記人物が前記会計機に登録した前記商品の項目と、前記第二の機械学習モデルを用いて特定された前記商品の項目とが一致しないときに、アラートを生成する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項２に記載の情報処理プログラム。
【請求項４】
前記商品領域を特定する処理は、
前記記憶部に記憶された時系列の座標位置の中から、前記人物が前記会計機に前記商品を登録する操作をしたタイミングの直前もしくは直後の座標位置に基づいて、前記商品領域を特定する、ことを特徴とする請求項２に記載の情報処理プログラム。
【請求項５】
前記商品領域を特定する処理は、
前記記憶部に記憶された時系列の座標位置のうち、前記人物が前記会計機に前記商品を登録する操作をしたタイミングの前に取得された各座標位置の分布に基づいて、商品領域を特定する、ことを特徴とする請求項２に記載の情報処理プログラム。
【請求項６】
前記第一の機械学習モデルは、映像データの入力に応じて、人物の手を含む第一の領域と、商品を含む第二の領域と、第一領域と第二の領域の関係性を特定し、
前記抽出する処理は、
取得した前記映像データを前記第一の機械学習モデルに入力することで、前記映像データ内の人物と商品について、前記第一の領域と、前記第二の領域と、前記第一領域と前記第二の領域の関係性を特定し、
特定された前記第一の領域と、前記第二の領域と、前記関係性とに基づいて、前記人物が商品を把持する関係性を示す行動を追跡し、
追跡された前記行動に基づいて、前記第二の領域の時系列の座標位置を特定し、
特定された前記第二の領域の時系列の座標位置を、前記商品領域の時系列の座標位置として、記憶部に記憶する、ことを特徴とする請求項２に記載の情報処理プログラム。
【請求項７】
前記アラートを生成する処理は、
前記会計機に商品を登録する行動の異常に関連するアラートとして、前記人物が前記会計機に登録した商品が異常であることを示すアラートを生成する、
ことを特徴とする請求項３に記載の情報処理プログラム。
【請求項８】
前記アラートを生成する処理は、
前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、店員の有する端末に対して、前記会計機の識別情報と生成された前記アラートとを対応づけて通知する、ことを特徴とする請求項３に記載の情報処理プログラム。
【請求項９】
前記アラートを生成する処理は、
前記会計機に商品を登録する行動の異常に関するアラートが生成された場合に、前記会計機に位置する前記人物にアラート内容の音声または画面を、前記会計機から出力する、
ことを特徴とする請求項３に記載の情報処理プログラム。
【請求項１０】
前記アラートを生成する処理は、
前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、前記会計機の有するカメラにて、人物を撮影させ、
撮影された前記人物の画像データと、前記アラートを対応づけて記憶部に記憶する、ことを特徴とする請求項３に記載の情報処理プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
画像から特定の物体を認識する画像認識技術は、広く普及している。この技術では、例えば、画像における特定の物体の領域がバウンディングボックス（Ｂｂｏｘ）として特定される。また、物体の画像認識を機械学習を用いて行う技術も存在する。そして、このような画像認識技術は、例えば、店舗における顧客の購買動作の監視や、工場における作業者の作業管理に応用することが考えられている。
【０００３】
スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費の抑制を防止することができる。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－２９０２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、映像から抽出されるＢｂｏｘの位置関係は２次元空間によるものなので、例えば、Ｂｂｏｘ間の奥行きについては分析できず、セルフレジなどの会計機と、会計機に登録される商品との関係を検出することが難しい。また、会計機では、ユーザによる不可抗力の誤りや故意の不正を検出することが難しい。
【０００６】
不可抗力の誤りとしては、商品のスキャンを忘れてカゴからレジ袋に商品を移動させてしまうスキャン漏れ、例えば６缶で１セットのビール箱にはビール箱と各缶にバーコードがついており誤って缶のバーコードを読み取らせる読み取り誤りなどがある。また、故意の不正としては、ユーザがバーコードだけを指で隠しながら商品をスキャンするフリをするバーコード隠しなどがある。
【０００７】
なお、各セルフレジに重量センサなどを導入することで、自動で商品数を計数して不正を検出することも考えられるが、コストが過大であり、特に大型店舗や全国展開する店舗にとっては現実的ではない。
【０００８】
一つの側面では、会計機に登録される商品を識別することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の案では、情報処理プログラムは、コンピュータに、人物が商品を登録する会計機を含む所定のエリアの映像データを取得し、取得した前記映像データを分析することで、前記映像データの中から商品領域を抽出し、抽出した前記商品領域の時系列の座標位置を記憶部に記憶し、前記人物が前記会計機に商品を登録する操作を基準としたタイミングを特定し、特定された前記操作を基準としたタイミングと、前記記憶部に記憶された時系列の座標位置とに基づいて、前記会計機に登録された商品に関連する商品領域を特定する、処理を実行させることを特徴とする。
【発明の効果】
【００１０】
一実施形態によれば、会計機に登録される商品を識別することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許