特許ウォッチ

公開番号2024091179
公報種別公開特許公報(A)
公開日2024-07-04
出願番号2022207687
出願日2022-12-23
発明の名称アラート生成プログラム、アラート生成方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06Q 20/20 20120101AFI20240627BHJP(計算;計数)
要約【課題】セルフレジに登録された商品の異常を検出すること。
【解決手段】情報処理装置は、会計機に登録する商品を把持する人物の映像を取得し、取得した映像を、機械学習モデルに入力することで、店内に配置された、複数の商品候補の中から、映像に含まれる商品に対応する商品候補を特定し、会計機が出力する複数の商品候補の中から、人物が入力した商品の項目を取得し、取得した商品の項目と、特定した商品候補とに基づいて、会計機に登録された商品の異常を示すアラートを生成する。
【選択図】図23
特許請求の範囲【請求項１】
会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を、機械学習モデルに入力することで、店内に配置された、複数の商品候補の中から、前記映像に含まれる商品に対応する商品候補を特定し、
前記会計機が出力する複数の商品候補の中から、前記人物が入力した商品の項目を取得し、
取得した商品の項目と、特定した商品候補とに基づいて、前記会計機に登録された商品の異常を示すアラートを生成する、
処理をコンピュータに実行させることを特徴とするアラート生成プログラム。
続きを表示（約 1,800 文字）【請求項２】
前記特定する処理は、前記機械学習モデルが有する画像エンコーダに対して前記映像を入力すると共に、前記機械学習モデルが有するテキストエンコーダに対して前記複数の商品候補に対応する複数のテキストを入力し、前記画像エンコーダが出力する前記映像のベクトル及び前記テキストエンコーダが出力する前記テキストのベクトルの類似度に基づいて前記複数の商品候補のうち前記映像に含まれる商品に対応する商品候補を特定する処理を含む、
ことを特徴とする請求項１に記載のアラート生成プログラム。
【請求項３】
前記機械学習モデルは、複数の階層毎に商品の属性が対応付けられた参照元データを参照し、
前記特定する処理は、前記画像エンコーダに対して前記映像を入力すると共に、前記テキストエンコーダに対して第一の階層の商品の属性ごとにテキストを入力し、前記画像エンコーダが出力する前記映像のベクトル及び前記テキストエンコーダが出力する前記テキストのベクトルの類似度に基づいて前記第一の階層の商品の属性のうち前記映像に含まれる商品に対応する属性を絞り込み、前記画像エンコーダに対して前記映像を入力すると共に、前記テキストエンコーダに対して前記第一の階層の商品の属性の中から絞り込んだ第二の階層の商品の属性ごとにテキストを入力し、前記画像エンコーダが出力する前記映像のベクトル及び前記テキストエンコーダが出力する前記テキストのベクトルの類似度に基づいて前記第二の階層の商品の属性のうち前記映像に含まれる商品に対応する属性を特定することで、前記商品候補を特定する処理を含む、
ことを特徴とする請求項２に記載のアラート生成プログラム。
【請求項４】
前記会計機は、表示領域に出力させた、店内で販売されている商品の一覧の中から、前記人物が選択または検索をした商品の項目を登録し、
前記取得する処理は、前記会計機に登録された商品の項目を、前記会計機から取得する処理を含む、
ことを特徴とする請求項１に記載のアラート生成プログラム。
【請求項５】
前記生成する処理は、特定した商品候補の項目と、前記会計機から取得した商品の項目との不一致を警告するアラートを生成する処理を含む、
ことを特徴とする請求項１に記載のアラート生成プログラム。
【請求項６】
前記生成する処理は、特定した商品候補の項目と、前記会計機から取得した商品の項目との購入金額の差額、または、前記会計機の識別情報のいずれかを含むアラートを生成する処理を含む、
ことを特徴とする請求項１に記載のアラート生成プログラム。
【請求項７】
前記アラートを店員の有する端末に送信する処理を前記コンピュータにさらに実行させる、
ことを特徴とする請求項６に記載のアラート生成プログラム。
【請求項８】
前記会計機は、セルフレジ端末であることを特徴とする請求項１に記載のアラート生成プログラム。
【請求項９】
会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を、機械学習モデルに入力することで、店内に配置された、複数の商品候補の中から、前記映像に含まれる商品に対応する商品候補を特定し、
前記会計機が出力する複数の商品候補の中から、前記人物が入力した商品の項目を取得し、
取得した商品の項目と、特定した商品候補とに基づいて、前記会計機に登録された商品の異常を示すアラートを生成する、
処理をコンピュータが実行することを特徴とするアラート生成方法。
【請求項１０】
会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を、機械学習モデルに入力することで、店内に配置された、複数の商品候補の中から、前記映像に含まれる商品に対応する商品候補を特定し、
前記会計機が出力する複数の商品候補の中から、前記人物が入力した商品の項目を取得し、
取得した商品の項目と、特定した商品候補とに基づいて、前記会計機に登録された商品の異常を示すアラートを生成する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、アラート生成プログラム等に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
画像から特定の物体を認識する画像認識技術は、広く普及している。この技術では、例えば、画像における特定の物体の領域がバウンディングボックス(Bbox)として特定される。また、物体の画像認識を機械学習を用いて行う技術も存在する。そして、このような画像認識技術は、例えば、店舗における顧客の購買動作の監視や、工場における作業者の作業管理に応用することが考えられている。
【０００３】
また、スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入する利用者自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point of sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費の抑制を実現することができる。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－２９０２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、映像から抽出されるBboxの位置関係は２次元空間によるものなので、例えば、Bbox間の奥行きについては分析できず、人物と物体との関係を識別することが難しい。
【０００６】
また、上記のセルフレジでは、商品コードのスキャンや精算が利用者自身に委ねられるので、ラベルのない高価格商品をレジ登録する代わりに低価格商品をレジ登録する不正行為、いわゆるバナナトリックを抑制することが困難である側面がある。
【０００７】
１つの側面では、セルフレジに登録された商品の異常を検出することができるアラート生成プログラム、アラート生成方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の案では、アラート生成プログラムは、会計機に登録する商品を把持する人物の映像を取得し、取得した前記映像を、機械学習モデルに入力することで、店内に配置された、複数の商品候補の中から、前記映像に含まれる商品に対応する商品候補を特定し、前記会計機が出力する複数の商品候補の中から、前記人物が入力した商品の項目を取得し、取得した商品の項目と、特定した商品候補とに基づいて、前記会計機に登録された商品の異常を示すアラートを生成する、処理をコンピュータに実行させる。
【発明の効果】
【０００９】
一実施形態によれば、セルフレジに登録された商品の異常を検出することができる。
【図面の簡単な説明】
【００１０】
図１は、実施例１にかかるセルフレジシステムの全体構成例を示す図である。
図２は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。
図３は、第一の機械学習モデルの訓練データの例を説明する図である。
図４は、第一の機械学習モデルの機械学習を説明する図である。
図５は、第二の機械学習モデルの機械学習を説明する図である。
図６は、商品リストの一例を示す図である。
図７は、テンプレートの一例を示す図である。
図８は、階層構造データの生成を説明する図（１）である。
図９は、階層構造データの生成を説明する図（２）である。
図１０は、階層構造の一例を示す図である。
図１１は、手持ち商品画像の生成を説明する図（１）である。
図１２は、手持ち商品画像の生成を説明する図（２）である。
図１３は、セルフレジの表示例を示す図（１）である。
図１４は、セルフレジの表示例を示す図（２）である。
図１５は、手持ち商品画像の生成を説明する図（３）である。
図１６は、手持ち商品画像の生成を説明する図（４）である。
図１７は、商品アイテムを特定する事例１を示す模式図（１）である。
図１８は、商品アイテムを特定する事例１を示す模式図（２）である。
図１９は、商品アイテムを特定する事例１を示す模式図（３）である。
図２０は、商品アイテムを特定する事例２を示す模式図（１）である。
図２１は、商品アイテムを特定する事例２を示す模式図（２）である。
図２２は、アラートの表示例を示す図（１）である。
図２３は、アラートの表示例を示す図（２）である。
図２４は、アラートの表示例を示す図（３）である。
図２５は、アラートの表示例を示す図（４）である。
図２６は、実施例１にかかるデータ生成処理の流れを示すフローチャートである。
図２７は、実施例１にかかる映像取得処理の流れを示すフローチャートである。
図２８は、実施例１にかかる第一の検出処理の流れを示すフローチャートである。
図２９は、実施例１にかかる第二の検出処理の流れを示すフローチャートである。
図３０は、実施例１にかかる特定処理の流れを示すフローチャートである。
図３１は、階層構造の応用例１を示す図である。
図３２は、商品アイテムを特定する事例３を示す模式図（１）である。
図３３は、商品アイテムを特定する事例３を示す模式図（２）である。
図３４は、商品アイテムを特定する事例３を示す模式図（３）である。
図３５は、アラートの表示例を示す図（５）である。
図３６は、アラートの表示例を示す図（６）である。
図３７は、応用例１にかかる第一の検出処理の流れを示すフローチャートである。
図３８は、階層構造の応用例２を示す図である。
図３９は、セルフレジの表示例を示す図（３）である。
図４０は、商品アイテムを特定する事例４を示す模式図（１）である。
図４１は、商品アイテムを特定する事例４を示す模式図（２）である。
図４２は、商品アイテムを特定する事例４を示す模式図（３）である。
図４３は、アラートの表示例を示す図（７）である。
図４４は、アラートの表示例を示す図（８）である。
図４５は、応用例２にかかる第二の検出処理の流れを示すフローチャートである。
図４６は、階層構造の応用例３を示す図である。
図４７は、階層構造の応用例４を示す図である。
図４８は、情報処理装置のハードウェア構成例を説明する図である。
図４９は、セルフレジのハードウェア構成例を説明する図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許