特許ウォッチ

公開番号2024091105
公報種別公開特許公報(A)
公開日2024-07-04
出願番号2022207557
出願日2022-12-23
発明の名称情報処理プログラム、情報処理方法、および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G08B 13/196 20060101AFI20240627BHJP(信号)
要約【課題】監視カメラ映像から商品を特定する際、例えば、商品の写っている向きや照明などの撮影環境のわずかな影響によって機械学習モデルが商品を誤認識してしまい、顧客の不正行為を正しく検知できないことがある。
【解決手段】情報処理プログラムは、会計機に登録する商品を把持する人物の映像を取得し、取得した映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、映像に含まれる商品の信頼度を示すスコアを算出し、会計機を人物が操作することで会計機に登録された商品の情報を取得し、算出されたスコアに基づいて、複数の商品候補の中から商品候補を選択し、選択された商品候補と、取得した商品の情報とに基づいて、会計機に登録された商品の異常を示すアラートを生成する処理をコンピュータに実行させる。
【選択図】図15
特許請求の範囲【請求項１】
会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 1,600 文字）【請求項２】
前記スコアを算出する処理は、
取得した前記映像を、機械学習モデルに入力することで、前記複数の商品候補のそれぞれに対して、前記スコアを算出する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記会計機は、セルフレジ端末であることを特徴とする請求項１に記載の情報処理プログラム。
【請求項４】
前記複数の商品候補のそれぞれに対する前記スコアの中から、前記スコアの大きさが最大である第１のスコアの前記商品候補を特定し、
前記複数の商品候補のそれぞれに対する前記スコアの中から、前記会計機に登録された前記商品に対応する第２のスコアを特定し、
前記第１のスコアの前記商品候補と、前記会計機に登録された前記商品とが一致しない場合、前記第１のスコアと前記第２のスコアとの差分に基づいて、前記アラートを生成するか否かを判定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項５】
複数の階層ごとに前記商品の属性が対応付けられた参照元データを参照する機械学習モデルに対して、取得した前記映像を入力することで、第１の階層の前記商品の属性の中から、前記映像に含まれる第１の商品の属性を特定し、
特定した前記第１の商品の属性に基づいて、前記第１の階層の配下の第２の階層の前記商品の属性の中から、第２の商品の属性を特定し、
取得した前記映像を前記機械学習モデルに入力することで、前記第２の商品の属性の中から、前記映像に含まれる前記商品の属性を、前記商品候補として選択する
処理を前記コンピュータに実行させることを特徴とする請求項２に記載の情報処理プログラム。
【請求項６】
前記アラートを生成する場合、予め設定されたメッセージを前記会計機に表示させる
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項７】
異常のある前記商品が登録された前記会計機の識別子を含む前記アラートを、店員が利用する情報処理端末に出力させる
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項８】
会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理をコンピュータが実行することを特徴とする情報処理方法。
【請求項９】
会計機に登録する商品を把持する人物の映像を取得し、
取得した前記映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、前記映像に含まれる前記商品の信頼度を示すスコアを算出し、
前記会計機を前記人物が操作することで前記会計機に登録された前記商品の情報を取得し、
算出された前記スコアに基づいて、前記複数の商品候補の中から商品候補を選択し、
選択された前記商品候補と、取得した前記商品の情報とに基づいて、前記会計機に登録された前記商品の異常を示すアラートを生成する
処理を実行する制御部を有することを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
スーパーマーケットなど商品販売を行う店舗において、レジ業務の軽減による人件費の削減やレジの混雑回避などを目的として、顧客自らが商品のラベルをスキャンするなどして商品情報を登録し会計を行うセルフレジ端末の導入が進んでいる。このような顧客自らが購入対象の商品登録を行うシステムでは、顧客が購入対象の商品を正しくセルフレジ端末に登録することが重要になってくる。
【０００３】
そのため、例えば、セルフレジ端末を利用する顧客を撮影した監視カメラ映像を用いて、顧客の不正行為を検知するシステムが開発されている。より具体的には、当該システムは、例えば、機械学習モデルを用いて監視カメラ映像から商品を特定し、セルフレジに登録された商品情報と比較することで、顧客の不正行為を検知する。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－２９０２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、監視カメラ映像から商品を特定する際、例えば、商品の写っている向きや照明などの撮影環境のわずかな影響によって機械学習モデルが商品を誤認識してしまい、顧客の不正行為を正しく検知できないことがある。
【０００６】
１つの側面では、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為をより正確に検知することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様において、情報処理プログラムは、会計機に登録する商品を把持する人物の映像を取得し、取得した映像を分析することで、予め設定された複数の商品候補のそれぞれに対して、映像に含まれる商品の信頼度を示すスコアを算出し、会計機を人物が操作することで会計機に登録された商品の情報を取得し、算出されたスコアに基づいて、複数の商品候補の中から商品候補を選択し、選択された商品候補と、取得した商品の情報とに基づいて、会計機に登録された商品の異常を示すアラートを生成する処理をコンピュータに実行させる。
【発明の効果】
【０００８】
１つの側面では、顧客自らが購入対象の商品登録を行うシステムにおける顧客の不正行為をより正確に検知できる。
【図面の簡単な説明】
【０００９】
図１は、本実施形態にかかる情報処理システムの構成例を示す図である。
図２は、本実施形態にかかるセルフレジ端末１００の一例を示す図である。
図３は、不正行為の一例であるラベルスイッチを説明する図である。
図４は、不正行為の別例であるバナナトリックを説明する図である。
図５は、機械学習モデルによる画像認識結果の一例を示す図である。
図６は、機械学習モデルによる画像認識結果の別例を示す図である。
図７は、本実施形態にかかる情報処理装置１０の構成例を示す図である。
図８は、ＨＯＩＤを説明するための図である。
図９は、ＣＬＩＰモデル６０の機械学習を説明する図である。
図１０は、商品リストの一例を示す図である。
図１１は、テンプレートの一例を示す図である。
図１２は、階層構造データの生成を説明する図（１）である。
図１３は、階層構造データの生成を説明する図（２）である。
図１４は、階層構造データの一例を示す図である。
図１５は、本実施形態にかかる不正検知の一例を示す図である。
図１６は、本実施形態にかかる不正検知処理の流れを示すフローチャートである。
図１７は、本実施形態にかかる不正検知処理の流れの別例を示すフローチャートである。
図１８は、情報処理装置１０のハードウェア構成例を説明する図である。
図１９は、セルフレジ端末１００のハードウェア構成例を説明する図である。
図２０は、店員端末３００のハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
（【００１１】以降は省略されています）

関連特許