特許ウォッチ

公開番号2024089579
公報種別公開特許公報(A)
公開日2024-07-03
出願番号2022204996
出願日2022-12-21
発明の名称アラート出力プログラム、アラート出力方法及び情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G08B 13/196 20060101AFI20240626BHJP(信号)
要約【課題】店内における万引きを抑制することを課題とする。
【解決手段】情報処理装置は、商品が配置された店内の映像を取得し、取得した映像を分析することで、映像の中から商品を含む第一の領域と、商品を購入する対象の人物を含む第二の領域と、商品および人物の相互作用を識別した関係性とを特定し、関係性が所定の条件を満たすときは、関係性に基づいて、第一の領域に含まれる商品に対して第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、異常であると判定されたときは、商品に対する異常な行動をする人物が出現したことを示すアラートを出力する。
【選択図】図7
特許請求の範囲【請求項１】
商品が配置された店内の映像を取得し、
取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、
前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、
前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、
処理をコンピュータに実行させることを特徴とするアラート出力プログラム。
続きを表示（約 2,200 文字）【請求項２】
前記判定する処理は、前記商品および前記人物の相互作用を識別した関係性に基づいて、前記人物が商品を把持する行動を識別し、前記第一の領域の画像に基づいて、前記第一の領域に含まれる商品の項目を特定し、特定された商品の項目が所定の商品であるときは、前記人物が前記商品と同種の商品を把持する行動の回数に基づいて、前記人物の商品に対する行動が異常であるか否かを判定する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。
【請求項３】
前記判定する処理は、前記商品および前記人物の相互作用を識別した関係性に基づいて、前記人物が前記商品を把持する行動を識別し、前記人物が前記商品を把持する行動を識別したときの第二の領域に含まれる人物の店内での位置を特定し、特定した位置が、所定の商品を配置するエリアであるときは、前記人物が前記エリアで商品を把持する行動の回数に基づいて、前記人物の商品に対する行動が異常であるか否かを判定する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。
【請求項４】
前記判定する処理は、前記商品および前記人物の相互作用を識別した関係性に基づいて、前記人物が前記商品を把持する行動を識別し、前記映像を分析することで、前記人物が前記商品を把持する行動を識別した前後にて、前記第二の領域が属するエリアに配置された商品数を分析し、分析した結果に基づいて、前記人物の商品に対する行動が異常であるか否かを判定する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。
【請求項５】
前記判定する処理は、前記第一の領域と、前記第二の領域と、前記関係性とに基づいて、前記人物の商品に対する異常な行動が発生したか否かを判定する処理を含み、
前記出力する処理は、異常な行動が発生したと判定されたときは、前記第二の領域の位置に基づいて、店内における第二の領域に含まれる人物の位置を特定し、特定した位置を、前記アラートとともに、店員が携帯する端末に通知する処理を含む、
ことを特徴とする請求項１に記載のアラート出力プログラム。
【請求項６】
前記特定する処理は、取得した映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記関係性を特定する処理を含み、
前記機械学習モデルは、商品を購入する人物を示す第１クラスおよび前記人物が出現する領域を示す第１領域情報と、前記商品を含む物体を示す第２クラスおよび前記物体が出現する領域を示す第２領域情報と、前記第１クラスと前記第２クラスとの相互作用と、を識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルである、
ことを特徴とする請求項１に記載のアラート出力プログラム。
【請求項７】
前記特定する処理は、
取得した映像を機械学習モデルに入力することで、前記映像の内の人物と商品について、前記第一の領域と、前記第二の領域と、前記第一の領域と前記第二の領域との前記関係性を示すクラスを特定し、
特定された前記関係性のクラスが連続して把持を示すクラスである期間を特定し、
特定された前記連続して把持を示すクラスである期間に基づいて、前記人物が商品を把持する行動を追跡し、
前記判定する処理は、
追跡された前記人物が商品を把持する行動の時間長に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定する、
ことを特徴とする請求項１に記載のアラート出力プログラム。
【請求項８】
商品が配置された店内の映像を取得し、
取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、
前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、
前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、
処理をコンピュータが実行することを特徴とするアラート出力方法。
【請求項９】
商品が配置された店内の映像を取得し、
取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、
前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、
前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、アラート出力プログラム、アラート出力方法及び情報処理装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入する利用者自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point of sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費の抑制を実現することができる。また、機械学習モデルを用いて、映像から物体や人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出するものがある。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１６５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像から抽出されるBboxの位置関係は２次元空間によるものなので、例えば、Bbox間の奥行きについては分析できず、人物と物体との関係を識別することが難しい。また、上記のセルフレジでは、商品コードのスキャンや精算が利用者自身に委ねられるので、店内における万引きを抑制することが困難である側面がある。
【０００５】
１つの側面では、店内における万引きを抑制できるアラート出力プログラム、アラート出力方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の案では、アラート出力プログラムは、商品が配置された店内の映像を取得し、取得した映像を分析することで、前記映像の中から商品を含む第一の領域と、前記商品を購入する対象の人物を含む第二の領域と、前記商品および前記人物の相互作用を識別した関係性とを特定し、前記関係性が所定の条件を満たすときは、前記関係性に基づいて、前記第一の領域に含まれる商品に対して前記第二の領域に含まれる人物が実施する行動が異常であるか否かを判定し、前記異常であると判定されたときは、前記商品に対する異常な行動をする人物が出現したことを示すアラートを出力する、処理をコンピュータに実行させる。
【発明の効果】
【０００７】
一実施形態によれば、店内における万引きを抑制できる。
【図面の簡単な説明】
【０００８】
図１は、システムの構成例を示す図である。
図２は、情報処理装置の機能構成例を示すブロック図である。
図３は、機械学習モデルの訓練データを説明する図である。
図４は、ＨＯＩＤモデルの訓練例を示す模式図である。
図５は、ＨＯＩＤモデルの出力例を示す図である。
図６は、ＨＯＩＤモデルの出力結果の履歴の一例を示す模式図である。
図７は、アラートの出力例を示す図である。
図８は、顧客位置の表示例を示す図である。
図９は、映像取得処理の流れを示すフローチャートである。
図１０は、アラート出力処理の手順を示すフローチャートである。
図１１は、応用例１にかかるアラート出力処理の手順を示すフローチャートである。
図１２は、特定エリアの一例を示す図である。
図１３は、ＨＯＩＤモデルの出力例を示す図である。
図１４は、把持行動前後の差分の一例を示す図である。
図１５は、情報処理装置のハードウェア構成例を示す図である。
図１６は、セルフレジ端末のハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願の開示するアラート出力プログラム、アラート出力方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例】
【００１０】
＜１．全体構成＞
図１は、システムの構成例を示す図である。図１に示すシステム１は、スーパーマーケットやコンビニエンスストアなどの店舗３で撮像される映像を用いて不正が検出された場合にアラートを出力するアラート出力機能を提供するものである。
（【００１１】以降は省略されています）

関連特許