特許ウォッチ

公開番号2024089580
公報種別公開特許公報(A)
公開日2024-07-03
出願番号2022204998
出願日2022-12-21
発明の名称情報出力プログラム、情報出力方法及び情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06Q 30/01 20230101AFI20240626BHJP(計算;計数)
要約【課題】店員の接客行動の評価を支援することを課題とする。
【解決手段】情報処理装置は、店内の映像を取得し、取得した映像を分析することで、映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、店員および顧客の相互作用を識別した第一の関係性とを特定し、特定した第一の関係性に基づいて、第一の領域に含まれる店員が、第二の領域に含まれる顧客に対して接客行動を実施したと判定し、判定した結果を表示装置に出力する。
【選択図】図14
特許請求の範囲【請求項１】
店内の映像を取得し、
取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、
特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、
判定した結果を表示装置に出力する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。
続きを表示（約 1,700 文字）【請求項２】
前記取得する処理は、前記店員から接客された顧客を含む映像を取得する処理を含み、
前記特定する処理は、取得した映像を分析することで、前記映像の中から商品を含む第三の領域と、前記顧客を含む第四の領域と、前記商品および前記顧客の相互作用を識別した第二の関係性とを特定する処理を含み、
前記第二の関係性と予め設定されたルールとに基づいて、前記第四の領域に含まれる顧客が前記第三の領域に含まれる商品の注目の度合いを特定し、
特定した商品の注目の度合いと、前記顧客に接客をした店員とを対応づけた分析画像を生成し、
生成した分析画像を表示装置に表示させる、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の情報出力プログラム。
【請求項３】
前記第二の領域に含まれる人物を追跡し、
会計機を含むエリアを撮影した映像を分析することで、追跡をした人物が利用した会計機を特定し、
特定した会計機に登録をされている購入商品に関する情報を取得し、
取得した購入商品に関する情報に基づいて、前記店員の接客をした顧客が商品を購入したか否かを判定し、
判定した結果と、顧客に接客をした店員とを対応づけた分析画像を生成し、
生成した分析画像を表示装置に表示させる、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の情報出力プログラム。
【請求項４】
前記特定する処理は、取得した映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記第一の関係性を特定する処理を含み、
前記機械学習モデルは、前記店員を示す第１クラスおよび前記店員が出現する領域を示す第１領域情報と、前記顧客を示す第２クラスおよび前記顧客が出現する領域を示す第２領域情報と、前記第１クラスと前記第２クラスとの相互作用と、を識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルである、
ことを特徴とする請求項１に記載の情報出力プログラム。
【請求項５】
前記特定する処理は、取得した映像を機械学習モデルに入力することで、前記第三の領域と、前記第四の領域と、前記第二の関係性を特定する処理を含み、
前記機械学習モデルは、前記商品を含む物体を示す第１クラスおよび前記物体が出現する領域を示す第１領域情報と、前記商品を購入する人物を示す第２クラスおよび前記人物が出現する領域を示す第２領域情報と、前記第１クラスと前記第２クラスとの相互作用と、を識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルである、
ことを特徴とする請求項２に記載の情報出力プログラム。
【請求項６】
店内の映像を取得し、
取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、
特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、
判定した結果を表示装置に出力する、
処理をコンピュータが実行することを特徴とする情報出力方法。
【請求項７】
店内の映像を取得し、
取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、
特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、
判定した結果を表示装置に出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報出力プログラム、情報出力方法及び情報処理装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
店舗等における店員の接客は、店舗の評価に影響を与えるので、店員の接客内容を改善することが求められる側面がある。このような側面から、店舗内に設置されたカメラの映像を用いて、店員の顧客に対する接客を評価することが行われている。また、機械学習モデルを用いて、映像から物体や人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出するものがある。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１６５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像から抽出されるBboxの位置関係は２次元空間によるものなので、例えば、Bbox間の奥行きについては分析できず、人物と人物との関係を識別することが難しい。また、店内で様々な人物が多様な行動を示す中で、店員の接客行動を検出することは容易でないので、店員の接客行動の評価を支援することが困難である側面がある。
【０００５】
１つの側面では、店員の接客行動の評価を支援できる情報出力プログラム、情報出力方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の案では、情報出力プログラムは、店内の映像を取得し、取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、判定した結果を表示装置に出力する、処理をコンピュータに実行させる。
【発明の効果】
【０００７】
一実施形態によれば、店員の接客行動の評価を支援できる。
【図面の簡単な説明】
【０００８】
図１は、システムの構成例を示す図である。
図２は、情報処理装置の機能構成例を示すブロック図である。
図３は、正解情報の一例を示す図である。
図４は、正解情報の一例を示す図である。
図５は、第一のＨＯＩＤモデルの訓練例を示す模式図である。
図６は、第二のＨＯＩＤモデルの訓練例を示す模式図である。
図７は、第一のＨＯＩＤモデルの出力例を示す図である。
図８は、ＩＤ管理ＤＢの一例を示す図である。
図９は、トラッキングの開始および終了の一例を示す模式図である。
図１０は、第二のＨＯＩＤモデルの出力例を示す図である。
図１１は、注目度特定ルールＤＢの一例を示す図である。
図１２は、顧客行動履歴ＤＢの一例を示す図である。
図１３は、接客評価ＤＢの一例を示す図である。
図１４は、接客評価画面の一例を示す図である。
図１５は、接客評価画面の一例を示す図である。
図１６は、映像取得処理の手順を示すフローチャートである。
図１７は、判定処理の手順を示すフローチャートである。
図１８は、特定処理の手順を示すフローチャートである。
図１９は、生成処理の手順を示すフローチャートである。
図２０は、情報処理装置のハードウェア構成例を示す図である。
図２１は、セルフレジ端末のハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願の開示する情報出力プログラム、情報出力方法及び情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例】
【００１０】
＜１．全体構成＞
図１は、システムの構成例を示す図である。図１に示すシステム１は、スーパーマーケットやコンビニエンスストアなどの店舗３における店員５の接客行動の評価を支援する側面から、店舗３で撮像される映像を用いて店員の接客行動を検出して出力する情報出力機能を提供するものである。
（【００１１】以降は省略されています）

関連特許