特許ウォッチ

公開番号2024085202
公報種別公開特許公報(A)
公開日2024-06-26
出願番号2022199604
出願日2022-12-14
発明の名称情報処理プログラム、情報処理方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20240619BHJP(計算;計数)
要約【課題】顧客に相当する第一の物体と、商品に相当する第二の物体との関係性に応じた情報を提供すること。
【解決手段】情報処理装置は、映像を取得する。情報処理装置は、取得した映像を分析することで、映像の中から第一の物体を含む第一の領域と、第二の物体を含む第二の領域と、第一の物体および第二の物体の相互作用を識別した関係性とを特定する。情報処理装置は、特定された関係性に基づいて、複数のモデルの中から、第一の物体または第二の物体に関連するモデルを選択し、選択されたモデルを出力する。
【選択図】図2
特許請求の範囲【請求項１】
映像を取得し、
取得した前記映像を分析することで、前記映像の中から第一の物体を含む第一の領域と、第二の物体を含む第二の領域と、前記第一の物体および前記第二の物体の相互作用を識別した関係性とを特定し、
特定された前記関係性に基づいて、複数のモデルの中から、前記第一の物体または前記第二の物体に関連するモデルを選択し、
選択された前記モデルを出力する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 1,700 文字）【請求項２】
映像を分析することで、前記第一の物体および前記第二の物体を追跡し、
特定された前記関係性に基づいて、複数の機械学習モデルの中から、前記第二の物体に適用する機械学習モデルを選択し、
追跡した前記第二の物体の画像を、選択された前記機械学習モデルに入力することで、前記第二の物体に関する関連情報を特定し、
特定された前記第二の物体に関する関連情報を、追跡した前記第二の物体と関連する表示装置に出力させる
処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記第一の物体が人物であり、
前記第二の物体が商品であり、
特定された前記関係性と、接客内容が規定された複数の接客モデルとが対応付けられた記憶部を参照し、前記複数の接客モデルから、特定された前記関係性に対応する接客モデルを特定し、
特定された前記接客モデルに基づいて、前記第一の物体が示す人物に対する前記第二の物体が示す物体に関連する接客内容を特定し、
特定された接客内容を、店員が利用している端末に送信する
処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項４】
前記第一の物体が人物であり、
前記第二の物体が商品であり、
特定された前記関係性と、商品情報が学習された複数の機械学習モデルとが対応付けられた記憶部を参照し、前記複数の機械学習モデルから、特定された前記関係性に対応する機械学習モデルを特定し、
特定された前記第二の物体が示す商品の画像を、特定された前記機械学習モデルに入力することで、商品情報を特定し、
前記第一の物体が示す人物が利用している端末に、特定された前記商品情報を表示させる
処理を更にコンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項５】
映像を分析することで、店内での人物の位置を追跡し、
追跡された店内での人物の位置に基づいて、人物が利用している端末を特定し、
特定された端末に、特定された前記商品情報を表示させる
処理を更にコンピュータに実行させることを特徴とする請求項４に記載の情報処理プログラム。
【請求項６】
前記関係性を特定する処理は、前記映像を所定のモデルに入力することで、前記第一の領域と、前記第二の領域と、前記関係性とを特定し、
前記所定のモデルは、商品を購入する人物を示す第一クラスおよび前記人物が出現する領域を示す第一領域情報と、商品を含む物体を示す第二クラスおよび前記物体が出現する領域を示す第二領域情報と、前記第一クラスおよび前記第二クラスの相互作用とを識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルであることを特徴とする請求項１に記載の情報処理プログラム。
【請求項７】
映像を取得し、
取得した前記映像を分析することで、前記映像の中から第一の物体を含む第一の領域と、第二の物体を含む第二の領域と、前記第一の物体および前記第二の物体の相互作用を識別した関係性とを特定し、
特定された前記関係性に基づいて、複数のモデルの中から、前記第一の物体または前記第二の物体に関連するモデルを選択し、
選択された前記モデルを出力する
処理をコンピュータが実行することを特徴とする情報処理方法。
【請求項８】
映像を取得し、
取得した前記映像を分析することで、前記映像の中から第一の物体を含む第一の領域と、第二の物体を含む第二の領域と、前記第一の物体および前記第二の物体の相互作用を識別した関係性とを特定し、
特定された前記関係性に基づいて、複数のモデルの中から、前記第一の物体または前記第二の物体に関連するモデルを選択し、
選択された前記モデルを出力する
処理を実行する制御部を有することを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理プログラム等に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
販売店では、より多くの商品を販売するために、様々な工夫を行っている。たとえば、会計機等に、予め設定しておいた商品の情報を表示したり、販売スタッフが、顧客に対して接客したりしている。販売スタッフは、顧客がある商品に対して興味を示している場合、適切な接客を行うことができれば、顧客の購買意欲を高めることができる。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１６５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のように、単に商品の情報を表示するだけでは、顧客の購買意欲を高めることができない場合が多い。また、販売スタッフは、ノウハウや他の販売スタッフのアドバイスを基にして、顧客に対して接客を行っているものの、販売スタッフ自身のスキルに依存する部分が大きいため、各販売スタッフが顧客に対して適切な接客を行えていないのが現状である。
【０００５】
このため、商品の情報や、販売スタッフの接客を補助するような情報等を、顧客と商品との関係性に応じて提供することが求められている。
【０００６】
たとえば、顧客に相当する第一の物体と、商品に相当する第二の物体との関係性に応じた情報を、販売スタッフや、顧客に提示することが望ましい。
【０００７】
１つの側面では、本発明は、顧客に相当する第一の物体と、商品に相当する第二の物体との関係性に応じた情報を提供することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の案では、コンピュータに次の処理を実行させる。コンピュータは、映像を取得する。コンピュータは、取得した映像を分析することで、映像の中から第一の物体を含む第一の領域と、第二の物体を含む第二の領域と、第一の物体および第二の物体の相互作用を識別した関係性とを特定する。コンピュータは、特定された関係性に基づいて、複数のモデルの中から、第一の物体または第二の物体に関連するモデルを選択し、選択されたモデルを出力する。
【発明の効果】
【０００９】
顧客に相当する第一の物体と、商品に相当する第二の物体との関係性に応じた情報を提供することができる。
【図面の簡単な説明】
【００１０】
図１は、本実施例１に係るシステムの一例を示す図である。
図２は、本実施例１に係る情報処理装置の処理を説明するための図（１）である。
図３は、本実施例１に係る情報処理装置の処理を説明するための図（２）である。
図４は、ＨＯＩＤの機械学習を説明する図である。
図５は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。
図６は、本実施例１に係るモデルテーブルのデータ構造の一例を示す図である。
図７は、本実施例１に係る表示装置管理テーブルのデータ構造の一例を示す図である。
図８は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。
図９は、本実施例２に係るシステムの一例を示す図である。
図１０は、本実施例２に係る情報処理装置の処理を説明するための図（１）である。
図１１は、本実施例２に係る情報処理装置の処理を説明するための図（２）である。
図１２は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。
図１３は、本実施例２に係るモデルテーブルのデータ構造の一例を示す図である。
図１４は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。
図１５は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許