特許ウォッチ

公開番号2024084340
公報種別公開特許公報(A)
公開日2024-06-25
出願番号2022198553
出願日2022-12-13
発明の名称システム、方法、サーバ装置及びプログラム
出願人日本電気株式会社
代理人個人
主分類G06Q 50/10 20120101AFI20240618BHJP(計算;計数)
要約【課題】利用者の個人情報等を保護しつつ利用者の感情を解析可能とするシステムを提供する。
【解決手段】システムは、複数の端末と、サーバ装置と、を含む。複数の端末のそれぞれは、バイタルデータ取得手段と、顔画像取得手段と、生成手段と、を備える。バイタルデータ取得手段は、所持者が装着しているウェアラブル端末から所持者のバイタルデータを取得する。顔画像取得手段は、所持者の顔画像を取得する。生成手段は、バイタルデータと顔画像を用いて、所持者の感情に関する感情情報を生成し、生成された感情情報を含む感情情報通知をサーバ装置に送信する。サーバ装置は、受信手段と、解析手段と、を備える。受信手段は、端末から感情情報通知を受信する。解析手段は、受信した感情情報通知それぞれに含まれる感情情報を解析し、複数の利用者全体の感情の変化を示す解析結果を生成する。
【選択図】図1
特許請求の範囲【請求項１】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含み、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する、バイタルデータ取得手段と、
前記所持者を撮影することで前記所持者の顔画像を取得する、顔画像取得手段と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信する、生成手段と、
を備え、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、システム。
続きを表示（約 2,500 文字）【請求項２】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
前記複数の利用者それぞれの顔情報を記憶する、サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、
前記画像データに写る複数の顔画像それぞれについて、前記画像データから抽出された複数の顔画像と前記記憶された顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る各顔画像に対応する利用者を特定し、
前記特定した利用者の端末に、前記特定された利用者の顔画像を送信し、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記サーバ装置から取得した顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
【請求項３】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、前記取得した画像データを前記複数の端末それぞれに送信し、
前記複数の端末のそれぞれは、
所持者の顔画像を記憶し、
前記画像データから抽出された複数の顔画像と前記記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る複数の顔画像のなかから前記所持者の顔画像を特定し、
前記所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記特定された所持者の顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
【請求項４】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含むシステムにおいて、
前記複数の端末のそれぞれが、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記所持者を撮影することで前記所持者の顔画像を取得し、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置が、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、方法。
【請求項５】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末それぞれから、前記複数の端末それぞれが各所持者を撮影することで得られる顔画像と前記各所持者が装着しているウェアラブル端末から得られるバイタルデータを用いて生成された前記各所持者の感情に関する感情情報を含む感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、サーバ装置。
【請求項６】
前記解析手段は、所定のタイミング又は所定の期間における、前記複数の利用者それぞれの感情が数値化された感情スコアの平均値を計算することで、前記解析結果を生成する、請求項５に記載のサーバ装置。
【請求項７】
端末に搭載されたコンピュータに、
自装置の所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する処理と、
前記所持者を撮影することで前記所持者の顔画像を取得する処理と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成する処理と、
前記生成された感情情報を含む感情情報通知をサーバ装置に送信する処理と、
を実行させるためのプログラム。
【請求項８】
前記所持者の顔情報を記憶する処理と、
前記記憶された顔情報と前記撮影により得られた顔画像を用いた１対１照合を実行する処理と、
をさらに実行させ、
前記感情情報を生成する処理は、前記１対１照合に成功した前記撮影により得られた顔画像を用いて前記感情情報を生成する、請求項７に記載のプログラム。
【請求項９】
前記感情情報通知を前記サーバ装置に送信する処理は、前記感情情報を前記サーバ装置に送信することに対する前記所持者の同意が得られた場合に、前記感情情報通知を前記サーバ装置に送信する、請求項８に記載のプログラム。
【請求項１０】
前記感情情報を生成する処理は、機械学習により得られた学習モデルに前記取得されたバイタルデータと前記取得された顔画像を入力することで、前記所持者の感情を数値化した感情スコアを取得すると共に、前記感情スコアの時系列データを前記感情情報として生成する、請求項７乃至９のいずれか一項に記載のプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、システム、方法、サーバ装置及びプログラムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
映画館等で提示されるコンテンツに対する利用者の反応（感情）を推定する技術が存在する。例えば、特許文献１には、提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する反応情報利用部を有する情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１９／０７３６６１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のように、利用者の感情を推定するためには当該利用者の顔画像等が必要となる。特許文献１では、利用者とは異なる第三者により管理されている装置が、顔画像等を用いて利用者の感情に関する処理を実行している。近年、個人情報やプライバシーに対する利用者の意識は変化している。そのため、第三者に顔画像等を渡すことを躊躇する（嫌がる）利用者も多い。
【０００５】
本発明は、利用者の個人情報等を保護しつつ利用者の感情を解析可能とすることに寄与する、システム、方法、サーバ装置及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、サーバ装置と、を含み、前記複数の端末のそれぞれは、所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する、バイタルデータ取得手段と、前記所持者を撮影することで前記所持者の顔画像を取得する、顔画像取得手段と、前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信する、生成手段と、を備え、前記サーバ装置は、前記複数の端末それぞれから前記感情情報通知を受信する、受信手段と、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、を備える、システムが提供される。
【０００７】
本発明の第２の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、前記複数の利用者を撮影可能に設置された、カメラ装置と、前記複数の利用者それぞれの顔情報を記憶する、サーバ装置と、を含み、前記サーバ装置は、前記カメラ装置から画像データを取得し、前記画像データに写る複数の顔画像それぞれについて、前記画像データから抽出された複数の顔画像と前記記憶された顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る各顔画像に対応する利用者を特定し、前記特定した利用者の端末に、前記特定された利用者の顔画像を送信し、前記複数の端末のそれぞれは、所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、前記取得されたバイタルデータと前記サーバ装置から取得した顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、前記サーバ装置は、前記複数の端末それぞれから前記感情情報通知を受信し、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システムが提供される。
【０００８】
本発明の第３の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、前記複数の利用者を撮影可能に設置された、カメラ装置と、サーバ装置と、を含み、前記サーバ装置は、前記カメラ装置から画像データを取得し、前記取得した画像データを前記複数の端末それぞれに送信し、前記複数の端末のそれぞれは、所持者の顔画像を記憶し、前記画像データから抽出された複数の顔画像と前記記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る複数の顔画像のなかから前記所持者の顔画像を特定し、前記所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、前記取得されたバイタルデータと前記特定された所持者の顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、前記サーバ装置は、前記複数の端末それぞれから前記感情情報通知を受信し、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システムが提供される。
【０００９】
本発明の第４の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、サーバ装置と、を含むシステムにおいて、前記複数の端末のそれぞれが、所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、前記所持者を撮影することで前記所持者の顔画像を取得し、前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、前記サーバ装置が、前記複数の端末それぞれから前記感情情報通知を受信し、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、方法が提供される。
【００１０】
本発明の第５の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末それぞれから、前記複数の端末それぞれが各所持者を撮影することで得られる顔画像と前記各所持者が装着しているウェアラブル端末から得られるバイタルデータを用いて生成された前記各所持者の感情に関する感情情報を含む感情情報通知を受信する、受信手段と、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、を備える、サーバ装置が提供される。
（【００１１】以降は省略されています）

関連特許