特許ウォッチ

公開番号2024079546
公報種別公開特許公報(A)
公開日2024-06-11
出願番号2023086826
出願日2023-05-26
発明の名称情報解析システム、情報解析装置、情報解析方法及びプログラム
出願人株式会社リコー
代理人弁理士法人酒井国際特許事務所
主分類G06Q 10/10 20230101AFI20240604BHJP(計算;計数)
要約【課題】従来の技術では、オンラインを利用したイベントでは、発話に基づく参加者の状態を把握することはできても、表情に基づく参加者の状態とあわせて把握し、発話と表情から得られる情報を活かすことが困難であるという課題がある。
【解決手段】情報解析システム1における通信端末3は、Webカメラ等により各参加者の顔を含む画像に係る画像データ、並びに、音声マイク等により各参加者の発話に係る音声データを取得し(ステップS103)、取得した複数の参加者の画像データ及び音声データを情報解析装置5に対して送信する(ステップS106)。情報解析装置5は、通信端末3が送信した画像データ及び音声データに基づいて複数の参加者の状態を解析し、通信端末3で表示可能な解析結果に係るレポートデータを生成する(ステップS108)。
【選択図】図12
特許請求の範囲【請求項１】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末と、前記通信端末が送信した前記情報を解析する情報解析装置と、を有する情報解析システムであって、
前記通信端末は、
前記複数の参加者の画像情報及び音声情報を取得する取得手段と、
取得した前記画像情報及び前記音声情報を前記情報解析装置に対して送信する第１の送信手段と、
を有し、
前記情報解析装置は、
前記通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、
を有する、
ことを特徴とする情報解析システム。
続きを表示（約 1,700 文字）【請求項２】
前記画像情報は、前記所定のイベント中の前記複数の参加者の各々の画像に含まれる頷きに係る情報及び笑顔に係る情報のうち少なくとも一方を表し、前記音声情報は、前記所定のイベント中の前記複数の参加者の各々の発話に係る情報を表し、
前記解析手段は、
前記複数の参加者の各々の、前記頷きに係る情報及び前記笑顔に係る情報のうち少なくとも一方、並びに前記発話に係る情報、に基づいて前記複数の参加者の状態を解析する、
ことを特徴とする請求項１に記載の情報解析システム。
【請求項３】
前記解析手段は、
前記頷きに係る情報及び前記笑顔に係る情報のうち少なくとも一方に対して機械学習モデルを用いた解析を行うことにより、前記複数の参加者の状態を解析する、
ことを特徴とする請求項２に記載の情報解析システム。
【請求項４】
前記解析手段は、
前記複数の参加者のうち特定の参加者が使用する通信端末が送信した前記画像情報及び前記音声情報、又は、前記複数の参加者のそれぞれが使用する通信端末が送信した前記画像情報及び前記音声情報のいずれかに基づいて、前記複数の参加者の状態を解析する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の情報解析システム。
【請求項５】
前記複数の参加者の状態は、
前記頷きの回数及び前記笑顔の回数のうち少なくとも一方に基づく前記複数の参加者の各々の表情検出状態、並びに、前記複数の参加者の各々の表情検出状態に基づく前記複数の参加者全体の活性状態を表し、
前記生成手段は、
前記複数の参加者の各々の表情検出状態と前記活性状態とに基づいて、前記状態通知を生成する、
ことを特徴とする請求項２乃至３のいずれか一項に記載の情報解析システム。
【請求項６】
前記生成手段は、
前記状態通知として、前記複数の参加者の各々の表情検出状態と前記活性状態とをそれぞれ視覚的に表現した結果としての図表、及び、前記複数の参加者のうちの特定の参加者への前記結果に対するコメントを生成する、
ことを特徴とする請求項５に記載の情報解析システム。
【請求項７】
請求項１乃至３のいずれか一項に記載の情報解析システムであって、
前記情報解析装置は、更に、
前記所定のイベントに対する参加者通知情報として、前記所定のイベントが実行される前に、前記所定のイベントに参加する前記複数の参加者の前記画像情報及び各参加者の電子メールアドレスを、ユーザの情報を管理するユーザ情報管理手段に予め登録する登録手段、
を有する、
ことを特徴とする情報解析システム。
【請求項８】
請求項１乃至３のいずれか一項に記載の情報解析システムであって、
前記情報解析装置は、更に、
生成した前記状態通知を前記通信端末に対して送信する第２の送信手段、
を有する、
ことを特徴とする情報解析システム。
【請求項９】
請求項１乃至３のいずれか一項に記載の情報解析システムであって、
前記通信端末は、更に、
前記情報解析装置が送信した前記状態通知を表示手段に表示させる表示制御手段、
を有する、
ことを特徴とする情報解析システム。
【請求項１０】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置であって、
前記複数の参加者に係る画像情報及び音声情報を取得した通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、
を有する、
ことを特徴とする情報解析装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報解析システム、情報解析装置、情報解析方法及びプログラムに関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
グループにおける個人の発話をもとに、その個人の活性度を取得し出力する仕組みが従来から知られている。
【０００３】
そのひとつとして、グループにおける複数の個人のそれぞれの個人の発話に関する活性度を取得し、取得したそれぞれの個人の発話に関する活性度に基づいて、グループにおけるそれぞれの個人の発話に関する基準値を設定し、設定した基準値と、取得したそれぞれの個人の発話に関する活性度とを比較した結果を出力する技術が知られている（例えば、特許文献１参照）。
【０００４】
その一方で、働き方の多様化に伴い、人々が物理的に同一の空間を利用して会議などを行う従来の方法から、Ｗｅｂ会議などのリモート環境を利用したオンラインによる方法が普及してきている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、オンラインを利用したイベントでは、発話に基づく参加者の状態を把握することはできても、表情に基づく参加者の状態とあわせて把握し、発話と表情から得られる情報を活かすことが困難であるという課題がある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、請求項１に係る発明は、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末と、前記通信端末が送信した前記情報を解析する情報解析装置と、を有する情報解析システムであって、前記通信端末は、前記複数の参加者の画像情報及び音声情報を取得する取得手段と、取得した前記画像情報及び前記音声情報を前記情報解析装置に対して送信する第１の送信手段と、を有し、前記情報解析装置は、前記通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、を有する、ことを特徴とする情報解析システムを提供する。
【発明の効果】
【０００７】
以上説明したように本発明によれば、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になるという効果を奏する。
【図面の簡単な説明】
【０００８】
情報解析システムの全体構成の一例を示す図である。
畳み込みニューラルネットワークの一例を示す概念図であり、（ａ）はLate fusionでの頷き検出の一例を示し、（ｂ）はEarly fusionでの頷き検出の一例を示す。
笑顔検出の一例を示す概念図である。
通信端末のハードウエア構成の一例を示す図である。
情報解析装置のハードウエア構成の一例を示す図である。
情報解析システムの機能構成の一例を示す図である。
ユーザ情報管理テーブルの一例を示す概念図である。
解析履歴管理テーブルの一例を示す概念図である。
個人元気度管理テーブルの一例を示す概念図である。
集団活性度管理テーブルの一例を示す概念図である。
参加者情報通知、メンバー登録及び認証の各処理の一例を示すシーケンス図である。
オンラインイベントでの情報解析処理の一例を示すシーケンス図である。
オンラインイベントでの通信端末における表示画面の一例を示す図である。
オンラインイベントでの情報解析処理の詳細を示すフローチャートである。
オンラインイベントでの情報解析処理の詳細を示すフローチャートである。
通信端末におけるレポート表示画面（朝礼点数）の一例を示す図である。
通信端末におけるレポート表示画面（元気点数）の一例を示す図である。
通信端末におけるレポート表示画面（過去のオンライン朝礼点数）の一例を示す図である。
通信端末におけるレポート表示画面（頷き検出時）の一例を示す図である。
通信端末におけるレポート表示画面（笑顔検出時）の一例を示す図である。
通信端末におけるレポート表示画面（発話比率）の一例を示す図である。
通信端末におけるレポート表示画面（発話者）の一例を示す図である。
通信端末におけるレポート表示画面（感謝のことば検出時）の一例を示す図である。
第２の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
第２の実施形態に係るオンラインイベントでの通信端末における表示画面の一例を示す図である。
実施形態の変形例に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
第３の実施形態に係る情報解析システムの全体構成の一例を示す図である。
第３の実施形態に係る個人データ利用管理テーブルの一例を示す概念図である。
第３の実施形態に係る個人データ利用設定処理の一例を示すシーケンス図である。
第３の実施形態に係る通信端末におけるサインイン画面の一例を示す図である。
第３の実施形態に係る通信端末における動画再生画面の一例を示す図である。
第３の実施形態に係る通信端末における確認及び同意に係る登録画面の一例を示す図である。
第３の実施形態に係る通信端末における利用者設定画面の一例を示す図である。
第３の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
第３の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。
第３の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。
第３の実施形態に係るレポートデータ生成処理の詳細を示すフローチャートである。
第３の実施形態に係る通信端末におけるレポート表示画面（元気点数）の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を用いて、発明を実施するための形態について説明する。なお、図面の説明において同一要素には同一符号を付し、重複する部分があればその説明を省略する。
【００１０】
〔第１の実施形態〕
〔情報解析システムの全体構成〕
図１は、情報解析システムの全体構成の一例を示す図である。図１に示されているように、情報解析システム１は、通信端末３及び情報解析装置５を含む各装置及び端末を有している。なお、通信端末３と情報解析装置５とは、点線で囲まれたオンラインイベント開催空間においてＷｅｂ会議（オンライン朝礼、オンライン打合せ）などが開催される。なお、オンラインイベント開催空間は、オンラインを利用したＷｅｂ会議が開催される仮想的な空間を表すものとして便宜上示したものである。更に、情報解析システム１では、通信端末３及び情報解析装置５は、通信ネットワーク１００を介してそれぞれ互いに接続されている。なお、通信端末３は、通信ネットワーク１００の内側に設けられたファイアウォールを介して情報解析装置５と接続されていてもよい。
（【００１１】以降は省略されています）

関連特許