TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024079546
公報種別公開特許公報(A)
公開日2024-06-11
出願番号2023086826
出願日2023-05-26
発明の名称情報解析システム、情報解析装置、情報解析方法及びプログラム
出願人株式会社リコー
代理人弁理士法人酒井国際特許事務所
主分類G06Q 10/10 20230101AFI20240604BHJP(計算;計数)
要約【課題】従来の技術では、オンラインを利用したイベントでは、発話に基づく参加者の状態を把握することはできても、表情に基づく参加者の状態とあわせて把握し、発話と表情から得られる情報を活かすことが困難であるという課題がある。
【解決手段】情報解析システム1における通信端末3は、Webカメラ等により各参加者の顔を含む画像に係る画像データ、並びに、音声マイク等により各参加者の発話に係る音声データを取得し(ステップS103)、取得した複数の参加者の画像データ及び音声データを情報解析装置5に対して送信する(ステップS106)。情報解析装置5は、通信端末3が送信した画像データ及び音声データに基づいて複数の参加者の状態を解析し、通信端末3で表示可能な解析結果に係るレポートデータを生成する(ステップS108)。
【選択図】図12
特許請求の範囲【請求項1】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末と、前記通信端末が送信した前記情報を解析する情報解析装置と、を有する情報解析システムであって、
前記通信端末は、
前記複数の参加者の画像情報及び音声情報を取得する取得手段と、
取得した前記画像情報及び前記音声情報を前記情報解析装置に対して送信する第1の送信手段と、
を有し、
前記情報解析装置は、
前記通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、
を有する、
ことを特徴とする情報解析システム。
続きを表示(約 1,700 文字)【請求項2】
前記画像情報は、前記所定のイベント中の前記複数の参加者の各々の画像に含まれる頷きに係る情報及び笑顔に係る情報のうち少なくとも一方を表し、前記音声情報は、前記所定のイベント中の前記複数の参加者の各々の発話に係る情報を表し、
前記解析手段は、
前記複数の参加者の各々の、前記頷きに係る情報及び前記笑顔に係る情報のうち少なくとも一方、並びに前記発話に係る情報、に基づいて前記複数の参加者の状態を解析する、
ことを特徴とする請求項1に記載の情報解析システム。
【請求項3】
前記解析手段は、
前記頷きに係る情報及び前記笑顔に係る情報のうち少なくとも一方に対して機械学習モデルを用いた解析を行うことにより、前記複数の参加者の状態を解析する、
ことを特徴とする請求項2に記載の情報解析システム。
【請求項4】
前記解析手段は、
前記複数の参加者のうち特定の参加者が使用する通信端末が送信した前記画像情報及び前記音声情報、又は、前記複数の参加者のそれぞれが使用する通信端末が送信した前記画像情報及び前記音声情報のいずれかに基づいて、前記複数の参加者の状態を解析する、
ことを特徴とする請求項1乃至3のいずれか一項に記載の情報解析システム。
【請求項5】
前記複数の参加者の状態は、
前記頷きの回数及び前記笑顔の回数のうち少なくとも一方に基づく前記複数の参加者の各々の表情検出状態、並びに、前記複数の参加者の各々の表情検出状態に基づく前記複数の参加者全体の活性状態を表し、
前記生成手段は、
前記複数の参加者の各々の表情検出状態と前記活性状態とに基づいて、前記状態通知を生成する、
ことを特徴とする請求項2乃至3のいずれか一項に記載の情報解析システム。
【請求項6】
前記生成手段は、
前記状態通知として、前記複数の参加者の各々の表情検出状態と前記活性状態とをそれぞれ視覚的に表現した結果としての図表、及び、前記複数の参加者のうちの特定の参加者への前記結果に対するコメントを生成する、
ことを特徴とする請求項5に記載の情報解析システム。
【請求項7】
請求項1乃至3のいずれか一項に記載の情報解析システムであって、
前記情報解析装置は、更に、
前記所定のイベントに対する参加者通知情報として、前記所定のイベントが実行される前に、前記所定のイベントに参加する前記複数の参加者の前記画像情報及び各参加者の電子メールアドレスを、ユーザの情報を管理するユーザ情報管理手段に予め登録する登録手段、
を有する、
ことを特徴とする情報解析システム。
【請求項8】
請求項1乃至3のいずれか一項に記載の情報解析システムであって、
前記情報解析装置は、更に、
生成した前記状態通知を前記通信端末に対して送信する第2の送信手段、
を有する、
ことを特徴とする情報解析システム。
【請求項9】
請求項1乃至3のいずれか一項に記載の情報解析システムであって、
前記通信端末は、更に、
前記情報解析装置が送信した前記状態通知を表示手段に表示させる表示制御手段、
を有する、
ことを特徴とする情報解析システム。
【請求項10】
オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を解析する情報解析装置であって、
前記複数の参加者に係る画像情報及び音声情報を取得した通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、
解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、
を有する、
ことを特徴とする情報解析装置。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、情報解析システム、情報解析装置、情報解析方法及びプログラムに関する。
続きを表示(約 3,100 文字)【背景技術】
【0002】
グループにおける個人の発話をもとに、その個人の活性度を取得し出力する仕組みが従来から知られている。
【0003】
そのひとつとして、グループにおける複数の個人のそれぞれの個人の発話に関する活性度を取得し、取得したそれぞれの個人の発話に関する活性度に基づいて、グループにおけるそれぞれの個人の発話に関する基準値を設定し、設定した基準値と、取得したそれぞれの個人の発話に関する活性度とを比較した結果を出力する技術が知られている(例えば、特許文献1参照)。
【0004】
その一方で、働き方の多様化に伴い、人々が物理的に同一の空間を利用して会議などを行う従来の方法から、Web会議などのリモート環境を利用したオンラインによる方法が普及してきている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、オンラインを利用したイベントでは、発話に基づく参加者の状態を把握することはできても、表情に基づく参加者の状態とあわせて把握し、発話と表情から得られる情報を活かすことが困難であるという課題がある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、請求項1に係る発明は、オンラインで開催される所定のイベントに参加した複数の参加者に係る情報を取得可能な通信端末と、前記通信端末が送信した前記情報を解析する情報解析装置と、を有する情報解析システムであって、前記通信端末は、前記複数の参加者の画像情報及び音声情報を取得する取得手段と、取得した前記画像情報及び前記音声情報を前記情報解析装置に対して送信する第1の送信手段と、を有し、前記情報解析装置は、前記通信端末が送信した前記画像情報及び前記音声情報に基づいて、前記複数の参加者の状態を解析する解析手段と、解析した前記複数の参加者の状態に基づいて、前記通信端末で表示可能な状態通知を生成する生成手段と、を有する、ことを特徴とする情報解析システムを提供する。
【発明の効果】
【0007】
以上説明したように本発明によれば、オンラインを利用したイベントにおいても、発話のみならず表情に基づく参加者の状態を把握し、発話と表情から得られる情報を活かすことが可能になるという効果を奏する。
【図面の簡単な説明】
【0008】
情報解析システムの全体構成の一例を示す図である。
畳み込みニューラルネットワークの一例を示す概念図であり、(a)はLate fusionでの頷き検出の一例を示し、(b)はEarly fusionでの頷き検出の一例を示す。
笑顔検出の一例を示す概念図である。
通信端末のハードウエア構成の一例を示す図である。
情報解析装置のハードウエア構成の一例を示す図である。
情報解析システムの機能構成の一例を示す図である。
ユーザ情報管理テーブルの一例を示す概念図である。
解析履歴管理テーブルの一例を示す概念図である。
個人元気度管理テーブルの一例を示す概念図である。
集団活性度管理テーブルの一例を示す概念図である。
参加者情報通知、メンバー登録及び認証の各処理の一例を示すシーケンス図である。
オンラインイベントでの情報解析処理の一例を示すシーケンス図である。
オンラインイベントでの通信端末における表示画面の一例を示す図である。
オンラインイベントでの情報解析処理の詳細を示すフローチャートである。
オンラインイベントでの情報解析処理の詳細を示すフローチャートである。
通信端末におけるレポート表示画面(朝礼点数)の一例を示す図である。
通信端末におけるレポート表示画面(元気点数)の一例を示す図である。
通信端末におけるレポート表示画面(過去のオンライン朝礼点数)の一例を示す図である。
通信端末におけるレポート表示画面(頷き検出時)の一例を示す図である。
通信端末におけるレポート表示画面(笑顔検出時)の一例を示す図である。
通信端末におけるレポート表示画面(発話比率)の一例を示す図である。
通信端末におけるレポート表示画面(発話者)の一例を示す図である。
通信端末におけるレポート表示画面(感謝のことば検出時)の一例を示す図である。
第2の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
第2の実施形態に係るオンラインイベントでの通信端末における表示画面の一例を示す図である。
実施形態の変形例に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
第3の実施形態に係る情報解析システムの全体構成の一例を示す図である。
第3の実施形態に係る個人データ利用管理テーブルの一例を示す概念図である。
第3の実施形態に係る個人データ利用設定処理の一例を示すシーケンス図である。
第3の実施形態に係る通信端末におけるサインイン画面の一例を示す図である。
第3の実施形態に係る通信端末における動画再生画面の一例を示す図である。
第3の実施形態に係る通信端末における確認及び同意に係る登録画面の一例を示す図である。
第3の実施形態に係る通信端末における利用者設定画面の一例を示す図である。
第3の実施形態に係るオンラインイベントでの情報解析処理の一例を示すシーケンス図である。
第3の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。
第3の実施形態に係るオンラインイベントでの情報解析処理の詳細を示すフローチャートである。
第3の実施形態に係るレポートデータ生成処理の詳細を示すフローチャートである。
第3の実施形態に係る通信端末におけるレポート表示画面(元気点数)の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて、発明を実施するための形態について説明する。なお、図面の説明において同一要素には同一符号を付し、重複する部分があればその説明を省略する。
【0010】
〔第1の実施形態〕
〔情報解析システムの全体構成〕
図1は、情報解析システムの全体構成の一例を示す図である。図1に示されているように、情報解析システム1は、通信端末3及び情報解析装置5を含む各装置及び端末を有している。なお、通信端末3と情報解析装置5とは、点線で囲まれたオンラインイベント開催空間においてWeb会議(オンライン朝礼、オンライン打合せ)などが開催される。なお、オンラインイベント開催空間は、オンラインを利用したWeb会議が開催される仮想的な空間を表すものとして便宜上示したものである。更に、情報解析システム1では、通信端末3及び情報解析装置5は、通信ネットワーク100を介してそれぞれ互いに接続されている。なお、通信端末3は、通信ネットワーク100の内側に設けられたファイアウォールを介して情報解析装置5と接続されていてもよい。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

個人
情報検索装置
4日前
個人
ノートPC寝台
6日前
個人
暗号化記憶媒体
1か月前
個人
ドットパターン
3日前
個人
環境情報処理装置
24日前
個人
求人支援システム
1か月前
個人
外食予約システム
24日前
個人
電子文書の閲覧用電子機器
10日前
個人
サービス提供システム
17日前
個人
海外在住支援システム
24日前
ニデック株式会社
冷却装置
18日前
キヤノン電子株式会社
携帯情報端末
5日前
株式会社ワコム
電子ペン
1か月前
株式会社ワコム
電子ペン
27日前
個人
施術スタッフ育成システム
11日前
株式会社ワコム
電子ペン
1か月前
シャープ株式会社
情報出力装置
1か月前
東洋電装株式会社
操作装置
27日前
東洋電装株式会社
操作装置
27日前
東洋電装株式会社
操作装置
27日前
大和製衡株式会社
組合せ計数装置
6日前
株式会社寺岡精工
システム
1か月前
トヨタ紡織株式会社
検査装置
1か月前
ブラザー工業株式会社
印刷制御装置
6日前
株式会社ゼロワン
ケア支援システム
5日前
株式会社ゼロワン
ケア支援システム
5日前
学校法人修道学園
農地集約システム
17日前
株式会社SUBARU
画像処理装置
11日前
有限会社カツミ工業
管理装置
6日前
株式会社広島銀行
本人確認システム
5日前
株式会社カロニマ
情報発信システム
1か月前
日本信号株式会社
料金精算システム
1か月前
株式会社SUBARU
操作制御装置
17日前
旭精工株式会社
管理装置および管理システム
17日前
株式会社アジラ
異常行動検出システム
1か月前
株式会社京南
洗車システム
10日前
続きを見る