特許ウォッチ

公開番号2024122273
公報種別公開特許公報(A)
公開日2024-09-09
出願番号2023029725
出願日2023-02-28
発明の名称感情推定装置、感情推定方法、及び感情推定プログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G10L 25/63 20130101AFI20240902BHJP(楽器;音響)
要約【課題】高精度な感情推定を可能にする感情推定装置を提供する。
【解決手段】一実施形態に係る感情推定装置は、取得部、メディア特徴量抽出部、感情特徴量算出部、及び感情推定部を備える。取得部は、特定ユーザのメディアが記録された前記特定ユーザのメディアデータを取得する。メディア特徴量抽出部は、前記特定ユーザの前記メディアデータからメディア特徴量を抽出する。感情特徴量算出部は、前記抽出されたメディア特徴量と前記特定ユーザのメディア特徴量の基準を示す感情特徴量抽出モデルとに基づいて、感情特徴量を算出する。感情推定部は、前記算出された感情特徴量に基づいて前記特定ユーザの感情を推定する。
【選択図】図1
特許請求の範囲【請求項１】
特定ユーザのメディアが記録された前記特定ユーザのメディアデータを取得する取得部と、
前記特定ユーザの前記メディアデータからメディア特徴量を抽出するメディア特徴量抽出部と、
前記抽出されたメディア特徴量と前記特定ユーザのメディア特徴量の基準を示す感情特徴量抽出モデルとに基づいて、感情特徴量を算出する感情特徴量算出部と、
前記算出された感情特徴量に基づいて前記特定ユーザの感情を推定する感情推定部と、
を備える感情推定装置。
続きを表示（約 1,400 文字）【請求項２】
前記感情特徴量算出部で前記感情特徴量を算出するために、前記感情特徴量抽出モデルを出力するモデル出力部をさらに備え、
前記モデル出力部は、モデルデータベースから前記感情特徴量抽出モデルを取得する、
請求項１に記載の感情推定装置。
【請求項３】
前記モデル出力部は、
前記感情特徴量抽出モデルがモデルデータベースに存在するか否かを判断し、
前記感情特徴量抽出モデルが前記モデルデータベースに存在する場合に、前記モデルデータベースから前記感情特徴量抽出モデルを取得し、
前記感情特徴量抽出モデルが前記モデルデータベースに存在しない場合に、前記特定ユーザの前記メディアデータに基づいて前記感情特徴量抽出モデルを学習し、学習された前記感情特徴量抽出モデルを前記モデルデータベースに登録する、
請求項２に記載の感情推定装置。
【請求項４】
前記モデル出力部は、前記特定ユーザの前記メディアデータの少なくとも一部から抽出されたメディア特徴量の統計量を算出することにより、前記感情特徴量抽出モデルを生成する、請求項３に記載の感情推定装置。
【請求項５】
前記感情特徴量算出部は、
感情推定を行う処理単位ごとに、前記抽出されたメディア特徴量の統計量を算出し、
前記処理単位ごとに、前記抽出されたメディア特徴量の前記算出された統計量と前記感情特徴量抽出モデルとの差分に基づいて、前記感情特徴量を算出する、
請求項１に記載の感情推定装置。
【請求項６】
前記取得部は、メディアデータ取得装置により取得されたメディアデータと前記特定ユーザを特定するための特定ユーザ情報とを受け取り、前記受け取った特定ユーザ情報に基づいて前記受け取ったメディアデータから前記特定ユーザの前記メディアデータを抽出する、請求項１に記載の感情推定装置。
【請求項７】
前記メディアは、音声と動画像とテキストとのいずれかを示す、請求項１乃至６のいずれか１項に記載の感情推定装置。
【請求項８】
感情推定装置により実行される感情推定方法であって、
特定ユーザのメディアが記録された前記特定ユーザのメディアデータを取得することと、
前記特定ユーザの前記メディアデータからメディア特徴量を抽出することと、
前記抽出されたメディア特徴量と前記特定ユーザのメディア特徴量の基準を示す感情特徴量抽出モデルとに基づいて、感情特徴量を算出することと、
前記算出された感情特徴量に基づいて前記特定ユーザの感情を推定することと、
を備える感情推定方法。
【請求項９】
特定ユーザのメディアが記録された前記特定ユーザのメディアデータを取得する手段、
前記特定ユーザの前記メディアデータからメディア特徴量を抽出する手段、
前記抽出されたメディア特徴量と前記特定ユーザのメディア特徴量の基準を示す感情特徴量抽出モデルとに基づいて、感情特徴量を算出する手段、及び
前記算出された感情特徴量に基づいて前記特定ユーザの感情を推定する手段
としてコンピュータを機能させるための感情推定プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、感情推定装置、感情推定方法、及び感情推定プログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
感情推定とは、ユーザの音声を記録した音声データなどのユーザから収集されたデータからユーザの感情（例えば、喜び、悲しみ、怒りなど）を推定する技術である。感情推定は、コールセンターにおける顧客満足度推定や従業員のメンタルヘルスのモニタリングなど、様々なアプリケーションに活用されている。
【０００３】
音声に基づく感情推定では、ユーザの音声の波形信号そのもの、又は音声の波形信号から分析フレームごとに抽出された特徴量を入力としている。最近では、より高精度に感情推定を行うために、前述した波形信号又は特徴量に加えてユーザの話し方の特徴を用いてユーザの感情を推定することが試みられている。
【０００４】
大量の汎用音声データを用いて学習された話者識別ニューラルネットワーク（ＮＮ；neural network）モデルをあらかじめ用意しておき、ユーザの音声データを話者識別ＮＮモデルに入力したときの隠れ層の出力をユーザの話し方の特徴量として抽出する技術が知られている。この技術では、ユーザの発話ごとに音声からの特徴量及び話し方の特徴量を抽出し、抽出されたこれら２つの特徴量に基づいてユーザの感情を推定する。
【先行技術文献】
【非特許文献】
【０００５】
C. L. Moine, N. Obin, A. Roebel, “Speaker Attentive Speech Emotion Recognition,” in Proceedings of INTERSPEECH, 2021.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した方法では、感情推定が通常時における話し方の特徴に過剰に左右され、ユーザの感情の変化がうまく抽出できない可能性がある。例えば、ユーザが常に明るい声で喋る人である場合、常に「喜んでいる」と感情推定されてしまう可能性がある。
【０００７】
本発明が解決しようとする課題は、高精度な感情推定を可能にする感情推定装置、感情推定方法、及び感情推定プログラムを提供することである。
【課題を解決するための手段】
【０００８】
一実施形態に係る感情推定装置は、取得部、メディア特徴量抽出部、感情特徴量算出部、及び感情推定部を備える。取得部は、特定ユーザのメディアが記録された前記特定ユーザのメディアデータを取得する。メディア特徴量抽出部は、前記特定ユーザの前記メディアデータからメディア特徴量を抽出する。感情特徴量算出部は、前記抽出されたメディア特徴量と前記特定ユーザのメディア特徴量の基準を示す感情特徴量抽出モデルとに基づいて、感情特徴量を算出する。感情推定部は、前記算出された感情特徴量に基づいて前記特定ユーザの感情を推定する。
【図面の簡単な説明】
【０００９】
実施形態に係る感情推定装置を示すブロック図。
実施形態に係る感情推定装置のハードウェア構成を示すブロック図。
図１に示した取得部の動作を示すフローチャート。
図１に示したメディア特徴量抽出部の動作を示すフローチャート。
図１に示したモデル出力部の動作を示すフローチャート。
図１に示した感情特徴量算出部の動作を示すフローチャート。
実施形態に係るオフライン動作における感情推定処理を示すフローチャート。
実施形態に係るリアルタイム動作における感情推定処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施形態を説明する。実施形態は、ユーザのメディアが記録されたユーザのメディアデータからユーザの感情を推定する技術に関する。メディアは、音声、動画像、テキストのいずれかを示してよく、メディアデータは、音声データと動画像データとテキストデータとの少なくとも１つを備え得る。以下では、感情推定の対象となるユーザを特定ユーザと称する。
（【００１１】以降は省略されています）

関連特許