特許ウォッチ

公開番号2025175816
公報種別公開特許公報(A)
公開日2025-12-03
出願番号2024082094
出願日2024-05-20
発明の名称パラ言語情報認識装置、パラ言語情報認識方法、及びパラ言語情報認識プログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G10L 15/10 20060101AFI20251126BHJP(楽器;音響)
要約【課題】パラ言語情報認識の基準として使用されるユーザのメディアデータを事前に準備する必要なしに、ユーザのパラ言語情報を認識することを可能にする技術を提供する。
【解決手段】一実施形態に係るパラ言語情報認識プログラムは、対象ユーザのメディアデータを取得する取得手段、前記メディアデータから所定のキーワードを含む部分を基準メディアデータとして抽出する抽出手段、及び前記基準メディアデータを基準にして、前記メディアデータから前記対象ユーザのパラ言語情報を推定する推定手段としてコンピュータを機能させる。
【選択図】図1

特許請求の範囲【請求項１】
対象ユーザのメディアデータを取得する取得手段、
前記メディアデータから所定のキーワードを含む部分を基準メディアデータとして抽出する抽出手段、及び
前記基準メディアデータを基準にして、前記メディアデータから前記対象ユーザのパラ言語情報を推定する推定手段
としてコンピュータを機能させるためのパラ言語情報認識プログラム。
続きを表示（約 1,200 文字）【請求項２】
前記抽出手段は、
前記メディアデータにおいて前記所定のキーワードに該当する部分であるキーワード部分を検出して検出結果を生成するキーワード検出手段と、
前記検出結果に基づいて、前記メディアデータから前記所定のキーワードを含む前記部分を前記基準メディアデータとして抽出するデータ抽出手段と、
を備える、
請求項１に記載のパラ言語情報認識プログラム。
【請求項３】
前記キーワード検出手段は、前記メディアデータをテキストに変換し、前記テキストに基づいて前記所定のキーワードに該当する部分である前記キーワード部分を検出する、
請求項２に記載のパラ言語情報認識プログラム。
【請求項４】
前記キーワード検出手段は、キーワードスポッティングモデル又はイベント検出モデルを使用して、前記メディアデータにおいて前記所定のキーワードに該当する部分である前記キーワード部分を検出する、
請求項２に記載のパラ言語情報認識プログラム。
【請求項５】
前記データ抽出手段は、前記メディアデータから前記キーワード部分を含む部分を抽出し、前記抽出した部分を前記対象ユーザの基準メディアデータとして得る、
請求項２に記載のパラ言語情報認識プログラム。
【請求項６】
前記所定のキーワードは、挨拶、相槌、返事、又は固有名詞に該当する表現である、
請求項１に記載のパラ言語情報認識プログラム。
【請求項７】
前記メディアデータは、音声データ又は動画像データである、
請求項１に記載のパラ言語情報認識プログラム。
【請求項８】
前記抽出手段は、音声データから所定のキーワードに該当する表現を抽出する第１モデルを使用し、
前記推定手段は、前記第１モデルの出力に接続される第２モデルを使用して、前記対象ユーザのパラ言語情報を推定し、
前記第２モデルは前記第１モデルと併せて学習される、
請求項１に記載のパラ言語情報認識プログラム。
【請求項９】
前記メディアデータは音声データであり、前記基準メディアデータは前記対象ユーザの平静状態を表す音声データであり、前記パラ言語情報は感情である、
請求項１に記載のパラ言語情報認識プログラム。
【請求項１０】
前記メディアデータから得られる書き起こしテキストを表示する表示手段として前記コンピュータをさらに機能させ、
前記表示手段は、前記書き起こしテキストのうち、前記基準メディアデータに該当する部分と、前記推定手段により所定の感情と推定された部分と、を強調し、前記所定の感情が推定されたことを示すアラートをさらに表示する、
請求項１に記載のパラ言語情報認識プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、パラ言語情報認識装置、パラ言語情報認識方法、及びパラ言語情報認識プログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
パラ言語情報認識とは、ユーザに関するメディアデータ（例えば音声データ又は動画像データ）から、ユーザのパラ言語情報（例えばユーザの感情又は心的状態）を認識する技術である。パラ言語情報認識は、コールセンターにおける顧客の満足度推定、顧客の感情認識、労働者の疲労度推定などに応用される。
【０００３】
パラ言語情報認識の一例である感情認識は、ユーザの喋り方の特徴に左右されやすく、認識性能が低下しやすいという問題がある。そこで近年では、ユーザの平静音声（具体的にはユーザが平静な状態で発した音声）を基準として使用することでユーザの喋り方の特徴を考慮する感情認識が考案されている。
【０００４】
しかしながら、上述した感情認識は、ユーザの平静音声を含む平静音声データを事前に取得しておく必要がある。コールセンターなどの実運用を想定した場合、認識したい音声データの話者と同一話者の平静音声データを事前に取得しておくことは困難である。
【先行技術文献】
【特許文献】
【０００５】
特許第７４２０２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、パラ言語情報認識の基準として使用されるユーザのメディアデータを事前に準備する必要なしに、ユーザのパラ言語情報を認識することを可能にするパラ言語情報認識装置、パラ言語情報認識方法、及びパラ言語情報認識プログラムを提供することである。
【課題を解決するための手段】
【０００７】
一実施形態に係るパラ言語情報認識プログラムは、対象ユーザのメディアデータを取得する取得手段、前記メディアデータから所定のキーワードを含む部分を基準メディアデータとして抽出する抽出手段、及び前記基準メディアデータを基準にして、前記メディアデータから前記対象ユーザのパラ言語情報を推定する推定手段としてコンピュータを機能させる。
【図面の簡単な説明】
【０００８】
実施形態に係るパラ言語情報認識装置の機能構成を示すブロック図。
図１に示したキーワード検出部の動作を示すフローチャート。
図１に示したデータ抽出部の動作を示すフローチャート。
図１に示した推定部の動作を示すフローチャート。
図１に示したパラ言語情報認識装置を実現し得るコンピュータのハードウェア構成を示すブロック図。
実施形態に係るオフライン動作におけるパラ言語情報認識処理を示すフローチャート。
実施形態に係るリアルタイム動作におけるパラ言語情報認識処理を示すフローチャート。
実施形態に係るパラ言語情報の推定結果の出力を示す図。
実施形態に係る手法及びベースライン手法に対して評価実験を実施した結果を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態を説明する。
【００１０】
実施形態は、ユーザに関するメディアデータからユーザのパラ言語情報を推定する技術に関する。本明細書では、パラ言語情報は、ヒトの精神的及び／又は肉体的な状態を示す。精神的な状態の例は、感情、興味、関心、精神疲労を含み得るが、これらに限定されない。肉体的な状態の例は、肉体疲労を含み得るが、これに限定されない。メディアデータは、音声データ、動画像データ、又はテキストデータであり得る。パラ言語情報を推定するために使用されるメディアデータは、１種類のメディアデータを含んでいてもよく、音声データと動画像データの組み合わせのように、複数種類のメディアデータを含んでいてもよい。以下では、音声データを単に音声と記載することもあり、動画像データを単に動画像と記載することもある。また、パラ言語情報を推定する対象となるユーザを対象ユーザと呼ぶ。
（【００１１】以降は省略されています）

関連特許