特許ウォッチ

公開番号2024172954
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023091036
出願日2023-06-01
発明の名称会話評価プログラム、装置及び方法
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G10L 25/51 20130101AFI20241205BHJP(楽器;音響)
要約【課題】複数の話者間のコミュニケーションの状態を適切に評価すること。
【解決手段】実施形態に係る会話評価プログラムは、コンピュータに、推定機能と、特定機能と、評価機能とを実現させる。推定機能は、複数の話者によるそれぞれの発話を含む会話に関する音声データに基づいて、それぞれの主要話者による発話の開始時刻及び終了時刻を推定する。特定機能は、前記推定された開始時刻及び終了時刻に基づいて、前記それぞれの主要話者の交代タイミングを特定する。評価機能は、前記特定された交代タイミングの前後における対話情報に基づいて、前記会話の状態を評価する。前記対話情報は、前記それぞれの主要話者の発話区間が重複する重複区間の長さと、前記それぞれの主要話者の発話区間が重複しない無音区間の長さとのうち少なくとも1つと、前記それぞれの主要話者の発話区間の長さとを含む。
【選択図】図8
特許請求の範囲【請求項１】
コンピュータに、
複数の話者によるそれぞれの発話を含む会話に関する音声データに基づいて、それぞれの主要話者による発話の開始時刻及び終了時刻を推定する推定機能と、
前記推定された開始時刻及び終了時刻に基づいて、前記それぞれの主要話者の交代タイミングを特定する特定機能と、
前記特定された交代タイミングの前後における対話情報に基づいて、前記会話の状態を評価する評価機能と、
を実現させ、
前記対話情報は、前記それぞれの主要話者の発話区間が重複する重複区間の長さと、前記それぞれの主要話者の発話区間が重複しない無音区間の長さとのうち少なくとも１つと、前記それぞれの主要話者の発話区間の長さとを含む、
会話評価プログラム。
続きを表示（約 1,400 文字）【請求項２】
前記推定機能は、前記複数の話者によるそれぞれの発話のうち、発話区間の長さが閾値以上であり、かつ発話区間が他の発話区間に含まれない発話を、前記主要話者による発話として推定する、
請求項１に記載の会話評価プログラム。
【請求項３】
前記評価機能は、前記対話情報を入力データとして、前記交代タイミングの前後における前記会話の状態を示すラベルを正解データとする訓練データにより訓練された訓練済みモデルを用いて、前記会話の状態を評価する、
請求項１に記載の会話評価プログラム。
【請求項４】
前記ラベルは、威圧的な発話を行っている主要話者の名称であり、
前記評価機能は、前記会話の状態に関する評価結果として、前記それぞれの主要話者が威圧的な発話を行っている確率を出力する、
請求項３に記載の会話評価プログラム。
【請求項５】
前記ラベルは、前記会話が活発であるか否かに関する値であり、
前記評価機能は、前記会話の状態に関する評価結果として、前記会話の活性度を出力する、
請求項３に記載の会話評価プログラム。
【請求項６】
前記評価機能は、前記対話情報に基づいて威圧的な話者交代を検出した場合、前記威圧的な話者交代が検出された前記交代タイミングに関連付けて、アラート情報を出力する、
請求項１に記載の会話評価プログラム。
【請求項７】
前記評価機能は、前記対話情報に基づいて前記会話において閾値以上の回数にわたり威圧的な話者交代を検出した場合、アラート情報を出力する、
請求項１に記載の会話評価プログラム。
【請求項８】
前記評価機能は、前記対話情報に基づいて前記会話において閾値以上の回数にわたり前記会話が不活発であることを検出した場合、アラート情報を出力する、
請求項１に記載の会話評価プログラム。
【請求項９】
複数の話者によるそれぞれの発話を含む会話に関する音声データに基づいて、それぞれの主要話者による発話の開始時刻及び終了時刻を推定する推定部と、
前記推定された開始時刻及び終了時刻に基づいて、前記それぞれの主要話者の交代タイミングを特定する特定部と、
前記特定された交代タイミングの前後における対話情報に基づいて、前記会話の状態を評価する評価部と、
を具備し、
前記対話情報は、前記それぞれの主要話者の発話区間が重複する重複区間の長さと、前記それぞれの主要話者の発話区間が重複しない無音区間の長さとのうち少なくとも１つと、前記それぞれの主要話者の発話区間の長さとを含む、
会話評価装置。
【請求項１０】
複数の話者によるそれぞれの発話を含む会話に関する音声データに基づいて、それぞれの主要話者による発話の開始時刻及び終了時刻を推定することと、
前記推定された開始時刻及び終了時刻に基づいて、前記それぞれの主要話者の交代タイミングを特定することと、
前記特定された交代タイミングの前後における対話情報に基づいて、前記会話の状態を評価することと、
を具備し、
前記対話情報は、前記それぞれの主要話者の発話区間が重複する重複区間の長さと、前記それぞれの主要話者の発話区間が重複しない無音区間の長さとのうち少なくとも１つと、前記それぞれの主要話者の発話区間の長さとを含む、
会話評価方法。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、会話評価プログラム、装置及び方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
一般に、企業は労働生産性を向上させるため、当該企業に対する各従業員のエンゲージメントを向上させる必要がある。このため、企業は従業員間のコミュニケーションの状態（特に、健全性）を評価する必要がある。
【０００３】
例えば、第１話者及び第２話者による２人の会話において、２話者の発話区間が重複する重複区間の長さを用いて、２話者間のコミュニケーションの状態を評価する技術がある。本技術は、第１話者の発話中に第２話者が発話し始めた時点から、第１話者が発話を終了する時点までを重複区間とみなし、この重複区間の長さに応じて、第１話者に対する第２話者の印象を「普通」又は「悪い」として評価する。
【０００４】
しかしながら、上記の技術は、第２話者から見た第１話者の印象を評価するので、第２話者の立場から独立して、第１話者の印象を客観的に評価できない。例えば、実際には第１話者の発話中に割り込んできた第２話者が悪いにもかかわらず、第１話者の印象が「悪い」と不当に評価され得る。したがって、複数の話者間のコミュニケーションの状態を適切に評価することが要請される。
【先行技術文献】
【特許文献】
【０００５】
特許第６５２４６７４号公報
【非特許文献】
【０００６】
Nobutaka Ito, Christopher Schymura, Shoko Araki and Tomohiro Nakatani, "Noisy cGMM: Complex Gaussian Mixture Model with Non-Sparse Noise Model for Joint Source Separation and Denoising", 2018 26th European Signal Processing Conference (EUSIPCO), Rome, Italy, 2018, pp. 1662-1666
Jongseo Sohn, Nam Soo Kim and Wonyong Sung, "A statistical model-based voice activity detection", IEEE Signal Processing Letters, 1999, Vol. 6, No. 1, pp. 1-3
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、複数の話者間のコミュニケーションの状態を適切に評価することである。
【課題を解決するための手段】
【０００８】
実施形態に係る会話評価プログラムは、コンピュータに、推定機能と、特定機能と、評価機能とを実現させる。推定機能は、複数の話者によるそれぞれの発話を含む会話に関する音声データに基づいて、それぞれの主要話者による発話の開始時刻及び終了時刻を推定する。特定機能は、前記推定された開始時刻及び終了時刻に基づいて、前記それぞれの主要話者の交代タイミングを特定する。評価機能は、前記特定された交代タイミングの前後における対話情報に基づいて、前記会話の状態を評価する。前記対話情報は、前記それぞれの主要話者の発話区間が重複する重複区間の長さと、前記それぞれの主要話者の発話区間が重複しない無音区間の長さとのうち少なくとも１つと、前記それぞれの主要話者の発話区間の長さとを含む。
【図面の簡単な説明】
【０００９】
本実施形態に係る会話評価装置の機能構成例を示すブロック図。
本実施形態に係る会話評価装置のハードウェア構成例を示すブロック図。
本実施形態に係る会話評価装置の全体動作例を示すフローチャート。
本実施形態に係る主要話者の発話の推定方法を示すフローチャート。
本実施形態に係る会話分析の例を示す図。
本実施形態に係る会話の状態の評価方法を示すフローチャート。
本実施形態に係る対話情報の例を示す図。
本実施形態に係る評価結果の表示例を示す図。
従来手法及び提案手法に係る会話分析の推定精度の例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施形態に係る会話評価プログラム、装置及び方法について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜、省略する。
（【００１１】以降は省略されています）

関連特許