特許ウォッチ

公開番号2025117505
公報種別公開特許公報(A)
公開日2025-08-12
出願番号2024093809
出願日2024-06-10
発明の名称電子装置及びその制御方法
出願人現代自動車株式会社,HYUNDAI MOTOR COMPANY,起亞株式会社,KIA CORPORATION
代理人弁理士法人共生国際特許事務所
主分類G10L 25/51 20130101AFI20250804BHJP(楽器;音響)
要約【課題】音声トーン変化に基づいてロボット発話に好適なジェスチャーを生成する電子装置及びその制御方法を提供する。
【解決手段】メモリー及びメモリーにアクセスして命令語を実行する少なくとも一つ以上のプロセッサーを有する電子装置において、その制御方法は、コーパスに含まれた対象文章から、文法に関する単位の第1ワードセグメント及び第2ワードセグメントを識別し、第1ワードセグメント及び第2ワードセグメントの間の休止時間及び予め決定された臨界時間の比較に基づいて、第1ワードセグメント及び第2ワードセグメントを含む対象フレーズを決定し、対象文章を予め決定された音声合成モデルに適用して獲得された音声データのピッチ輪郭に関する情報及び対象フレーズに含まれたワードセグメントのそれぞれの発話時間に基づいて、対象フレーズの音声トーン変化を決定する。
【選択図】図2
特許請求の範囲【請求項１】
コンピュータで実行可能な命令語（ｃｏｍｐｕｔｅｒ－ｅｘｅｃｕｔａｂｌｅｉｎｓｔｒｕｃｔｉｏｎｓ）を保存したメモリーと、
前記メモリーにアクセス（ａｃｃｅｓｓ）して前記命令語を実行する少なくとも一つ以上のプロセッサーと、を含み、
前記少なくとも一つ以上のプロセッサーは、
コーパス（ｃｏｒｐｕｓ）に含まれた対象文章（ｔａｒｇｅｔｓｅｎｔｅｎｃｅ）から、文法に関する単位の第１ワードセグメント（ｗｏｒｄｓｅｇｍｅｎｔ）及び第２ワードセグメントを識別し、
前記第１ワードセグメント及び前記第２ワードセグメントの間の休止時間及び予め決定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）臨界時間の比較に基づいて、前記第１ワードセグメント及び前記第２ワードセグメントを含む対象フレーズ（ｔａｒｇｅｔｐｈｒａｓｅ）を決定し、
前記対象文章を予め決定された音声合成（ｔｅｘｔｔｏｓｐｅｅｃｈ）モデルに適用して獲得された音声データのピッチ輪郭（ｐｉｔｃｈｃｏｎｔｏｕｒ）に関する情報及び前記対象フレーズに含まれたワードセグメントのそれぞれの発話時間（ｕｔｔｅｒａｎｃｅｔｉｍｅ）に基づいて、前記対象フレーズの音声トーン（ｖｏｉｃｅｔｏｎｅ）変化を決定する、ことを特徴とする電子装置。
続きを表示（約 2,400 文字）【請求項２】
前記少なくとも一つ以上のプロセッサーは、
前記音声データから前記第１ワードセグメントの第１発話時間、及び前記第２ワードセグメントの第２発話時間を識別し、
前記第１発話時間及び前記第１ワードセグメントのピッチ輪郭に関する情報を介して前記第１ワードセグメントの第１音声トーン変化を決定し、
前記第２発話時間及び前記第２ワードセグメントのピッチ輪郭に関する情報を介して前記第２ワードセグメントの第２音声トーン変化を決定する、ことを特徴とする請求項１に記載の電子装置。
【請求項３】
前記少なくとも一つ以上のプロセッサーは、
前記第１発話時間に対応する前記第１ワードセグメントのピッチ輪郭に関する情報から、予め決定された単位時間間隔ごとに音声トーン変化率を獲得することで、前記第１音声トーン変化を決定し、
前記第２発話時間に対応する前記第２ワードセグメントのピッチ輪郭に関する情報から、予め決定された単位時間間隔ごとに音声トーン変化率を獲得することで、前記第２音声トーン変化を決定する、ことを特徴とする請求項２に記載の電子装置。
【請求項４】
前記少なくとも一つ以上のプロセッサーは、
前記第１ワードセグメント及び前記第２ワードセグメントが前記対象フレーズに含まれたことに基づいて、前記第１音声トーン変化及び前記第２音声トーン変化の平均を決定し、
前記平均を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）関数に適用して獲得された値を前記対象フレーズの音声トーン変化として決定する、ことを特徴とする請求項２に記載の電子装置。
【請求項５】
前記少なくとも一つ以上のプロセッサーは、
前記休止時間が前記臨界時間未満であることに基づいて、前記対象フレーズに前記第１ワードセグメント及び前記第２ワードセグメントを含ませ、
前記休止時間が前記臨界時間以上であることに基づいて、前記第１ワードセグメント及び前記第２ワードセグメントのうちの一つを前記対象フレーズに含ませる、ことを特徴とする請求項１に記載の電子装置。
【請求項６】
前記少なくとも一つ以上のプロセッサーは、
前記休止時間が前記臨界時間未満であることに基づいて、前記音声データで前記第１ワードセグメント及び前記第２ワードセグメントの位置を決定し、
前記第２ワードセグメントが前記第１ワードセグメントに後続することに基づいて、前記音声データから前記第２ワードセグメントに後続する第３ワードセグメントを識別し、
前記第２ワードセグメント及び前記第３ワードセグメントの間の休止時間及び前記臨界時間の比較に基づいて、前記第３ワードセグメントを前記対象フレーズに含ませるか否かを決定する、ことを特徴とする請求項５に記載の電子装置。
【請求項７】
前記少なくとも一つ以上のプロセッサーは、
前記第１ワードセグメント及び前記第２ワードセグメントを含む対象ウィンドー（ｔａｒｇｅｔｗｉｎｄｏｗ）のワードエンベディング（ｗｏｒｄｅｍｂｅｄｄｉｎｇ）を介して、予め決定された次元（ｄｉｍｅｎｓｉｏｎ）の数を有する第１対象ベクトルを獲得し、
前記第１対象ベクトルをフレーズ単位認識モデルに適用して、前記対象ウィンドーに含まれたワードセグメントのセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）可否を示す出力を獲得し、
前記出力及び前記対象文章の比較により獲得された第１ロス（ｌｏｓｓ）に基づいて、前記フレーズ単位認識モデルを学習させる、ことを特徴とする請求項１に記載の電子装置。
【請求項８】
前記少なくとも一つ以上のプロセッサーは、
前記対象フレーズのワードエンベディングを介して、前記対象フレーズに含まれたワードセグメントごとに予め決定された次元の数を有するベクトルを含む第２対象ベクトルを獲得し、
前記第２対象ベクトルを、入力される対象の次元を縮小させるエンコーダーに適用して、前記第２対象ベクトルの次元を縮小させ、
前記エンコーダーに適用された前記第２対象ベクトルを音声トーン変化予測モデルに適用して、前記対象フレーズの臨時音声トーン変化を獲得し、
前記対象フレーズの臨時音声トーン変化及び前記対象フレーズの音声トーン変化の比較により獲得された第２ロスに基づいて、前記音声トーン変化予測モデルを学習させる、ことを特徴とする請求項１に記載の電子装置。
【請求項９】
前記少なくとも一つ以上のプロセッサーは、
前記対象文章に含まれたフレーズのそれぞれの音声トーン変化が決定されたことに基づいて、前記対象文章に含まれたフレーズのうち、音声トーン変化が最も大きなフレーズを前記対象文章のジェスチャー実行区間に該当するジェスチャー割り当て候補として決定し、
前記ジェスチャー割り当て候補に対応するジェスチャータイプに基づいて、前記ジェスチャー割り当て候補のジェスチャーを決定し、
前記ジェスチャーを前記ジェスチャー割り当て候補の発話時間に対応させて、前記対象文章の出力が予定されたロボットのジェスチャーを生成する、ことを特徴とする請求項１に記載の電子装置。
【請求項１０】
前記少なくとも一つ以上のプロセッサーは、
前記音声データから前記ピッチ輪郭に関する情報を識別できなかったことに基づいて、前記音声データにキュービックスプライン（ｃｕｂｉｃｓｐｌｉｎｅ）補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を適用して前記ピッチ輪郭に関する情報を識別する、ことを特徴とする請求項１に記載の電子装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、電子装置及びその制御方法に係り、より詳しくは、ロボットジェスチャーを生成するモデルの学習データを生成するための技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
対話モデル（例えば、ｃｈａｔｂｏｔ）から入力されたロボットの発話文章（Ｔｅｘｔ）に対応するロボットのスピーチ（Ｓｐｅｅｃｈ）－ジェスチャーを生成するために、与えられたロボット発話文章において、ジェスチャーが割り当て可能な区間（例えば、ジェスチャーの開始と終了時点を含む）及びジェスチャー割り当て区間に好適なジェスチャーをＤＢで選択して生成する過程が必要である。具体的には、発話文章全体にジェスチャーを割り当てする場合、発話開始から終了時点までジェスチャーを表現するので、これは使用者の没入度を阻害することができる。また、ロボット発話とジェスチャーとの間の時間同期（Ｓｙｎｃ）が合わない場合、ヒトとロボットとの間の否定的な相互作用効果（例えば、好感度低下）を引き起こすことができる。
【０００３】
これに関連し、ジェスチャーが割り当て可能な区間は、ワードセグメント（例えば、語節）又はフレーズ（例えば、句）単位で多様なことがある。ただし、ワードセグメントは、発話時間が短いので、ジェスチャー生成に十分な時間を確保することに困難がある。したがって、フレーズ単位にジェスチャーを割り当てする技術が主に開発されてきたが、発話文章内の文法情報（例えば、品詞）又は意味情報（例えば、形態素）に基づいてジェスチャーを生成したので、ロボットの音声トーン変化と連繋性が考慮されなかった。また、機械学習方法で学習されたモデルを活用することは、使用者が膨大な量のデータを構築する過程が求められるので、時間と努力が伴わなければならないという困難があった。
【０００４】
このような問題を解決するために、ロボットジェスチャーを生成するモデルの学習データを自動で生成する技術、及び音声トーン変化に基づいてジェスチャーを割り当てする技術の開発が必要である。
【先行技術文献】
【特許文献】
【０００５】
特開２０２２－１５８１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、対象文章を音声合成モデルに適用して獲得された音声データのピッチ輪郭に関する情報とワードセグメントの発話時間に基づいて、対象フレーズの音声トーン変化を決定することで、音声トーン変化に基づいてロボット発話に好適なジェスチャーを生成する電子装置及びその制御方法を提供しようとする。
【０００７】
また、本発明の実施形態は、音声データからピッチ輪郭に関する情報を識別できなかったことに基づいて、音声データにキュービックスプライン補間を適用してピッチ輪郭に関する情報を獲得することで、ピッチ輪郭が識別されないワードフレーズの音声トーン変化を獲得できる電子装置及びその制御方法を提供しようとする。
【０００８】
また、本発明の実施形態は、対象文章に含まれたフレーズのうち、音声トーン変化が最も大きなフレーズを対象文章のジェスチャー割り当て候補として決定することで、ロボットの自然なスピーチ－ジェスチャー生成により使用者と自然な相互作用を提供できる電子装置及びその制御方法を提供しようとする。
本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていないさらに他の技術的課題は、以下の記載から当業者に明確に理解され得る。
【課題を解決するための手段】
【０００９】
本発明の実施形態による電子装置は、コンピュータで実行可能な命令語（ｃｏｍｐｕｔｅｒ－ｅｘｅｃｕｔａｂｌｅｉｎｓｔｒｕｃｔｉｏｎｓ）を保存したメモリー、及び前記メモリーにアクセス（ａｃｃｅｓｓ）して前記命令語を実行する少なくとも一つ以上のプロセッサーを含み、前記少なくとも一つ以上のプロセッサーは、コーパス（ｃｏｒｐｕｓ）に含まれた対象文章（ｔａｒｇｅｔｓｅｎｔｅｎｃｅ）から、文法に関する単位の第１ワードセグメント（ｗｏｒｄｓｅｇｍｅｎｔ）及び第２ワードセグメントを識別し、前記第１ワードセグメント及び前記第２ワードセグメントの間の休止時間及び予め決定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）臨界時間の比較に基づいて、前記第１ワードセグメント及び前記第２ワードセグメントを含む対象フレーズ（ｔａｒｇｅｔｐｈｒａｓｅ）を決定し、前記対象文章を予め決定された音声合成（ｔｅｘｔｔｏｓｐｅｅｃｈ）モデルに適用して獲得された音声データのピッチ輪郭（ｐｉｔｃｈｃｏｎｔｏｕｒ）に関する情報及び前記対象フレーズに含まれたワードセグメントのそれぞれの発話時間（ｕｔｔｅｒａｎｃｅｔｉｍｅ）に基づいて、前記対象フレーズの音声トーン（ｖｏｉｃｅｔｏｎｅ）変化を決定することができる。
【００１０】
一実施形態において、前記少なくとも一つ以上のプロセッサーは、前記音声データから前記第１ワードセグメントの第１発話時間、及び前記第２ワードセグメントの第２発話時間を識別し、前記第１発話時間及び前記第１ワードセグメントのピッチ輪郭に関する情報を介して前記第１ワードセグメントの第１音声トーン変化を決定し、前記第２発話時間及び前記第２ワードセグメントのピッチ輪郭に関する情報を介して前記第２ワードセグメントの第２音声トーン変化を決定することができる。
（【００１１】以降は省略されています）

関連特許