特許ウォッチ

公開番号2024054053
公報種別公開特許公報(A)
公開日2024-04-16
出願番号2022212415
出願日2022-12-28
発明の名称音響モデルの訓練方法
出願人ヤマハ株式会社
代理人弁理士法人高橋・林アンドパートナーズ
主分類G10L 13/06 20130101AFI20240409BHJP(楽器;音響)
要約【課題】訓練済みの音響モデルについて、そのモデルの追加訓練の可否を選択すること。
【解決手段】音響モデルの訓練方法は、音響特徴量を生成する音響モデルの訓練方法であって、付加情報がリンクした第1音響モデルを、音波形を用いた再訓練の対象として特定し、前記付加情報に基づき、前記第1音響モデルに対する再訓練の可否を判断し、再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第1音響モデルを再訓練することで、再訓済の第2音響モデルを作成する。前記付加情報は、前記音響モデルに対する再訓練の許可を示す許可フラグであってもよい。
【選択図】図5
特許請求の範囲【請求項１】
音響特徴量を生成する音響モデルの訓練方法であって、
付加情報がリンクした第１音響モデルを、音波形を用いた再訓練の対象として特定し、
前記付加情報に基づき、前記第１音響モデルに対する再訓練の可否を判断し、
再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第１音響モデルを再訓練することで、再訓済の第２音響モデルを作成する音響モデルの訓練方法。
続きを表示（約 1,200 文字）【請求項２】
前記付加情報は、前記第１音響モデルに対する再訓練の許可を示す許可フラグである、請求項１に記載の方法。
【請求項３】
前記付加情報は、前記第１音響モデルの再訓練のプロセスを示す手順データを含み、
前記第１音響モデルの前記再訓練は、前記手順データに基づいて行われる、請求項１に記載の方法。
【請求項４】
前記付加情報は、前記第１音響モデルの第１特徴を示す情報を含み、
前記音波形が特定されると、前記第１特徴と前記音波形の第２特徴とに基づいて、それぞれ前記付加情報がリンクした複数の前記第１音響モデルから、再訓練が行われる前記第１音響モデルを選択する、請求項１に記載の方法。
【請求項５】
再訓練が行われる前記第１音響モデルは、それぞれ前記付加情報がリンクした複数の前記第１音響モデルから選択され、
前記複数の第１音響モデルを用いて、前記音波形に係る楽曲の音響特徴量を各々生成し、
前記音波形と前記生成された複数の音響特徴量とに基づいて、再訓練が行われる前記第１音響モデルを選択する、請求項１に記載の方法。
【請求項６】
前記第１音響モデルは、１以上の作成者によって作成された音響モデルであり、
前記付加情報は、前記１以上の作成者によって付与された、前記作成者が作成した第１音響モデルに対する再訓練の可否を制御する情報である、請求項１に記載の方法。
【請求項７】
前記付加情報は、前記第１音響モデルの原作成者により前記第１音響モデルにリンクされた第１付加情報であり、
前記第２音響モデルを作成したユーザは、前記第２音響モデルに対する再訓練の可否を示す第２付加情報を設定して、前記第２音響モデルにリンクする、請求項１又は６に記載の方法。
【請求項８】
前記第２音響モデルは第３者に販売され、その対価は、前記再訓練による前記第１音響モデルから前記第２音響モデルへの変化度に応じて、前記第１音響モデルの作成者と、前記第２音響モデルの作成者との間で、案分される、請求項１又は６に記載の方法。
【請求項９】
前記第２音響モデルは第３者に販売され、
前記付加情報は、前記第１音響モデルの作成者の取り分を示す取り分情報を含み、
前記販売の対価は、前記取り分情報に応じて、前記第１音響モデルの作成者に分配される、請求項１又は６に記載の方法。
【請求項１０】
前記再訓練が行われる第１音響モデルは、複数の第１音響モデルの中から選択されたモデルであり、
前記複数の第１音響モデルは、未訓練の初期モデルであって、当該モデルへの再訓練の許可を示す付加情報がリンクされた、前記初期モデルを含む、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の一実施形態は、音響モデルの訓練方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
特定の歌手の声音及び特定の楽器の演奏音を合成する音声合成技術（Sound Synthesis）が知られている。特に、機械学習を利用した音声合成技術（例えば、特許文献１）では、ユーザによって入力された楽譜データ及び音響データに基づいて当該特定の音声及び演奏音で自然な発音の合成音声を出力するために、十分に訓練された音響モデルが要求される。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２２／０８０３９５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音響モデルを十分に訓練するためには、膨大な量の声音及び演奏音について言語特徴量をラベル付けする必要があり、莫大な時間と費用を要していた。そのため、資金を十分に有する企業しか音響モデルの訓練を実行することができず、音響モデルの種類が限られていた。一方で、近年、音響モデルの訓練を一般のユーザが実行するためのプラットフォームが整備されてきている。そのようなプラットフォームが完成した場合、一般のユーザが訓練を行った音響モデルを用いて、他のユーザがさらに訓練を実行するケースが想定される。
【０００５】
本発明の一実施形態の目的の一つは、訓練済みの音響モデルについて、そのモデルの追加訓練の可否を選択することである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態による音響モデルの訓練方法は、音響特徴量を生成する音響モデルの提供方法であって、付加情報がリンクした第１音響モデルを、音波形を用いた再訓練の対象として特定し、前記付加情報に基づき、前記第１音響モデルに対する再訓練の可否を判断し、再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第１音響モデルを再訓練することで、再訓済の第２音響モデルを作成する。
【発明の効果】
【０００７】
本発明の一実施形態によれば、訓練済みの音響モデルについて、そのモデルの追加訓練の可否を選択することができる。
【図面の簡単な説明】
【０００８】
音響モデル訓練システムの全体構成図である。
サーバの構成図である。
音響モデルの説明図である。
音響モデルの訓練方法及び音声合成方法を示すシーケンス図である。
音響モデルの訓練方法を示すフローチャートである。
付加情報の一例を示す図である。
音響モデルの訓練方法を示すフローチャートである。
付加情報の一例を示す図である。
音響モデルの訓練方法を示す概念図である。
音響モデルの訓練方法を示すフローチャートである。
音響モデルの訓練方法を示すフローチャートである。
音響モデルの訓練方法を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態における音響モデルの訓練方法について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明を実施する形態の一例であって、本発明はこれらの実施形態に限定して解釈されない。本実施形態で参照する図面において、同一部分又は同様の機能を有する部分には同一の符号又は類似の符号が付されており、それらの繰り返しの説明は省略される場合がある。
【００１０】
以下の実施形態において、「楽譜データ」は、音符の音高及び強度に関する情報、音符における音韻に関する情報、音符の発音期間に関する情報、及び演奏記号に関する情報を含むデータである。例えば、楽譜データは、楽曲の楽譜及び歌詞の少なくとも一方を示すデータである。楽譜データは、当該楽曲を構成する音符の時系列を示すデータであってもよく、当該楽曲を構成する言語の時系列を示すデータであってもよい。
（【００１１】以降は省略されています）

関連特許