特許ウォッチ

公開番号2025171592
公報種別公開特許公報(A)
公開日2025-11-20
出願番号2024077089
出願日2024-05-10
発明の名称音処理装置及び音処理方法
出願人ヤマハ株式会社
代理人弁理士法人旺知国際特許事務所
主分類G10H 1/053 20060101AFI20251113BHJP(楽器;音響)
要約【課題】トーキングモジュレータと同様の演奏効果を非接触で実現可能にする。
【解決手段】音処理装置20は、利用者Uの口を示す入力画像IGに基づいて、利用者Uの音声に関するフォルマントの周波数及び振幅を推定する推定部21と、楽器の演奏信号PSを、推定されたフォルマントの周波数及び振幅に応じて変調することによって得られた音信号SSを出力する変調部22と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
人の口を示す入力画像に基づいて、前記人の音声に関するフォルマントの周波数及び振幅を推定する推定部と、
楽器の演奏信号を前記推定されたフォルマントの周波数及び振幅に応じて変調することによって得られた音信号を出力する変調部と、
を備える音処理装置。
続きを表示（約 910 文字）【請求項２】
前記推定されたフォルマントの周波数及び振幅は第１フォルマントの周波数及び振幅である、
請求項１に記載の音処理装置。
【請求項３】
前記推定部は、前記入力画像が示す前記人の口唇の開口度合いに基づいて前記フォルマントの周波数及び振幅を推定する、
請求項１に記載の音処理装置。
【請求項４】
前記推定部は、前記入力画像が示す前記人の口唇の縦幅と横幅とに基づいて前記フォルマントの周波数及び振幅を推定する、
請求項３に記載の音処理装置。
【請求項５】
前記推定部は、前記入力画像に基づいて前記人の音声に含まれる母音を推定し、前記推定された母音から前記フォルマントの周波数及び振幅を決定する、
請求項１に記載の音処理装置。
【請求項６】
前記推定部は、複数の人が発声する場合の口を示す口画像と、前記複数の人が発声した音声に含まれる母音との関係を学習済みである学習モデルに、前記入力画像を入力することにより前記人の音声に含まれる母音を推定する、
請求項５に記載の音処理装置。
【請求項７】
前記推定部は、前記入力画像と、前記人の舌の位置を示す位置情報とに基づいて、前記フォルマントの周波数及び振幅を推定する、
請求項１に記載の音処理装置。
【請求項８】
前記変調部は、前記フォルマントに対応する１以上のピーキングフィルタを含み、前記変調部は、前記１以上のピーキングフィルタから出力される信号を前記音信号として出力する、
請求項１に記載の音処理装置。
【請求項９】
前記１以上のピーキングフィルタのそれぞれはデジタルフィルタにより構成される、
請求項８に記載の音処理装置。
【請求項１０】
人の口を示す画像に基づいて、前記人の音声に関するフォルマントの周波数及び振幅を推定し、
楽器の演奏信号を前記推定されたフォルマントの周波数及び振幅に応じて変調することによって得られた音信号を出力する、
音処理方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、音処理装置及び音処理方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
従来から、音楽用のエフェクタとして、人間の発声過程のうち最上流にある喉頭原音を楽器音に置き換えることにより発話風の効果が得られるトーキングモジュレータが知られている。従来のトーキングモジュレータは、楽器からの音響信号を、チューブを用いて口腔内に放射させることにより、擬似的に喉頭原音を楽器音へ置換する。例えば、非特許文献１には、代表的なトーキングモジュレータが開示されている。
【先行技術文献】
【非特許文献】
【０００３】
“MXR（登録商標）TALK BOX”，［online］，DUNLOP MANUFACTURING社ホームページ，［令和6年2月10日検索］，インターネット＜URL：https://www.jimdunlop.com/mxr-talk-box/＞
red bears，“歌声の研究（ボイトレ研究）”，［online］，平成2017年3月14日更新，フリーＢＧＭ素材サイト，［令和6年2月10日検索］，インターネット＜URL：https://nakano-sound.com/voicetraning/voicetraning16.html#google_vignette＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献１に開示されているような従来のトーキングモジュレータでは、演奏者の口腔内にチューブが導入されるため、演奏者にとって自然な発話時と同じ口腔形状をとることが難しいという問題があった。
【０００５】
以上の事情を考慮して、本開示のひとつの態様は、トーキングモジュレータと同様の演奏効果を非接触で実現可能な音処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本開示のひとつの態様に係る音処理装置は、人の口を示す入力画像に基づいて、前記人の音声に関するフォルマントの周波数及び振幅を推定する推定部と、楽器の演奏信号を前記推定されたフォルマントの周波数及び振幅に応じて変調することによって得られた音信号を出力する変調部と、を備える。
【０００７】
本開示のひとつの態様に係る音処理方法は、人の口を示す画像に基づいて、前記人の音声に関するフォルマントの周波数及び振幅を推定し、楽器の演奏信号を前記推定されたフォルマントの周波数及び振幅に応じて変調することによって得られた音信号を出力する。
【図面の簡単な説明】
【０００８】
第１実施形態に係る音処理装置を含む演奏システムの一例を示すブロック図である。
人の音声の周波数スペクトルを示す図である。
口唇の開口度を説明する図である。
図１の音処理装置の一例を示すブロック図である。
図１の音処理装置の音処理動作の一例を示すフローチャートである。
第２実施形態に係る音処理装置を含む演奏システムの一例を示すブロック図である。
図６の音処理装置の一例を示すブロック図である。
図６の音処理装置の音処理動作の一例を示すフローチャートである。
第３実施形態に係る音処理装置を含む演奏システムの一例を示すブロック図である。
図９の音処理装置の一例を示すブロック図である。
図９の音処理装置の音処理動作の一例を示すフローチャートである。
第１変形例に係る音処理装置の一例を示すブロック図である。
口唇の縦幅及び横幅を説明する図である。
５つの母音に対応する口唇の形状の一例を示す図である。
図１２の音処理装置の音処理動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
Ａ：第１実施形態
Ａ１：音処理装置の構成
図１は、第１実施形態に係る音処理装置２０を含む演奏システム１の一例を示すブロック図である。
図１に示したように、演奏システム１は、記憶装置１０、音処理装置２０、撮像装置、撮像装置３０、楽器４０、信号入力装置５０、及び再生装置６０を有している。
【００１０】
記憶装置１０は、コンピュータによって読み取り可能な記録媒体（例えば、コンピュータによって読み取り可能なnon transitoryな記録媒体）である。記憶装置１０は、不揮発性メモリーと、揮発性メモリーと、を含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。
（【００１１】以降は省略されています）

関連特許