特許ウォッチ

公開番号2024086794
公報種別公開特許公報(A)
公開日2024-06-28
出願番号2024061057,2022522496
出願日2024-04-04,2020-06-12
発明の名称信号処理方法、信号処理装置、及びプログラム
出願人ヤマハ株式会社
代理人個人,個人,個人,個人
主分類G10K 15/02 20060101AFI20240621BHJP(楽器;音響)
要約【課題】一般に普及している通話アプリを利用して、高品質な音を伝送する。
【解決手段】同一の音源が収音された第1音響信号、及び第2音響信号の信号処理方法であり、前記第1音響信号は、前記第2音響信号よりも遅延が少ない伝送路を経由して伝送される信号処理方法であって、第1受信部が、第1伝送路を経由して伝送される前記第1音響信号を受信し、第2受信部が、伝送に係る遅延時間が前記第1伝送路より大きい第2伝送路であり前記第1伝送路とは異なる第2伝送路を経由して伝送される前記第2音響信号を受信し、遅延量算出部が、前記第1音響信号と前記第2音響信号における相対的な遅延量である伝送遅延量を算出し、遅延量付加部が、前記伝送遅延量に基づいて前記第1音響信号を遅延させ、当該遅延させた前記第1音響信号を出力する、信号処理方法である。
【選択図】図1
特許請求の範囲【請求項１】
同一の音源が収音された第１音響信号、及び第２音響信号の信号処理方法であり、前記第１音響信号は、前記第２音響信号よりも遅延が少ない伝送路を経由して伝送される信号処理方法であって、
第１受信部が、第１伝送路を経由して伝送される前記第１音響信号を受信し、
第２受信部が、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信し、
遅延量算出部が、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出し、
遅延量付加部が、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
信号処理方法。
続きを表示（約 1,700 文字）【請求項２】
同一の音源が収音された第１音響信号、及び第２音響信号の信号処理方法であり、前記第１音響信号は、前記第２音響信号よりも遅延が少ない伝送路を経由して伝送される信号処理方法であって、
第１受信部が、第１伝送路を経由して伝送される前記第１音響信号を受信し、
第２受信部が、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して、映像信号と共に伝送される前記第２音響信号を受信し、
遅延量算出部が、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出し、
遅延量付加部が、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
信号処理方法。
【請求項３】
前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
前記遅延量付加部が、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
請求項１または請求項２に記載の信号処理方法。
【請求項４】
前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
前記遅延量付加部が、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量が第１閾値以上であるか否かを判定し、今回算出された前記伝送遅延量が前記第１閾値以上である場合、今回算出された前記伝送遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
請求項１または請求項２に記載の信号処理方法。
【請求項５】
前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
前記遅延量付加部が、前記伝送遅延量が算出される度に、今回算出された前記伝送遅延量が第１閾値以上であるか否かを判定し、今回算出された前記伝送遅延量が前記第１閾値以上でない場合、所定の遅延量により前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
請求項１または請求項２、請求項４のいずれか一項に記載の信号処理方法。
【請求項６】
前記第１閾値は、所定の算出タイミングが到来する度に算出された前記伝送遅延量の平均である、
請求項４又は請求項５に記載の信号処理方法。
【請求項７】
前記遅延量算出部が、所定の算出タイミングが到来する度に、前記伝送遅延量を算出し、
前記遅延量付加部が、前記伝送遅延量が算出される度に、前回算出された前記伝送遅延量と今回算出された前記伝送遅延量とに基づいて、段階的に前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、
請求項１、請求項２、請求項４、又は請求項５のいずれか一項に記載の信号処理方法。
【請求項８】
前記遅延量算出部が、所定の時間区間に受信された、前記第１音響信号の時系列変化と前記第２音響信号の時系列変化との相互相関値が最大となる遅延量を算出し、当該算出した遅延量が第２閾値以上である場合、当該算出した遅延量を前記伝送遅延量とする、
請求項１から請求項６のいずれか一項に記載の信号処理方法。
【請求項９】
前記遅延量算出部が、所定の時間区間に受信された前記第１音響信号の最大レベルが前記第２閾値未満であり、前記第２音響信号の最大レベルが前記第２閾値以上の場合、前記伝送遅延量を算出しない、
請求項８に記載の信号処理方法。
【請求項１０】
前記遅延量算出部は、所定の時間区間に受信された前記第１音響信号の最大レベルが前記第２閾値以上であり、前記第２音響信号の最大レベルが前記第２閾値未満の場合、前記伝送遅延量を算出しない、
請求項８に記載の信号処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、信号処理方法、信号処理装置、及びプログラムに関する。
本願は、２０２０年５月１１日に、米国に出願された６３／０２２，５９１号に基づき優先権を主張し、その内容をここに援用する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
遠隔地間をネットワークで接続して、オンライン音楽レッスンや遠隔会議を行ないたいという要求がある。スカイプ（登録商標）など、オンライン通話サービスを提供する、既存のアプリケーションプログラム（以下、通話アプリという）を利用して、映像と音とを連動させることにより、オンライン音楽レッスン等を行うことが考えられる。
【０００３】
オンライン音楽レッスンなど、音を主体とするコミュニケーションを行う場合においては、遅延を抑えつつ、特に高品質な音の伝送が求められる。一方、映像については、音と映像とが同期していればよく、それほど高度な画質は求められない。例えば、特許文献１には、遅延を抑えつつ音楽セッションの参加人数を拡張する技術が開示されている。特許文献２には、高品質かつリアルタイムにオンライン演奏を実現する技術が開示されている。特許文献３には、複数の画像を同期させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１５－１３８０４０号公報
米国特許第１０１８２０９３号明細書
特開２００８－１９３５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、既存の通話アプリの内部仕様は一般には開示されておらず、ブラックボックス化されている。このため、既存の通話アプリに、特許文献１－３に開示されている技術を適用しようとしても一般的には困難である。
【０００６】
市場にはすでに複数の通話アプリが存在していることから、音楽レッスンに適したアプリを選択することも考えられる。スカイプ（登録商標）などの汎用の通話アプリが広く普及しており、大抵の人がこのような汎用の通話アプリの操作に慣れているため導入がスムーズである。しかし、このような汎用の通話アプリでは、音や画像の伝送状態が帯域の状況によって変動し、必ずしも高品質な音が伝送されるものではない。これに対し、伝送遅延を極力抑えながら、互いの演奏を高品質な音で伝送することが可能な、音響専用のセッションアプリが存在する。しかし、音響伝送に特化されており一般の通話に用いられることが少ないため、一般の人がアプリの操作に慣れておらず、導入が困難である。また、音響のみで映像がないためレッスンには不向きである。
【０００７】
すなわち、既存の通話アプリやセッションアプリには、これから音楽を始めようとする初心者にとって導入が容易で、かつ高品質な音を伝送できるものがない。このため、オンライン音楽レッスンに利用し難いという問題があった。
【０００８】
本発明は、このような事情に鑑みてなされたものである。その目的は、一般に普及している通話アプリを利用して、高品質な音を伝送することができる信号処理方法、信号処理装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明の信号処理方法は、同一の音源が収音された第１音響信号、及び第２音響信号の信号処理方法であり、前記第１音響信号は、前記第２音響信号よりも遅延が少ない伝送路を経由して伝送される信号処理方法であって、第１受信部が、第１伝送路を経由して伝送される前記第１音響信号を受信し、第２受信部が、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信し、遅延量算出部が、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出し、遅延量付加部が、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、信号処理方法である。
また、本発明の信号処理方法は、同一の音源が収音された第１音響信号、及び第２音響信号の信号処理方法であり、前記第１音響信号は、前記第２音響信号よりも遅延が少ない伝送路を経由して伝送される信号処理方法であって、第１受信部が、第１伝送路を経由して伝送される前記第１音響信号を受信し、第２受信部が、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して、映像信号と共に伝送される前記第２音響信号を受信し、遅延量算出部が、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出し、遅延量付加部が、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する、信号処理方法である。
【００１０】
また、本発明の信号処理装置は、同一の音源が収音された第１音響信号、及び第２音響信号の信号処理を行う信号処理装置であり、前記第１音響信号は、前記第２音響信号よりも遅延が少ない伝送路を経由して伝送される信号処理装置であって、第１伝送路を経由して伝送される前記第１音響信号を受信する第１受信部と、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して伝送される前記第２音響信号を受信する第２受信部と、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出する遅延量算出部と、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する遅延量付加部と、を備える信号処理装置である。
また、本発明の信号処理装置は、同一の音源が収音された第１音響信号、及び第２音響信号の信号処理を行う信号処理装置であり、前記第１音響信号は、前記第２音響信号よりも遅延が少ない伝送路を経由して伝送される信号処理装置であって、第１伝送路を経由して伝送される前記第１音響信号を受信する第１受信部と、伝送に係る遅延時間が前記第１伝送路より大きい第２伝送路であり前記第１伝送路とは異なる第２伝送路を経由して、映像と共に伝送される前記第２音響信号を受信する第２受信部と、前記第１音響信号と前記第２音響信号における相対的な遅延量である伝送遅延量を算出する遅延量算出部と、前記伝送遅延量に基づいて前記第１音響信号を遅延させ、当該遅延させた前記第１音響信号を出力する遅延量付加部と、を備える信号処理装置である。
（【００１１】以降は省略されています）

関連特許