特許ウォッチ

公開番号2025147254
公報種別公開特許公報(A)
公開日2025-10-07
出願番号2024047437
出願日2024-03-25
発明の名称放送用システムおよび字幕作成方法
出願人日本電気株式会社
代理人個人,個人
主分類G10L 15/06 20130101AFI20250930BHJP(楽器;音響)
要約【課題】生放送と収録放送との双方に対応でき、番組の種別に応じて適切な字幕を生成できる放送用システムおよび字幕作成方法を提供する。
【解決手段】放送用システム100は、番組の特徴に応じた複数のエンドツーエンド音声認識モデルを有し、いずれかのエンドツーエンド音声認識モデルを使用して番組における話者の音声を認識する音声認識手段101と、音声認識手段101の認識結果に基づくテキストデータが校正されたテキストデータを、字幕として出力するとともに、字幕の正解データとして音声認識手段に出力するフィードバック手段102とを備え、エンドツーエンド音声認識モデルは、テキストデータを正解データとして学習を行う。
【選択図】図11
特許請求の範囲【請求項１】
番組における話者の音声に対応する字幕を生成する機能を有する放送用システムであって、
番組の特徴に応じた複数のエンドツーエンド音声認識モデルを有し、いずれかのエンドツーエンド音声認識モデルを使用して番組における話者の音声を認識する音声認識手段と、
前記音声認識手段の認識結果に基づくテキストデータが校正されたテキストデータを、字幕として出力するとともに、字幕の正解データとして前記音声認識手段に出力するフィードバック手段とを備え、
前記エンドツーエンド音声認識モデルは、前記テキストデータを正解データとして学習を行う
放送用システム。
続きを表示（約 1,100 文字）【請求項２】
少なくとも、生放送素材の音声データと前記正解データとを記憶する記憶手段を備える
請求項１に記載の放送用システム。
【請求項３】
番組スケジュールおよび収録素材を含むデータを送出する自動番組制御装置を含み、
前記音声認識手段は、前記データに基づいて、使用する音声認識モデルを特定する
請求項１に記載の放送用システム。
【請求項４】
少なくとも、前記自動番組制御装置から入力した音声データと前記正解データとを記憶する記憶手段を備える
請求項３に記載の放送用システム。
【請求項５】
番組における話者を特定して話者を示す話者データを出力する話者認識モデルを有する話者認識手段を備え、
前記フィードバック手段は、校正された前記話者データを前記話者認識手段に出力し、
前記話者認識モデルは、校正された前記話者データを正解データとして学習を行う
請求項１から請求項４のうちのいずれか１項に記載の放送用システム。
【請求項６】
生放送素材または収録素材の映像データから話者を特定する画像認識手段を備える
請求項１から請求項４のうちのいずれか１項に記載の放送用システム。
【請求項７】
番組における話者の音声に対応する字幕を生成する字幕作成方法であって、
番組の特徴に応じた複数のエンドツーエンド音声認識モデルのうちのいずれかの音声認識モデルを使用して番組における話者の音声を認識し、
認識結果に基づくテキストデータが校正されたテキストデータを、字幕として出力するとともに、字幕の正解データとして前記音声認識モデルにフィードバックし、
前記エンドツーエンド音声認識モデルが、前記テキストデータを正解データとして学習を行う
字幕作成方法。
【請求項８】
番組スケジュールおよび収録素材を含むデータを送出する自動番組制御装置からデータを入力し、
前記データに基づいて、使用する音声認識モデルを特定する
請求項７に記載の字幕作成方法。
【請求項９】
コンピュータに、
番組の特徴に応じた複数のエンドツーエンド音声認識モデルのうちのいずれかの音声認識モデルを使用して番組における話者の音声を認識させ、
認識結果に基づくテキストデータが校正されたテキストデータを、字幕として出力するとともに、字幕の正解データとして前記音声認識モデルにフィードバックさせ、
前記エンドツーエンド音声認識モデルに、前記テキストデータを正解データとして学習させる
ための字幕作成プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、放送用システムおよび字幕作成方法に関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
テレビジョン（以下、テレビという。）番組の映像に、番組における話者の音声に対応する字幕を重ねて表示する字幕放送が実現されている。字幕放送は、例えば、テレビ番組の音が聞き取りにくい高齢者や聴覚障害者のために有用である。生放送の番組にリアルタイムで字幕を付与して放送を行う字幕放送が実現されている。
【０００３】
特許文献１には、音声認識を活用して字幕を生成することが記載されている。特許文献１には、音声認識での認識誤りを修正するために、誤りをリアルタイムで修正する１名または数名のオペレータを音声認識装置の後段に配置することが記載されている。そして、特許文献１には、人手で誤りを修正したテキストを字幕放送として送出することが記載されている。
【０００４】
また、特許文献１には、あらかじめ設定された音響モデル、言語モデル、および発音辞書を用いて、候補単語のネットワークからなる単語ラティスを生成することが記載されている。特許文献１には、さらに、誤りが修正されたテキストを音声認識装置にフィードバックすることが記載されている。
【０００５】
特許文献２には、音声認識を行う音声認識デコーダを最新モデルのものに切り替えて、常に最新モデルを用いて高精度な音声認識を連続して実現することが記載されている。
【０００６】
特許文献３には、ニュース番組、スポーツ番組、情報番組等のジャンル別の音声言語コーパス（それぞれ、特定の番組の音声言語コーパス）を有し、番組に応じて特定の番組の音声言語コーパスを選択して音響モデルに学習を行わせる装置が記載されている。
【先行技術文献】
【特許文献】
【０００７】
特開２０１１－１９７４１０号公報
特開２０１０－５４６８５号公報
特開２０１７－４５０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１，２に記載された音声認識装置を含むシステムは、字幕放送中に、できるだけ正確な字幕を表示することを目的としている。したがって、収録素材を用いる収録放送に適用することには適さない。
【０００９】
また、特許文献３に記載された装置は、音声言語コーパスを使い分けているが、基本的には、１つの音響モデルを使用している。その結果、ジャンル別の適切な字幕を生成することに対して十分に適応できているとは言い難い。
【００１０】
本発明は、生放送と収録放送との双方に対応でき、番組の種別に応じて適切な字幕を生成できる放送用システムおよび字幕作成方法を提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許