特許ウォッチ

公開番号2024140380
公報種別公開特許公報(A)
公開日2024-10-10
出願番号2023051495
出願日2023-03-28
発明の名称放送データ処理装置及び放送データ処理方法
出願人株式会社東芝,東芝インフラシステムズ株式会社
代理人個人,個人
主分類H04N 21/242 20110101AFI20241003BHJP(電気通信技術)
要約【課題】各RTPパケット間のタイミングずれを視聴者が許容できる一定の範囲にまで補正する放送データ処理装置及び放送データ処理方法を提供することである。
【解決手段】データ処理後の映像データを格納する映像データ格納部と、データ処理後の音声データを格納する音声データ格納部と、前記映像データ格納部から読み出した映像データと前記音声データ格納部から読み出した音声データとの遅れを判定する第3の判定部と、前記第3の判定部による判定の結果、前記音声データが映像データに対して所定の閾値以上の遅れであるとき、前記第3の判定部によって前記映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記音声データが映像データに対して進んでいるとき、前記音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する。
【選択図】図1
特許請求の範囲【請求項１】
外部から受信した映像データ、音声データ又は装置内に格納されている映像データ、音声データに対してそれぞれ所定の処理を施すデータ処理部と、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
続きを表示（約 5,800 文字）【請求項２】
映像データを格納する第１の映像データ格納部と、
音声データを格納する第１の音声データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部と、
前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された音声データに対して所定の処理が成された音声データを格納する第２の音声データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
【請求項３】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項１又は請求項２に記載の放送データ処理装置。
【請求項４】
前記映像データ及び前記音声データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データと音声データとの遅れを判定する、
請求項１又は請求項２に記載の放送データ処理装置。
【請求項５】
外部から受信した映像データ、補助データ又は装置内に格納されている映像データ、補助データに対してそれぞれ所定の処理を施すデータ処理部と、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
【請求項６】
映像データを格納する第１の映像データ格納部と、
補助データを格納する第１の補助データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部と、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第２の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された補助データに対して所定の処理が成された補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
【請求項７】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項５又は請求項６に記載の放送データ処理装置。
【請求項８】
前記映像データ及び前記補助データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データと補助データとの遅れを判定する、
請求項５又は請求項６に記載の放送データ処理装置。
【請求項９】
外部から受信した映像データ、音声データ及び補助データ又は装置内に格納されている映像データ、音声データ及び補助データに対してそれぞれ所定の処理を施すデータ処理部と、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部と、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する制御部であって、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データと出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
【請求項１０】
映像データを格納する第１の映像データ格納部と、
音声データを格納する第１の音声データ格納部と、
補助データを格納する第１の補助データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部と、
前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データを前記映像データとの遅れを判定する制御部であって、前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された音声データに対して所定の処理が成された音声データを格納する第２の音声データ格納部と、
前記第１のタイミングずれ補正部から出力された補助データに対して所定の処理が成された補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する制御部であって、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、放送データ処理装置及び放送データ処理方法に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
放送システムにおけるマスタ送出システムでは、スタジオ、回線センタ、サーバシステム等から入力される素材を、運行システムに従い自動的に切り替え、効果処理部で文字やロゴの映像への重畳や、音声の加工／合成、字幕などの補助データの重畳を行っている。その後、符号化、多重化部で、映像や音声の符号化や、データ放送や番組表などの付加情報を多重化し、送信システムに出力する。
【０００３】
近年、マスタ送出システムに入力される素材の伝送に関して、ＳＤＩ（Serial Digital Interface）をＲＴＰ（Real-time Transport Protocol）パケット化してＩＰ（Internet Protocol）ネットワークで伝送する伝送方式が実現されているが、ＳＭＰＴＥＳＴ２１１０規格では、映像、音声、補助データ（Ａｎｃｉｌｌａｒｙ。以下ＡＮＣと称する。）を、異なるＲＴＰパケットで伝送する。
【０００４】
従って、ある送信装置からマスタ送出システムへ素材を伝送した際に、マスタ送出システムが受信した映像、音声、ＡＮＣのＲＴＰパケットの間には、伝送路で生じたタイミングのずれが発生する可能性がある。
【０００５】
また、受信した映像、音声、ＡＮＣのＲＴＰパケットを装置内で処理する際に、映像処理部、音声処理部、ＡＮＣ処理部の処理レイテンシが同一ではないため、伝送路で発生するのと同様に、装置内でも映像、音声、ＡＮＣ各データのタイミング関係のずれが発生する可能性がある。
【０００６】
上記タイミングのずれをＦＰＧＡ（Field-Programmable Gate Array）といったハードウェアで処理する場合は、映像、音声、ＡＮＣ処理部の遅延量が固定であることが多く、調整することは容易であった。
【０００７】
一方で、近年、マシンスペックの向上により汎用コンピュータ上で映像、音声、ＡＮＣのソフトウェアベースの処理がされることがあり、ソフトウェアではコンピュータの負荷状況により遅延量の変動が発生するためタイミング関係のずれの調整が難しいという課題がある。
【０００８】
映像と音声の間のタイミングのずれ（リップシンク）があると視聴者にとって違和感が生じるため、文献ＢＴ．１３５９－１に示されているように視聴者が許容できる一定の範囲に抑える必要がある。また、ＡＮＣには映像に対応した字幕や、局間制御信号などのタイミング情報が含まれているため、映像とＡＮＣのタイミングのずれも放送に影響を及ぼす。
【０００９】
特に、近年クラウド上にシステムを実現する方式も検討されており、放送局とクラウド間などの伝送路も考えられるため、各放送データのタイミングずれは大きくなると予想される。
【先行技術文献】
【特許文献】
【００１０】
特開２０２０－１６２０７８号公報
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許