特許ウォッチ

公開番号2025105849
公報種別公開特許公報(A)
公開日2025-07-10
出願番号2025074348,2023130932
出願日2025-04-28,2011-12-22
発明の名称ハイパーテキスト転送プロトコルを使用してMatroskaコンテナファイル中に記憶されるメディアの適応型ビットレートストリーミング
出願人ディビックス, エルエルシー
代理人個人,個人,個人,個人,個人
主分類H04N 21/438 20110101AFI20250703BHJP(電気通信技術)
要約【課題】ハイパーテキスト転送プロトコルを使用してMatroskaコンテナファイル中に記憶されるメディアの適応型ビットレートストリーミングの提供。
【解決手段】ハイパーテキスト転送プロトコル(HTTP)を利用して、Matroskaコンテナファイル内に記憶されたメディアの適応型ビットレートストリーミングのためのシステムおよび方法が開示される。一実施形態では、プロセッサは、ファイルの部分を遠隔サーバから要求し、EBMLコンテナファイルを識別し、EBMLコンテナファイル内に含有される代替ストリームの最大ビットレートを記述するトップレベルインデックスデータを読み出す。
【選択図】図1
特許請求の範囲【請求項１】
適応型ストリーミングに関する発明。

発明の詳細な説明【技術分野】
【０００１】
本発明は、概して、適応型ストリーミングに関し、より具体的には、ハイパーテキスト転送プロトコルを使用して、Ｍａｔｒｏｓｋａコンテナファイル内に含有されるエンコードされたメディアの適応型ビットレートストリーミングに関する。
続きを表示（約 9,500 文字）【背景技術】
【０００２】
メディアのストリーミングという用語は、再生デバイス上におけるメディアの再生を説明しており、メディアは、サーバ上に記憶され、再生の間、ネットワークを経由して、再生デバイスに継続的に送信される。一般的には、再生デバイスは、メディアの次の部分の受信に先立って、全バッファリングされたメディアの再生を完了するため、再生デバイスは、再生の間、任意の所与の時間において、十分な量のメディアをバッファ内に記憶し、再生の途絶を防止する。適応型ビットレートストリーミングまたは適応型ストリーミングは、このストリーミング状態（例えば、ユーザのネットワーク帯域幅およびＣＰＵ容量）をリアルタイムで検出し、適宜、ストリーミングされるメディアの質を調節することを含む。一般的には、ソースメディアは、複数のビットレートでエンコードされ、再生デバイスまたはクライアントは、利用可能なリソースに応じて、異なるエンコーディングのストリーミング間で切り替える。
【０００３】
適応型ストリーミングソリューションは、一般的には、ＲＦＣ２６１６として、ＩｎｔｅｒｎｅｔＥｎｇｉｎｅｅｒｉｎｇＴａｓｋＦｏｒｃｅおよびＷｏｒｌｄＷｉｄｅＷｅｂＣｏｎｓｏｒｔｉｕｍによって公開されたハイパーテキスト転送プロトコル（ＨＴＴＰ）、またはＲＦＣ２３２６として、ＩｎｔｅｒｎｅｔＥｎｇｉｎｅｅｒｉｎｇＴａｓｋＦｏｒｃｅによって公開されたリアルタイムストリーミングプロトコル（ＲＴＳＰ）のいずれかを利用して、サーバと再生デバイスとの間でメディアをストリーミングする。ＨＴＴＰは、再生デバイスが、ファイル内のバイト範囲を要求することを可能にする、ステートレスプロトコルである。ＨＴＴＰは、サーバが、再生デバイスから受信された要求に応答するために、情報を要求する再生デバイスの状態または再生デバイスによって要求されたバイト範囲に関する情報を記録することが要求されないため、ステートレスとして説明される。ＲＴＳＰは、ストリーミングメディアサーバを制御するために使用されるネットワーク制御プロトコルである。再生デバイスは、メディアをストリーミングするサーバに、「再生」および「一時停止」等の制御コマンドを発行し、メディアファイルの再生を制御する。ＲＴＳＰが利用されるとき、メディアサーバは、各クライアントデバイスの状態を記録し、クライアントデバイスから受信した命令およびクライアントの状態に基づいて、ストリーミングするためのメディアを決定する。
【０００４】
適応型ストリーミングシステムでは、ソースメディアは、一般的には、実際のビデオおよびオーディオデータを含有する、いくつかの代替ストリームをポイントするトップレベルインデックスファイルとして、メディアサーバ上に記憶される。各ストリームは、一般的には、１つ以上のコンテナファイル内に記憶される。異なる適応型ストリーミングソリューションは、一般的には、異なるインデックスおよびメディアコンテナを利用する。ＷｏｒｌｄＷｉｄｅＷｅｂＣｏｎｓｏｒｔｉｕｍによって開発された同期マルチメディア統合言語（ＳＭＩＬ）は、ＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎ（Ｒｅｄｍｏｎｄ，Ｗａｓｈｉｎｇｔｏｎ）によって開発されたＩＩＳスムーズストリーミング、およびＡｄｏｂｅＳｙｓｔｅｍｓＩｎｃｏｒｐｏｒａｔｅｄ（ＳａｎＪｏｓｅ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたフラッシュダイナミックストリーミングを含む、いくつかの適応型ストリーミングソリューションにおいて、インデックスを作成するために利用される。ＡｐｐｌｅＣｏｍｐｕｔｅｒＩｎｃｏｒｐｏｒａｔｅｄ（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたＨＴＴＰ適応型ビットレートストリーミングは、一般的には、メディアコンテナファイルを識別する、ＵＲＩのリストを含有するテキストファイルである、拡張Ｍ３Ｕ再生ファイル（．Ｍ３Ｕ８）を使用して、インデックスファイルを実装する。最も一般に使用されるメディアコンテナ形式は、ＭＰＥＧ－４Ｐａｒｔ１４（すなわち、ＩＳＯ／ＩＥＣ１４４９６－１４）に指定されるＭＰ４コンテナ形式、およびＭＰＥＧ－２Ｐａｒｔ１（すなわち、ＩＳＯ／ＩＥＣ規格１３８１８－１）に指定されるＭＰＥＧトランスポートストリーム（ＴＳ）コンテナである。ＭＰ４コンテナ形式は、ＩＩＳスムーズストリーミングおよびフラッシュダイナミックストリーミングにおいて利用される。ＴＳコンテナは、ＨＴＴＰ適応型ビットレートストリーミングにおいて使用される。
【０００５】
Ｍａｔｒｏｓｋａコンテナは、Ｍａｔｒｏｓｋａ非営利組織（Ａｕｓｓｏｎｎｅ，Ｆｒａｎｃｅ）によって、オープン標準プロジェクトとして開発されたメディアコンテナである。Ｍａｔｒｏｓｋａコンテナは、拡張可能マークアップ言語（ＸＭＬ）のバイナリ派生版である拡張可能バイナリメタ言語（ＥＢＭＬ）に基づく。Ｍａｔｒｏｓｋａコンテナのデコーディングは、多くの消費者電子機器（ＣＥ）デバイスによって対応されている。ＤｉｖＸ，ＬＬＣ（ＳａｎＤｉｅｇｏ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたＤｉｖＸＰｌｕｓファイル形式は、Ｍａｔｒｏｓｋａコンテナ形式（すなわち、Ｍａｔｒｏｓｋａコンテナ形式に基づくが、Ｍａｔｒｏｓｋａ形式内に指定されない要素を含む）の拡張機能を利用する。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の実施形態による、ハイパーテキスト転送プロトコル（ＨＴＴＰ）を利用するＭａｔｒｏｓｋａコンテナファイル内に記憶されるメディアの適応型ビットレートストリーミングのためのシステムおよび方法が開示される。一実施形態では、プロセッサは、クライアントアプリケーションを介して、ファイルの部分を遠隔サーバから要求するように構成される。加えて、クライアントアプリケーションはさらに、複数のＥＢＭＬコンテナファイルを識別し、ＥＢＭＬコンテナファイル内に含有される代替ストリームの少なくとも最大のビットレートを記述する、トップレベルインデックスデータを読み出し、トップレベルインデックスデータを解析し、複数のＥＢＭＬコンテナファイルを識別する情報を取得し、ＥＢＭＬコンテナファイル内に含有されるストリームのエンコーディングパラメータを指定する少なくとも１つの要素を含有する、ＥＢＭＬコンテナファイルのうちの少なくとも１つの部分を要求し、ＥＢＭＬコンテナファイルのうちの少なくとも１つ内のエンコードされたビデオの部分を含有する各要素を参照する、インデックスを読み出し、インデックスを利用して、エンコードされたビデオの部分を含有する要素を含む、第１のＥＢＭＬコンテナファイルの部分を要求し、要求された要素を受信およびバッファリングし、エンコーディングパラメータを利用して、バッファリングされた要素内に含有されるエンコードされたビデオをデコードし、現在のストリーミング状態を測定し、測定されたストリーミング状態およびトップレベルデータ内に含有される代替ストリームのビットレートの記述に基づいて、デコーディングのために、エンコードされたビデオの部分を含有する要素を読み出すべきＥＢＭＬコンテナファイルの別の１つを選択するように、プロセッサを構成する。
【０００７】
さらなる実施形態は、複数のＥＢＭＬコンテナファイルのそれぞれを識別し、ＥＢＭＬコンテナファイル内に含有される代替ストリームのそれぞれの少なくとも最大のビットレートを記述するトップレベルインデックスデータを読み出すステップと、トップレベルインデックスデータを解析し、複数のＥＢＭＬコンテナファイルを識別する情報を取得するステップと、ＥＢＭＬコンテナファイル内に含有されるストリームのエンコーディングパラメータを指定する、少なくとも１つの要素を含有する、ＥＢＭＬコンテナファイルのうちの少なくとも１つの部分を要求するステップと、ＥＢＭＬコンテナファイルのうちの少なくとも１つ内の各エンコードされたビデオの部分を含有する要素を参照する、インデックスを受信するステップと、インデックスを利用して、エンコードされたビデオの部分を含有する要素を含む、第１のＥＢＭＬコンテナファイルの部分を要求するステップと、要求された要素を受信およびバッファリングするステップと、エンコーディングパラメータを使用して、バッファリングされた要素内に含有されるエンコードされたビデオをデコードするステップと、現在のストリーミング状態を測定するステップと、デコーディングのために、エンコードされたビデオの部分を含有する要素を受信するべきＥＢＭＬコンテナファイルの別の１つを選択するステップであって、選択は、測定されたストリーミング状態およびトップレベルインデックスデータ内に含有される代替ストリームのビットレートの記述に基づく、ステップとを含む。
【０００８】
本発明の別の実施形態は、ソースエンコーディングアプリケーションを介して、ソースビデオを含有する少なくとも１つのマルチメディアファイルを取り込むように構成される、プロセッサを含む。加えて、ソースエンコーディングアプリケーションはさらに、ソースビデオの部分を選択し、ソースビデオの選択された部分をエンコードされたビデオの複数の代替部分にトランスコードし、各代替部分は、異なる一組のエンコーディングパラメータを使用してエンコードされ、クローズドピクチャ群（ＧＯＰ）を始めるイントラフレームで開始し、エンコードされたビデオの代替部分のそれぞれを異なるＥＢＭＬコンテナファイルの要素に書き込み、各要素は、エンコードされたビデオの代替部分をエンコードするために使用されるエンコーディングパラメータを示す、別の要素もまた含む、ＥＢＭＬコンテナファイル内に位置し、あるエントリを、ＥＢＭＬコンテナファイルのそれぞれ内のエンコードされたビデオの代替部分のうちの１つを含有する要素の場所を識別する、少なくとも１つのインデックスに追加するように、プロセッサを構成する。
【０００９】
別のさらなる実施形態は、ソースエンコーダを使用して、ソースビデオの部分を繰り返し選択するステップと、ソースエンコーダを使用して、ソースビデオの選択された部分をエンコードされたビデオの複数の代替部分にトランスコードするステップであって、各代替部分は、異なる一組のエンコーディングパラメータを使用して、エンコードされ、クローズドピクチャ群（ＧＯＰ）を始めるイントラフレームで開始する、ステップと、ソースエンコーダを使用して、エンコードされたビデオの代替部分のそれぞれを異なるＥＢＭＬコンテナファイルの要素に書き込むステップであって、各要素は、ビデオの部分をエンコードするために使用されるエンコーディングパラメータに対応する一組のエンコーディングパラメータを含有する別の要素もまた含む、ＥＢＭＬコンテナファイル内に位置する、ステップと、あるエントリを、ＥＢＭＬコンテナファイルのそれぞれ内のエンコードされたビデオの代替部分のうちの１つを含有する要素の場所を識別する、なくとも１つのインデックスに追加するステップとを含む。
本発明は、例えば、以下を提供する。
（項目１）
拡張可能バイナリマークアップ言語（ＥＢＭＬ）コンテナファイル内にパッケージ化されたエンコードされたビデオの複数の代替ストリームを使用して、適応型ビットレートストリーミングを行うように構成される再生デバイスであって、該複数の代替ストリームの各々は、ＥＢＭＬコンテナファイルの要素中へパックされたエンコードされたビデオの各部分が、クローズドピクチャ群（ＧＯＰ）を始めるイントラフレームで開始し、該ＥＢＭＬコンテナファイルの各々は、該ＥＢＭＬコンテナファイル内に含有されるストリームのエンコーディングパラメータを指定する少なくとも１つの要素を含むように、異なる該エンコーディングパラメータを使用してエンコードされた同一のソースビデオであり、
該再生デバイスは、
クライアントアプリケーションを介して、ファイルの部分を遠隔サーバから要求するように構成されるプロセッサを備え、
該クライアントアプリケーションは、
複数のＥＢＭＬコンテナファイルを識別し、該ＥＢＭＬコンテナファイル内に含有される該代替ストリームの少なくとも最大のビットレートを記述するトップレベルインデックスデータを読み出すことと、
該トップレベルインデックスデータを解析して、該複数のＥＢＭＬコンテナファイルを識別する情報を取得することと、
該ＥＢＭＬコンテナファイル内に含有される該ストリームの該エンコーディングパラメータを指定する該少なくとも１つの要素を含有する該ＥＢＭＬコンテナファイルのうちの少なくとも１つの部分を要求することと、
該ＥＢＭＬコンテナファイルのうちの少なくとも１つ内のエンコードされたビデオの部分を含有する各要素を参照するインデックスを読み出すことと、
該インデックスを利用して、エンコードされたビデオの部分を含有する要素を含む第１のＥＢＭＬコンテナファイルの部分を要求することと、
該要求された要素を受信およびバッファリングすることと、
該エンコーディングパラメータを利用して、該バッファリングされた要素内に含有された該エンコードされたビデオをデコードすることと、
現在のストリーミング状態を測定することと、
デコーディングのために、エンコードされたビデオの部分を含有する要素を読み出すべき該ＥＢＭＬコンテナファイルの別の１つを選択することであって、該選択は、該測定されたストリーミング状態および該トップレベルデータ内に含有される該代替ストリームのビットレートの記述に基づく、ことと
を行うように該プロセッサをさらに構成する、再生デバイス。
（項目２）
前記ＥＢＭＬコンテナファイルの各々は、複数のＣｌｕｓｔｅｒ要素を備え、各Ｃｌｕｓｔｅｒ要素は、前記エンコードされたビデオの部分を含有し、
該Ｃｌｕｓｔｅｒ要素の各々の中の該エンコードされたビデオの部分は、イントラフレームで開始し、少なくとも１つのクローズドピクチャ群を含む、項目１に記載の再生デバイス。
（項目３）
前記Ｃｌｕｓｔｅｒ要素の各々の中の前記エンコードされたビデオの部分は、同一の持続時間を有する、項目２に記載の再生デバイス。
（項目４）
前記Ｃｌｕｓｔｅｒ要素の各々の中の前記エンコードされたビデオの部分は、２秒の持続時間を有する、項目２に記載の再生デバイス。
（項目５）
各Ｃｌｕｓｔｅｒ要素は、タイムコードを含有し、該Ｃｌｕｓｔｅｒ要素内に含有される前記エンコードされたビデオの部分の各エンコードされたフレームは、別個のＢｌｏｃｋＧｒｏｕｐ要素内に含有される、項目２に記載の再生デバイス。
（項目６）
前記Ｃｌｕｓｔｅｒ要素中の第１のＢｌｏｃｋＧｒｏｕｐ要素は、前記イントラフレームを含有する、項目５に記載の再生デバイス。
（項目７）
前記第１のＢｌｏｃｋＧｒｏｕｐ要素は、前記Ｃｌｕｓｔｅｒ要素のタイムコードに関して前記イントラフレームのタイムコード属性を指定するＢｌｏｃｋ要素を含有する、項目６に記載の再生デバイス。
（項目８）
前記エンコードされたビデオの代替ストリームの各々は、異なる最大ビットレートでエンコードされる、項目１に記載の再生デバイス。
（項目９）
前記エンコードされたビデオの代替ストリームのうちの少なくとも２つは、同一の表示アスペクト比においてであるが、異なるサンプルアスペクト比を使用する異なる解像度を用いてエンコードされる、項目８に記載の再生デバイス。
（項目１０）
前記ＥＢＭＬコンテナファイル内に含有されるストリームの前記エンコーディングパラメータを指定する該ＥＢＭＬコンテナファイルの各々の中の少なくとも１つの要素は、該ＥＢＭＬコンテナファイル内に含有される前記ビデオストリームのフレーム高さ、フレーム幅、およびサンプルアスペクト比を指定する、項目９に記載の再生デバイス。
（項目１１）
前記クライアントアプリケーションは、前記ＥＢＭＬコンテナファイルのうちの１つからバッファリングされた要素内に含有されるエンコードされたビデオのデコーディングの開始に先立って、前記フレーム高さ、フレーム幅、およびサンプルアスペクト比を設定するように前記プロセッサを構成する、項目１０に記載の再生デバイス。
（項目１２）
前記エンコードされたビデオの代替ストリームのうちの少なくとも２つは、異なるフレームレートでエンコードされる、項目８に記載の再生デバイス。
（項目１３）
前記ＥＢＭＬコンテナファイル内に含有されるストリームの前記エンコーディングパラメータを指定する該ＥＢＭＬコンテナファイルの各々の中の少なくとも１つの要素は、該ＥＢＭＬコンテナファイル内に含有されるビデオストリームのフレームレートを指定する、項目１２に記載の再生デバイス。
（項目１４）
前記クライアントアプリケーションは、前記ＥＢＭＬコンテナファイルのうちの１つからバッファリングされた要素内に含有される前記エンコードされたビデオのデコーディングの開始に先立って、前記フレームレートを設定するように前記プロセッサを構成する、項目１３に記載の再生デバイス。
（項目１５）
前記クライアントアプリケーションは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）バイト範囲要求を介して、遠隔サーバから、ファイルの部分を要求するように前記再生デバイスを構成する、項目１１に記載の再生デバイス。
（項目１６）
前記トップレベルインデックスデータは、ＳＭＩＬデータであり、前記複数のＥＢＭＬコンテナファイルを識別する情報は、該ＥＢＭＬコンテナファイルの各々の場所を識別する複数の汎用リソースインジケータ（ＵＲＩ）である、項目１に記載の再生デバイス。
（項目１７）
前記ＳＭＩＬデータは、前記ＵＲＩの各々によって識別される前記ＥＢＭＬコンテナファイル内に含有されるエンコードされたストリームの最大ビットレートを指定する、項目１に記載の再生デバイス。
【図面の簡単な説明】
【００１０】
図１は、本発明のある実施形態による、適応型ビットレートストリーミングシステムのネットワーク図である。
図２は、本発明の実施形態による、ソースメディアのエンコーディングによって生成されるトップレベルインデックスファイルおよびＭａｔｒｏｓｋａコンテナファイルを概念的に図示する。
図３は、本発明のある実施形態による、修正されたＣｕｅ要素を組み込む、特殊Ｍａｔｒｏｓｋａコンテナファイルを概念的に図示する。
図４ａ－４ｃは、本発明の実施形態による、適応型ビットレートストリーミングを促進する種々の制約を条件とする、Ｍａｔｒｏｓｋａコンテナファイルのクラスタ要素中への異なるタイプのメディアの挿入を概念的に図示する。
図４ａ－４ｃは、本発明の実施形態による、適応型ビットレートストリーミングを促進する種々の制約を条件とする、Ｍａｔｒｏｓｋａコンテナファイルのクラスタ要素中への異なるタイプのメディアの挿入を概念的に図示する。
図４ａ－４ｃは、本発明の実施形態による、適応型ビットレートストリーミングを促進する種々の制約を条件とする、Ｍａｔｒｏｓｋａコンテナファイルのクラスタ要素中への異なるタイプのメディアの挿入を概念的に図示する。
図４ｄは、本発明のある実施形態による、適応型ビットレートストリーミングを促進する種々の制約を条件とする、Ｍａｔｒｏｓｋａコンテナファイルのクラスタ要素中への異なるタイプのメディアの多重化を概念的に図示する。
図４ｅは、本発明のある実施形態による、適応型ビットレートストリーミングを促進する種々の制約を条件とする、ＭａｔｒｏｓｋａコンテナファイルのＣｌｕｓｔｅｒ要素中へのトリックプレイトラックの含有を概念的に図示する。
図５は、本発明のある実施形態による、特殊Ｍａｔｒｏｓｋａコンテナファイルの修正されたＣｕｅ要素を概念的に図示しており、Ｃｕｅ要素は、ＨＴＴＰバイト範囲要求を使用して、Ｃｌｕｓｔｅｒ要素の読み出しを可能にする情報を含む。
図５ａは、本発明のある実施形態による、特殊Ｍａｔｒｏｓｋａコンテナファイルの修正されたＣｕｅ要素を概念的に図示しており、Ｃｕｅ要素は、図５に示されるＣｕｅ要素に類似するが、適応型ビットレートストリーミングの間に利用されない属性は、除去される。
図６は、本発明の実施形態による、コンテナファイル内で修正されたＣｕｅＰｏｉｎｔ要素を利用する、特殊Ｍａｔｒｏｓｋａコンテナファイル内のＣｌｕｓｔｅｒ要素のインデックス化を概念的に図示する。
図７は、本発明のある実施形態による、適応型ビットレートストリーミングのために、ソースメディアをエンコードするためのプロセスを図示する、流れ図である。
図８は、本発明のある実施形態による、トップレベルインデックスファイルによってインデックス化されたＭａｔｒｏｓｋａコンテナファイル内に含有されるエンコードされたメディアのストリーミングの開始と関連付けられる、再生デバイスとＨＴＴＰサーバとの間の通信を概念的に図示する。
図９ａおよび９ｂは、本発明の実施形態による、ストリームの切り替え決定に先立って、再生デバイスによって経験されるストリーミング状態に応答した、かつ再生デバイスに利用可能なインデックス情報に応じた、ストリーム間の切り替えと関連付けられる、再生デバイスとＨＴＴＰサーバとの間の通信を概念的に図示する。
図９ａおよび９ｂは、本発明の実施形態による、ストリームの切り替え決定に先立って、再生デバイスによって経験されるストリーミング状態に応答した、かつ再生デバイスに利用可能なインデックス情報に応じた、ストリーム間の切り替えと関連付けられる、再生デバイスとＨＴＴＰサーバとの間の通信を概念的に図示する。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許