特許ウォッチ

公開番号2024125994
公報種別公開特許公報(A)
公開日2024-09-19
出願番号2023199246
出願日2023-11-24
発明の名称ビデオエンコーディングのための候補ビットレートの動的選択
出願人ベイジン・フル・ソフトウェア・テクノロジー・デベロップメント、カンパニー・リミテッド,BEIJING HULU SOFTWARE TECHNOLOGY DEVELOPMENT CO., LTD.,ディズニーエンタープライジーズインコーポレイテッド
代理人弁理士法人鈴榮特許綜合事務所
主分類H04N 21/2662 20110101AFI20240911BHJP(電気通信技術)
要約【課題】ビデオエンコーディングのための候補ビットレートの動的選択方法を提供する。
【解決手段】方法は、ビデオの第1の部分の第1の特徴に基づいてビットレートと品質との間の第1の関連性の第1の表現を生成し、ビデオの第2の部分の第2の特徴に基づいてビットレートと品質との間の第2の関連性の第2の表現を生成する。第1の表現は、ビデオの第1の部分のためのビットレートの第1のリストを決定するために分析され、第2の表現は、ビデオの第2の部分のためのビットレートの第2のリストを決定するために分析される。ビットレートの第1のリストは、ビットレートの第2のリストとは異なる。ビデオの第1の部分の符号化に使用するためのビットレートの第1のリストと、ビデオの第2の部分の符号化に使用するためのビットレートの第2のリストとを出力する。
【選択図】図15
特許請求の範囲【請求項１】
コンピューティングデバイスによって、ビデオの第１の部分の第１の特徴に基づいてビットレートと品質との間の第１の関連性の第１の表現を生成することと、
前記コンピューティングデバイスによって、ビデオの第２の部分の第２の特徴に基づいてビットレートと品質との間の第２の関連性の第２の表現を生成ことと、
前記コンピューティングデバイスによって、ビデオの前記第１の部分のためのビットレートの第１のリストを決定するために前記第１の表現を分析すること、およびビデオの前記第２の部分のためのビットレートの第２のリストを決定するために前記第２の表現を分析することと、ここにおいて、ビットレートの前記第１のリストは、ビットレートの前記第２のリストとは異なり、
前記コンピューティングデバイスによって、ビデオの前記第１の部分の符号化に使用するためのビットレートの前記第１のリスト、およびビデオの前記第２の部分の符号化に使用するためのビットレートの前記第２のリストを出力することと、
を備える、方法。
続きを表示（約 1,400 文字）【請求項２】
前記第１の表現を生成することは、ビットレートおよび品質についての前記第１の関連性の第１の予測を生成することを備え、
前記第２の表現を生成することは、ビットレートおよび品質についての前記第２の関連性の第２の予測を生成することを備える、
請求項１に記載の方法。
【請求項３】
前記第１の表現を生成することは、
前記第１の特徴を予測ネットワークに入力することと、
前記第１の特徴に基づいて前記第１の表現の第１の予測を生成することと、を備え、
前記第２の表現を生成することは、
前記第２の特徴を前記予測ネットワークに入力することと、
前記第２の特徴に基づいて前記第２の表現の第２の予測を生成することと、を備える、
請求項１に記載の方法。
【請求項４】
前記第１の表現を分析すること、または前記第２の表現を分析することは、
前記第１の表現または前記第２の表現に基づいて潜在的なビットレートのリストを生成することと、
ビットレートの前記第１のリストまたはビットレートの前記第２のリストを決定するために前記潜在的なビットレートに関連する品質に基づいて潜在的なビットレートの前記リストを改良することと、
を備える、請求項１に記載の方法。
【請求項５】
潜在的なビットレートの前記リストを改良することは、
潜在的なビットレートの前記リストから第１の潜在的なビットレートを除去すること
を備える、請求項４に記載の方法。
【請求項６】
前記潜在的なビットレートを除去することは、
第２の潜在的なビットレートを決定することと、
前記第１の潜在的なビットレートの第１の品質を前記第２の潜在的なビットレートの第２の品質と比較することと、
前記比較することに基づいて前記第１の潜在的なビットレートを除去するかどうかを決定することと、
を備える、請求項５に記載の方法。
【請求項７】
前記第１の品質と前記第２の品質との間の差が閾値を満たすとき、前記第１の潜在的なビットレートは、潜在的なビットレートの前記リストから除去される、請求項６に記載の方法。
【請求項８】
潜在的なビットレートの前記リストを改良することは、
第１の潜在的なビットレートを潜在的なビットレートの前記リストに追加すること
を備える、請求項４に記載の方法。
【請求項９】
前記潜在的なビットレートを追加することは、
潜在的なビットレートの前記リスト内にある第２の潜在的なビットレートおよび第３の潜在的なビットレートを決定することと、
前記第２の潜在的なビットレートの第１の品質を前記第３の潜在的なビットレートの第２の品質と比較することと、
前記比較することに基づいて前記第１の潜在的なビットレートを追加するかどうかを決定することと、
を備える、請求項８に記載の方法。
【請求項１０】
前記第１の品質と前記第２の品質との間の差が閾値を満たすとき、前記第１の潜在的なビットレートが追加される、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【背景技術】
【０００１】
[0001]ビデオをクライアントデバイスに配信する一方法は、アダプティブビットレートストリーミング（ＡＢＲ）を使用する。アダプティブビットレートストリーミングは、異なるレベルのビットレートおよび／または品質などの異なるレベルのビデオ属性で符号化された（しばしば、バリアントまたはプロファイルと呼ばれる）複数のストリームを提供することに根拠が置かれる。プロファイルラダーは、ビデオのセグメントをストリーミングするときにクライアントが使用するために利用可能な異なるプロファイルをリストする。クライアントは、ネットワーク状態および他の要因に基づいて、プロファイルを動的に選択することができる。ビデオはセグメント化され（例えば、通常は数秒の長さごとに個別のセグメントに分割され）、クライアントは、ネットワーク状態が変化するときにセグメント境界であるプロファイルから別のプロファイルに切り替えることができる。例えば、ビデオ配信システムは、より高い利用可能な帯域幅を有するネットワーク状態が経験されているときに、ストリーミングされているビデオの品質を改善するより高いビットレートを有するプロファイルをクライアントに与えることを望む。より低い利用可能な帯域幅を有するネットワーク状態が経験されているときに、ビデオ配信システムは、クライアントが、再バッファリングまたはダウンロードの失敗などの何らかの再生問題を有することなしにビデオを再生することができるように、より低いビットレートを有するプロファイルをクライアントに与えることを望む。
続きを表示（約 4,200 文字）【発明の概要】
【０００２】
[0002]含まれる図面は、例示的な目的のためであり、開示される発明のシステム、装置、方法、およびコンピュータプログラム製品についての可能な構造および動作の例を与える役割を果たすものに過ぎない。これらの図面は、開示された実施の精神および範囲から逸脱することなく、当業者によってなされ得る形態および細部のいかなる変更も決して限定しない。
【図面の簡単な説明】
【０００３】
[0003]いくつかの実施形態による候補平均ビットレートのリストを動的に選択するためのシステムを示す図。
[0004]いくつかの実施形態によるビデオの部分の一例を示す図。
[0005]いくつかの実施形態による候補平均ビットレートのリストの生成の一例を示す図。
[0006]いくつかの実施形態による符号化されたセグメントの生成の一例を示す図。
[0007]いくつかの実施形態による符号化されたセグメントを複数のプールにクラスタリングする一例を示す図。
[0008]いくつかの実施形態による選択プロセスの一例を示す図。
[0009]いくつかの実施形態によるプールのために符号化されたセグメントを選択するために使用され得るレート歪み曲線のグラフの一例を示す図。
[0010]いくつかの実施形態によるセグメントごとにプロファイルについての選択された符号化されたセグメントの一例を示す図。
[0011]いくつかの実施形態によるビデオコンテンツのための異なるレート歪み曲線の一例を示す図。
[0012]いくつかの実施形態による異なる符号化構成を使用する異なる特性を示す図。
[0013]いくつかの実施形態による異なるレート歪み曲線について静的候補平均ビットレートを使用する一例を示す図。
[0014]いくつかの実施形態による最適化された候補平均ビットレートリストを示す図。
[0015]いくつかの実施形態によるセグメント品質駆動型適応処理システム（ＳＱＡ）システムおよび事前分析最適化プロセスのより詳細な例を示す図。
[0016]いくつかの実施形態によるレート歪み（ＲＤ）予測システムのより詳細な例を示す図。
[0017]いくつかの実施形態による予測ネットワークの出力を示す図。
[0018]いくつかの実施形態による候補平均ビットレートのリストを選択するための最適化プロセスを実行するための方法の簡略化されたフローチャートを示す図。
[0019]いくつかの実施形態による候補平均ビットレートのリストについての境界を決定する一例を示す図。
[0020]いくつかの実施形態による品質に基づいて候補平均ビットレートを除去する一例を示す図。
[0021]いくつかの実施形態による候補平均ビットレートを除去するために最小ギャップが使用される一例を示す図。
[0022]いくつかの実施形態による候補平均ビットレートを追加することが有利であり得る場合を示すグラフ。
[0023]いくつかの実施形態による候補平均ビットレートを追加することの決定を示す図。
[0024]一実施形態による１つまたは複数の通信ネットワークを介して複数のクライアントデバイスと通信するビデオストリーミングシステムを示す図。
[0025]ビデオコンテンツおよび広告を見るための装置の概略図を示す図。
【発明を実施するための形態】
【０００４】
[0026]本明細書では、ビデオ配信システムについての技法が説明される。以下の説明では、説明のために、いくつかの実施形態の徹底的な理解を与えるために、多数の例および具体的な詳細が記載される。特許請求の範囲によって定められるいくつかの実施形態は、これらの例における特徴の一部または全部を、単独で、または以下で説明される他の特徴と組み合わせて含み得、本明細書で説明される特徴および概念の修正形態および均等物をさらに含み得る。
【０００５】
[0027]システムは、ビデオを符号化するために使用されるビットレートのリストを適応的に生成することができる。ビットレートのリストは、候補平均ビットレート（ＣＡＢ）と呼ばれ得る。符号器は、候補平均ビットレートのリスト内のそれぞれのビットレートを使用してビデオのセグメントをトランスコードする。いくつかの実施形態では、システムは、ビデオの異なるチャンクについてなど、ビデオの異なる部分について候補平均ビットレートのリストを動的に選択することができる。チャンクは、符号器が同じ設定を用いて符号化する独立した符号化単位であり得る。ビデオは、１つまたは複数のチャンクを含むことができ、各チャンクは、複数のセグメントを含むことができる。いくつかの実施形態では、候補平均ビットレートのリストはチャンクレベルで設定され得る。候補平均ビットレートのリストは、チャンクレベルで設定されていると説明されるが、候補平均ビットレートのリストは、ビデオの異なる部分に対して設定され得る。
【０００６】
[0028]符号器は、複数の候補セグメントを生成するために、候補平均ビットレートのリスト内のビットレートを使用して、ビデオのセグメントを符号化することができる。セグメント品質駆動型適応（ＳＱＡ）プロセスは、プロファイルラダーにおけるプロファイルに使用するために、候補セグメントからセグメントを選択することができる。プロセスのターゲットは、同様の品質を維持しつつビデオに部分の記憶または配信フットプリントを最適化する（例えば、最小化する）ことである。
【０００７】
[0029]各ビデオは、異なる特性を有し得る。同様に、同じビデオ内の異なる部分も、異なる特性を有し得る。ビデオのすべての部分についてまたは複数のビデオについて候補平均ビットレートの静的リストを使用することは、最適な結果を与えない場合がある。例えば、候補平均ビットレートの静的リストは、必要とされるよりも多くのビットレートを有する単純なビデオコンテンツを有するビデオを符号化し得る。また、複雑なビデオコンテンツを有するビデオは、不十分なビットレートに起因して、低品質で符号化され得る。さらに、候補平均ビットレートの静的リストは、符号化の観点から不規則な品質ギャップを有するセグメントを生成し得る。例えば、隣接するプロファイルは、互いに冗長である同様のビデオ品質を有し得る、または許容できない大きい品質ギャップを有し得る。隣接するプロファイルについて同様のビデオ品質を有することは、不必要である場合があり、視聴品質において多くの利点を与えないことがある。例えば、候補平均ビットレートのリスト内の２つのビットレートが、同様の品質を有する符号化セグメントもたらす場合、それらの２つのビットレートを用いてセグメントをトランスコードすることは、冗長であり得、リソースを浪費し得る。また、大きな品質ギャップを有することは、再生が１つのプロファイルから別のプロファイルに切り替わるときに品質が急激に変化し得るので、再生中に悪い視聴体験をもたらし得る。
【０００８】
[0030]上記の欠点を克服するために、事前分析最適化プロセスは、ビデオについての候補平均ビットレートのリスト内のビットレートを動的に選択することができる。候補平均ビットレートのリストを選択するために、事前分析最適化プロセスは、ビデオの一部分を分析し、その部分についての候補平均ビットレートの最適化されたリストを出力することができる。例えば、事前分析最適化プロセスは、各部分の特性を分析し、各部分についての候補平均ビットレートのリストを出力することができる。いくつかの実施形態では、事前分析最適化プロセスは、その部分についての品質対ビットレートを記述するレート歪み曲線など、その部分の特性を予測することができる。事前分析最適化プロセスは、各部分のビットレートの最適なリストを決定するために、それぞれのレート歪み曲線を使用する。
【０００９】
[0031]最適化プロセスは、多くの利点を与える。例えば、このプロセスは、プロファイルラダー内のプロファイルについてのセグメントを選択するときに選択すべきトランスコードされたセグメントの最適な選択を与える。候補平均ビットレートのリストが、ビデオ全体について静的な値で設定され、および／または複数の異なるビデオについて同じである場合、準最適なトランスコーディングが生じ得る。異なるビデオは、および同じビデオの異なる部分も、多様な特性を有することができる。したがって、候補平均ビットレートの静的リストは、いくつかのビデオまたはビデオの部分について準最適であり得る。セグメント品質駆動型適応プロセスは、プロファイルラダーについてのプロファイルを形成するために選択すべき符号化セグメントのより良い選択を有し得るので、ビデオの部分の特性に基づく候補平均ビットレートの動的リストの使用は、より高品質のビデオおよび視聴体験をもたらし得る。
【００１０】
[0032]システム
[0033]図１は、いくつかの実施形態による、候補平均ビットレートのリストを動的に選択するためのシステム１００を示す。システム１００は、コンテンツ配信ネットワーク１０２と、クライアント１０４と、ビデオ配信システム１０６とを含む。ソースファイルは、ビデオ、音声、または他のタイプのコンテンツ情報などの異なるタイプのコンテンツを含み得る。ビデオは、説明のために使用され得るが、他のタイプのコンテンツも理解され得る。いくつかの実施形態では、ソースファイルは、以下で説明する別のフォーマットへの符号化を必要とするフォーマットで受信され得る。例えば、ソースファイルは、圧縮されたビデオを含むメザニンファイルであってもよい。メザニンファイルは、ビデオの異なるプロファイルなどの他のファイルを生成するために符号化され得る。
（【００１１】以降は省略されています）

関連特許