特許ウォッチ

公開番号2024125995
公報種別公開特許公報(A)
公開日2024-09-19
出願番号2023199277
出願日2023-11-24
発明の名称ビデオ符号化のためのレート歪み曲線の予測
出願人ベイジン・フル・ソフトウェア・テクノロジー・デベロップメント、カンパニー・リミテッド,BEIJING HULU SOFTWARE TECHNOLOGY DEVELOPMENT CO., LTD.
代理人弁理士法人鈴榮特許綜合事務所
主分類H04N 21/24 20110101AFI20240911BHJP(電気通信技術)
要約【課題】ビデオ符号化のためのレート歪み曲線を予測できる方法及びプログラムを提供する。
【解決手段】予測方法は、ビデオの一部および符号器のパラメータに関連付けられ、ビットレートのセットおよび解像度を含むターゲット構成についての特徴値を決定することと、決定した特徴値に基づいて、ビットレートのセットおよび解像度についての複数の品質値を生成することと、ビットレートと解像度についての複数の品質値との関連性の表現を生成することと、生成した表現を分析し、解像度を使用してビデオの一部の符号化を使用するためのビットレートのリストを出力することと、を含む。
【選択図】図24
特許請求の範囲【請求項１】
コンピューティングデバイスによって、ビデオの一部およびターゲット構成についての特徴値を決定することと、ここにおいて、前記ターゲット構成は、符号器のパラメータに関連付けられ、ビットレートのセットおよび解像度を含み、
前記コンピューティングデバイスによって、前記特徴値に基づいてビットレートの前記セットおよび前記解像度についての複数の品質値を生成することと、
前記コンピューティングデバイスによって、ビットレートと前記解像度についての前記複数の品質値との間の関連性の表現を生成することと、
前記コンピューティングデバイスによって、前記ビデオの前記一部についてのビットレートのリストを決定するために前記表現を分析することと、
前記コンピューティングデバイスによって、前記解像度を使用して前記ビデオの前記一部の符号化を使用するための前記ビットレートのリストを出力することと
を備える方法。
続きを表示（約 1,000 文字）【請求項２】
前記符号器の前記パラメータは、ビデオの前記一部を符号化するための設定を備える、請求項１に記載の方法。
【請求項３】
前記複数の品質値を生成することは、
ビットレートの前記セット中のビットレートごとに、前記解像度についての品質値を生成することを備える、請求項１に記載の方法。
【請求項４】
前記解像度は、複数の解像度を備え、ここにおいて、前記複数の品質値を生成することは、
前記複数の解像度のうちの解像度を選択することと、
前記ビットレートのセット中のビットレートごとに、前記解像度についての品質値を生成することと、
前記複数の解像度のうちのすべての解像度が処理されるまで、前記複数の解像度の中で新たな解像度を選択し続け、前記新たな解像度について、ビットレートの前記セットのうちの各ビットレートについての前記品質値を生成することと
を備える、請求項１に記載の方法。
【請求項５】
ビットレートと前記複数の品質値との間の前記関連性の前記表現は、レート歪み曲線を備える、請求項１に記載の方法。
【請求項６】
複数の解像度についてビットレートの前記セットについての複数の品質値を生成することと、
ビットレートと前記複数の解像度についての前記複数の品質値との間の前記関連性の複数の表現を生成することと
をさらに備える、請求項１に記載の方法。
【請求項７】
前記複数の解像度についての前記複数の表現を含むマップを生成することと、
ビットレートの前記リストを決定するために前記マップを使用すること
をさらに備える、請求項６に記載の方法。
【請求項８】
前記複数の品質値を生成することは、
前記複数の品質値を生成するために前記特徴値を予測ネットワークに入力することを備える、請求項１に記載の方法。
【請求項９】
前記特徴値は、コンピュータビジョン特徴、空間領域特徴、時間領域特徴、周波数領域特徴、およびプロキシ符号化特徴のうちのうちの１つまたは複数を備える、請求項８に記載の方法。
【請求項１０】
前記プロキシ符号化特徴は、前記ビデオの実際の符号化に基づき、ここにおいて、前記実際の符号化における設定は、前記ターゲット構成における前記パラメータとは異なる、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【関連出願の相互参照】
【０００１】
[0001]本出願は、一部継続出願であり、米国特許法第１２０条に従って、２０２３年３月６日に出願された「ＤＹＮＡＭＩＣＳＥＬＥＣＴＩＯＮＯＦＣＡＮＤＩＤＡＴＥＢＩＴＲＡＴＥＳＦＯＲＶＩＤＥＯＥＮＣＯＤＩＮＧ（ビデオ符号化のための候補ビットレートの動的選択）」という名称のより先に提出された出願である米国出願第１８／１７９，２８１号に対して権利が付与されており、その利益を主張するものであり、その内容は、すべての目的について全体として参照により本明細書に組み込まれる。
続きを表示（約 5,400 文字）【背景技術】
【０００２】
[0002]ビデオをクライアントデバイスに配信する一方法は、アダプティブビットレートストリーミング（ＡＢＲ）を使用する。アダプティブビットレートストリーミングは、異なるレベルのビットレートおよび／または品質などの異なるレベルのビデオ属性で符号化された（しばしば、バリアントまたはプロファイルと呼ばれる）複数のストリームを提供することに根拠が置かれる。プロファイルラダーは、ビデオのセグメントをストリーミングするときにクライアントが使用するために利用可能な異なるプロファイルをリストする。クライアントは、ネットワーク状態および他の要因に基づいて、プロファイルを動的に選択することができる。ビデオはセグメント化され（例えば、通常は数秒の長さごとに個別のセグメントに分割され）、クライアントは、ネットワーク状態が変化するときにセグメント境界であるプロファイルから別のプロファイルに切り替えることができる。例えば、ビデオ配信システムは、より高い利用可能な帯域幅を有するネットワーク状態が経験されているときに、ストリーミングされているビデオの品質を改善するより高いビットレートを有するプロファイルをクライアントに与えることを望む。より低い利用可能な帯域幅を有するネットワーク状態が経験されているときに、ビデオ配信システムは、クライアントが、再バッファリングまたはダウンロードの失敗などの何らかの再生問題を有することなしにビデオを再生することができるように、より低いビットレートを有するプロファイルをクライアントに与えることを望む。
【図面の簡単な説明】
【０００３】
[0003]含まれる図面は、例示的な目的のためであり、開示される発明のシステム、装置、方法、およびコンピュータプログラム製品についての可能な構造および動作の例を与える役割を果たすものに過ぎない。これらの図面は、開示された実施の精神および範囲から逸脱することなく、当業者によってなされ得る形態および細部のいかなる変更も決して限定しない。
[0004]いくつかの実施形態による候補平均ビットレートのリストを動的に選択するためのシステムを示す図。
[0005]いくつかの実施形態によるビデオの部分の一例を示す図。
[0006]いくつかの実施形態による候補平均ビットレートのリストの生成の一例を示す図。
[0007]いくつかの実施形態による符号化されたセグメントの生成の一例を示す図。
[0008]いくつかの実施形態による符号化されたセグメントを複数のプールにクラスタリングする一例を示す図。
[0009]いくつかの実施形態による選択プロセスの一例を示す図。
[0010]いくつかの実施形態によるプールのために符号化されたセグメントを選択するために使用され得るレート歪み曲線のグラフの一例を示す図。
[0011]いくつかの実施形態によるセグメントごとにプロファイルについての選択された符号化されたセグメントの一例を示す図。
[0012]いくつかの実施形態によるビデオコンテンツのための異なるレート歪み曲線の一例を示す図。
[0013]いくつかの実施形態による異なる符号化構成を使用する異なる特性を示す図。
[0014]いくつかの実施形態による異なるレート歪み曲線について静的候補平均ビットレートを使用する一例を示す図。
[0015]いくつかの実施形態による最適化された候補平均ビットレートリストを示す図。
[0016]いくつかの実施形態によるセグメント品質駆動型適応処理システム（ＳＱＡ）システムおよび事前分析最適化プロセスのより詳細な例を示す図。
[0017]いくつかの実施形態によるレート歪み（ＲＤ）予測システムのより詳細な例を示す図。
[0018]いくつかの実施形態による予測ネットワークの出力を示す図。
[0019]いくつかの実施形態による候補平均ビットレートのリストを選択するための最適化プロセスを実行するための方法の簡略化されたフローチャートを示す図。
[0020]いくつかの実施形態による候補平均ビットレートのリストについての境界を決定する一例を示す図。
[0021]いくつかの実施形態による品質に基づいて候補平均ビットレートを除去する一例を示す図。
[0022]いくつかの実施形態による候補平均ビットレートを除去するために最小ギャップが使用される一例を示す図。
[0023]いくつかの実施形態による候補平均ビットレートを追加することが有利であり得る場合を示すグラフ。
[0024]いくつかの実施形態による候補平均ビットレートを追加することの決定を示す図。
[0025]いくつかの実施形態によるＲＤ予測システムの一例を示す図。
[0026]いくつかの実施形態による抽出され得る特徴の一例を示す図。
[0027]いくつかの実施形態によるビデオのフレームの一例を示す図。
[0028]いくつかの実施形態による予測方法の簡略化されたフローチャートを示す図。
[0029]いくつかの実施形態による１つのターゲット解像度についてのビットレートの品質値を列挙するグラフ。
[0030]いくつかの実施形態による直接予測モードの一例を示す図。
[0031]いくつかの実施形態による間接予測モードシステムの一例を示す図。
[0032]いくつかの実施形態によるプロキシ符号化結果およびターゲット符号化結果の一例を示す図。
[0033]いくつかの実施形態による、直接品質値および間接品質値を使用する一例を示す図。
[0034]いくつかの実施形態による単一の解像度についてのレート歪み曲線のグラフ。
[0035]いくつかの実施形態によるＲＤマップを示すグラフ。
[0036]一実施形態による１つまたは複数の通信ネットワークを介して複数のクライアントデバイスと通信するビデオストリーミングシステムを示す図。
[0037]ビデオコンテンツおよび広告を見るための装置の概略図。
【発明を実施するための形態】
【０００４】
[0038]本明細書では、ビデオ配信システムについての技法が説明される。以下の説明では、説明のために、いくつかの実施形態の徹底的な理解を与えるために、多数の例および具体的な詳細が記載される。特許請求の範囲によって定められるいくつかの実施形態は、これらの例における特徴の一部または全部を、単独で、または以下で説明される他の特徴と組み合わせて含み得、本明細書で説明される特徴および概念の修正形態および均等物をさらに含み得る。
【０００５】
[0039]システムは、ビデオを符号化するために使用されるビットレートのリストを適応的に生成することができる。ビットレートのリストは、候補平均ビットレート（ＣＡＢ）と呼ばれ得る。符号器は、候補平均ビットレートのリスト内のそれぞれのビットレートを使用してビデオのセグメントをトランスコードする。いくつかの実施形態では、システムは、ビデオの異なるチャンクについてなど、ビデオの異なる部分について候補平均ビットレートのリストを動的に選択することができる。チャンクは、符号器が同じ設定を用いて符号化する独立した符号化単位であり得る。ビデオは、１つまたは複数のチャンクを含むことができ、各チャンクは、複数のセグメントを含むことができる。いくつかの実施形態では、候補平均ビットレートのリストはチャンクレベルで設定され得る。候補平均ビットレートのリストは、チャンクレベルで設定されていると説明されるが、候補平均ビットレートのリストは、ビデオの異なる部分に対して設定され得る。
【０００６】
[0040]符号器は、複数の候補セグメントを生成するために、候補平均ビットレートのリスト内のビットレートを使用して、ビデオのセグメントを符号化することができる。セグメント品質駆動型適応（ＳＱＡ）プロセスは、プロファイルラダーにおけるプロファイルに使用するために、候補セグメントからセグメントを選択することができる。プロセスのターゲットは、同様の品質を維持しつつビデオに部分の記憶または配信フットプリントを最適化する（例えば、最小化する）ことである。
【０００７】
[0041]各ビデオは、異なる特性を有し得る。同様に、同じビデオ内の異なる部分も、異なる特性を有し得る。ビデオのすべての部分についてまたは複数のビデオについて候補平均ビットレートの静的リストを使用することは、最適な結果を与えない場合がある。例えば、候補平均ビットレートの静的リストは、必要とされるよりも多くのビットレートを有する単純なビデオコンテンツを有するビデオを符号化し得る。また、複雑なビデオコンテンツを有するビデオは、不十分なビットレートに起因して、低品質で符号化され得る。さらに、候補平均ビットレートの静的リストは、符号化の観点から不規則な品質ギャップを有するセグメントを生成し得る。例えば、隣接するプロファイルは、互いに冗長である同様のビデオ品質を有し得る、または許容できない大きい品質ギャップを有し得る。隣接するプロファイルについて同様のビデオ品質を有することは、不必要である場合があり、視聴品質において多くの利点を与えないことがある。例えば、候補平均ビットレートのリスト内の２つのビットレートが、同様の品質を有する符号化セグメントもたらす場合、それらの２つのビットレートを用いてセグメントをトランスコードすることは、冗長であり得、リソースを浪費し得る。また、大きな品質ギャップを有することは、再生が１つのプロファイルから別のプロファイルに切り替わるときに品質が急激に変化し得るので、再生中に悪い視聴体験をもたらし得る。
【０００８】
[0042]上記の欠点を克服するために、事前分析最適化プロセスは、ビデオについての候補平均ビットレートのリスト内のビットレートを動的に選択することができる。候補平均ビットレートのリストを選択するために、事前分析最適化プロセスは、ビデオの一部分を分析し、その部分についての候補平均ビットレートの最適化されたリストを出力することができる。例えば、事前分析最適化プロセスは、各部分の特性を分析し、各部分についての候補平均ビットレートのリストを出力することができる。いくつかの実施形態では、事前分析最適化プロセスは、その部分についての品質対ビットレートを記述するレート歪み曲線など、その部分の特性を予測することができる。事前分析最適化プロセスは、各部分のビットレートの最適なリストを決定するために、それぞれのレート歪み曲線を使用する。
【０００９】
[0043]最適化プロセスは、多くの利点を与える。例えば、このプロセスは、プロファイルラダー内のプロファイルについてのセグメントを選択するときに選択すべきトランスコードされたセグメントの最適な選択を与える。候補平均ビットレートのリストが、ビデオ全体について静的な値で設定され、および／または複数の異なるビデオについて同じである場合、準最適なトランスコーディングが生じ得る。異なるビデオは、および同じビデオの異なる部分も、多様な特性を有することができる。したがって、候補平均ビットレートの静的リストは、いくつかのビデオまたはビデオの部分について準最適であり得る。セグメント品質駆動型適応プロセスは、プロファイルラダーについてのプロファイルを形成するために選択すべき符号化セグメントのより良い選択を有し得るので、ビデオの部分の特性に基づく候補平均ビットレートの動的リストの使用は、より高品質のビデオおよび視聴体験をもたらし得る。
【００１０】
[0044]システム
[0045]図１は、いくつかの実施形態による、候補平均ビットレートのリストを動的に選択するためのシステム１００を示す。システム１００は、コンテンツ配信ネットワーク１０２と、クライアント１０４と、ビデオ配信システム１０６とを含む。ソースファイルは、ビデオ、音声、または他のタイプのコンテンツ情報などの異なるタイプのコンテンツを含み得る。ビデオは、説明のために使用され得るが、他のタイプのコンテンツも理解され得る。いくつかの実施形態では、ソースファイルは、以下で説明する別のフォーマットへの符号化を必要とするフォーマットで受信され得る。例えば、ソースファイルは、圧縮されたビデオを含むメザニンファイルであってもよい。メザニンファイルは、ビデオの異なるプロファイルなどの他のファイルを生成するために符号化され得る。
（【００１１】以降は省略されています）

関連特許