特許ウォッチ

公開番号2024103544
公報種別公開特許公報(A)
公開日2024-08-01
出願番号2024083176,2022520320
出願日2024-05-22,2020-09-29
発明の名称クラウドゲーミング方法、コンピュータ可読媒体、およびコンピュータシステム
出願人株式会社ソニー・インタラクティブエンタテインメント
代理人個人
主分類H04N 21/2343 20110101AFI20240725BHJP(電気通信技術)
要約【課題】フレームのデコードと表示に関する高度な戦略などの改善により、サーバとクライアント間のラウンドトリップと一方向のレイテンシを大幅に短縮する。
【解決方法】サーバでビデオゲームを実行するときにビデオフレームを生成することを含む方法であり、ビデオフレームはフレームバッファに記憶される。方法では、スキャンアウトブロックを含むチップセットの最大ピクセルクロックを決定する。この方法では、最大ピクセルクロックとクライアントのターゲットディスプレイの画像サイズとに基づいてフレームレート設定を決定する。この方法では、チップセットの速度設定値を決定し、フレームバッファからスキャンアウトブロックにビデオフレームをスキャンする。また、スキャンアウトブロックからエンコーダにビデオフレームを速度設定値でスキャンアウトする。
【選択図】図5A-1
特許請求の範囲【請求項１】
クラウドゲーミング方法であって、
サーバでビデオゲームを実行するときにビデオフレームを生成し、前記ビデオフレームはフレームバッファに記憶されるものであり、
前記フレームバッファを含むチップセットの最大ピクセルクロックを決定し、
前記最大ピクセルクロックと、クライアントのターゲットディスプレイの画像サイズとに基づいてフレームレート設定を決定し、
前記チップセットの速度設定値を決定し、
前記速度設定値で前記ビデオフレームをエンコーダにスキャンアウトする、方法。
続きを表示（約 1,600 文字）【請求項２】
さらに、前記フレームバッファからスキャンアウトブロックに前記ビデオフレームをスキャンし、前記チップセットは前記スキャンアウトブロックを含むものであり、
前記スキャンアウトブロックから前記ビデオフレームを前記速度設定値でスキャンアウトする、請求項１に記載の方法。
【請求項３】
前記ビデオフレームが前記スキャンアウトブロックから前記エンコーダにスキャンアウトされるレートが、前記ビデオフレームが生成されたレートよりも高い、請求項２に記載の方法。
【請求項４】
前記最大ピクセルクロックは、前記チップセットのチップ計算設定または自己診断テストに基づくものであり、
前記速度設定値は、ビットレートまたはフレームレート設定である、請求項２に記載の方法。
【請求項５】
さらに、特徴処理エンジンで特徴を生成して前記特徴をユーザインタフェースバッファに記憶し、前記特徴はオーバーレイとして構成されるものであり、
前記特徴を前記ユーザインタフェースバッファから前記スキャンアウトブロックにスキャンし、
前記特徴を使用して前記ビデオフレームを修正して、修正済みビデオフレームを生成し、
前記スキャンアウトブロックから前記エンコーダに前記修正済みビデオフレームを前記速度設定値でスキャンアウトする、請求項２に記載の方法。
【請求項６】
前記ビデオフレームの前記修正では、
前記速度設定値で、前記スキャンアウトブロックで前記特徴と前記ビデオフレームとを組み合わせ、
前記修正済みビデオフレームを生成するために組み合わされた前記特徴及びビデオフレームに対して１つまたは複数の追加動作を実行する、請求項５に記載の方法。
【請求項７】
前記１つまたは複数の追加動作には、
ＤＣＣ圧縮面を解凍し、
解像度スケーリングを行い、
色空間変換を実行し、
デガンマを実行し、
ＨＤＲ拡張を実行し、
色域の再マップを実行し、
ＬＵＴ形成を実行し、
トーンマッピングを行い、
ガンマブレンディングを行うことが含まれる、請求項６に記載の方法。
【請求項８】
さらに、前記エンコーダで前記修正済みビデオをエンコードする、請求項５に記載の方法。
【請求項９】
クラウドゲームのコンピュータプログラムを記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ可読媒体は、
サーバでビデオゲームを実行するときにビデオフレームを生成するためのプログラム命令を有し、前記ビデオフレームはフレームバッファに記憶されるものであり、
前記フレームバッファを含むチップセットの最大ピクセルクロックを決定するためのプログラム命令を有し、
前記最大ピクセルクロックとクライアントのターゲットディスプレイの画像サイズとに基づいて、フレームレート設定を決定するためのプログラム命令を有し、
前記チップセットの速度設定値を決定するためのプログラム命令を有し、
前記速度設定値でエンコーダに前記ビデオフレームをスキャンアウトするためのプログラム命令を有する、非一時的コンピュータ可読媒体。
【請求項１０】
さらに、前記フレームバッファからスキャンアウトブロックに前記ビデオフレームをスキャンするためのプログラム命令を有し、前記チップセットは前記スキャンアウトブロックを含むものであり、
前記速度設定値で前記スキャンアウトブロックから前記ビデオフレームをスキャンアウトするためのプログラム命令を有する、請求項９に記載の非一時的コンピュータ可読媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、ネットワークを介してコンテンツをストリーミングするように構成されたストリーミングシステムに関し、より具体的には、クラウドゲームサーバとクライアント間のレイテンシを短縮するために、クラウドゲームサーバで高速スキャンアウト動作を実行すること、及び／またはクラウドゲームサーバで早期スキャンアウト動作を実行することに関し、ビデオのクライアントでの表示のスムーズさは、クライアントへの理想的な表示時間の送信によって改善され得る。
続きを表示（約 3,900 文字）【背景技術】
【０００２】
近年、ネットワークを介して接続されたクラウドゲームサーバとクライアント間でストリーミング形式のオンラインまたはクラウドゲームを可能にするオンラインサービスが継続的に推進されている。ストリーミング形式は、オンデマンドのゲームタイトルの利用可能性、マルチプレーヤゲームのためのプレーヤ間のネットワーク機能、プレーヤ間の資産の共有、プレーヤ及び／または観客間のインスタントエクスペリエンスの共有、ある友達がビデオゲームをプレイするのを友達たちが見るのを可能にすること、友達の進行中のゲームプレイにある友達を参加させることなどにより、ますます人気が高まっている。
残念ながら、ネットワーク接続の機能と、クライアントに配信される高品質の画像をレンダリングするのに十分な応答性を備えたサーバ及びクライアントで実行される処理との制限に反して、需要も増加している。例えば、サーバで実行されるすべてのゲームアクティビティの結果は、最高のユーザエクスペリエンスを実現するために、圧縮して、低いミリ秒のレイテンシでクライアントに送り返す必要がある。
ラウンドトリップレイテンシは、ユーザのコントローラ入力からクライアントでのビデオフレームの表示までの全体的な時間として定義され得る。これには、コントローラからクライアントへの制御情報の処理と送信、クライアントからサーバへの制御情報の処理と送信、入力に応答するビデオフレームを生成するためのサーバでのその入力の使用、ビデオフレームの処理及びエンコードユニットへの転送（例えば、スキャンアウト）、ビデオフレームのエンコード、エンコード済みのビデオフレームをクライアントに返信、ビデオフレームの受信及びデコード、並びにビデオフレーム表示前のビデオフレームの任意の処理もしくはステージングを含み得る。
一方向のレイテンシは、サーバでのビデオフレームのエンコードユニットへの転送（例えば、スキャンアウト）の開始からクライアントでのビデオフレームの表示の開始までの時間で構成されるラウンドトリップレイテンシの一部として定義され得る。ラウンドトリップ及び一方向のレイテンシの一部は、データストリームが通信ネットワークを介してクライアントからサーバに、及びサーバからクライアントに送信されるのにかかる時間に関連している。別の部分は、クライアントとサーバでの処理に関連している。フレームのデコードと表示に関する高度な戦略など、これらの動作の改善により、サーバとクライアント間のラウンドトリップと一方向のレイテンシを大幅に短縮することができ、クラウドゲームサービスのユーザに高品質のエクスペリエンスを提供することができる。
【０００３】
本開示の実施形態は、上記背景のもとになされたものである。
【発明の概要】
【０００４】
本開示の実施形態は、ネットワークを介してコンテンツ（例えば、ゲーム）をストリーミングするように構成されたストリーミングシステムに関し、より具体的には、修正済みビデオフレームをエンコーダに送るための、高速スキャンアウト動作の実行、または次のシステムのＶＳＹＮＣ信号の発生前、もしくは対応するビデオフレームのフリップ時間においてなど、早期のスキャンアウトの実行に関する。
【０００５】
本開示の実施形態は、クラウドゲームのための方法を開示する。サーバでビデオゲームを実行するときにビデオフレームを生成する。この方法では、１つまたは複数の入力フレームバッファに、ビデオフレームをスキャンラインごとにスキャンし、１つまたは複数のユーザインタフェース特徴をスキャンラインごとにスキャンし、ビデオフレームと１つまたは複数のユーザインタフェース特徴とを合成及びブレンドして修正済みビデオフレームにすることで、スキャンアウトプロセスを実行する。この方法では、スキャンアウトプロセスで、修正済みビデオフレームをスキャンラインごとにサーバのエンコーダにスキャンする。この方法では、スキャンアウトプロセスで、ビデオフレームと１つまたは複数のユーザインタフェース特徴とを、ビデオフレームの対応するフリップ時間に１つまたは複数の入力フレームバッファにスキャンすることを開始する。
【０００６】
別の実施形態において、クラウドゲームのためのコンピュータプログラムを記憶する非一時的コンピュータ可読媒体が開示される。コンピュータ可読媒体は、サーバでビデオゲームを実行するときにビデオフレームを生成するためのプログラム命令を含む。コンピュータ可読媒体は、１つまたは複数の入力フレームバッファに、ビデオフレームをスキャンラインごとにスキャンし、１つまたは複数のユーザインタフェース特徴をスキャンラインごとにスキャンし、ビデオフレームと１つまたは複数のユーザインタフェース特徴とを合成及びブレンドして、修正済みビデオフレームにすることで、スキャンアウトプロセスを実行するためのプログラム命令を含む。コンピュータ可読媒体は、スキャンアウトプロセスで、修正済みビデオフレームをサーバのエンコーダにスキャンラインごとにスキャンするためのプログラム命令を含む。コンピュータ可読媒体は、スキャンアウトプロセスで、ビデオフレームと１つまたは複数のユーザインタフェース特徴とを、ビデオフレームの対応するフリップ時間に１つまたは複数の入力フレームバッファにスキャンすることを開始するためのプログラム命令を含む。
【０００７】
さらに別の実施形態において、コンピュータシステムは、プロセッサと、プロセッサに結合され、命令を記憶したメモリとを含み、命令は、コンピュータシステムにより実行されると、コンピュータシステムにクラウドゲームのための方法を実行させる。この方法では、サーバでビデオゲームを実行するときにビデオフレームを生成する。この方法では、１つまたは複数の入力フレームバッファに、ビデオフレームをスキャンラインごとにスキャンし、１つまたは複数のユーザインタフェース特徴をスキャンラインごとにスキャンし、ビデオフレームと１つまたは複数のユーザインタフェース特徴とを合成及びブレンドして修正済みビデオフレームにすることで、スキャンアウトプロセスを実行する。この方法では、スキャンアウトプロセスで、修正済みビデオフレームをスキャンラインごとにサーバのエンコーダにスキャンする。この方法では、スキャンアウトプロセスで、ビデオフレームと１つまたは複数のユーザインタフェース特徴とを、ビデオフレームの対応するフリップ時間に１つまたは複数の入力フレームバッファにスキャンすることを開始する。
【０００８】
別の実施形態では、クラウドゲームのための方法が開示されている。この方法では、サーバでビデオゲームを実行するときにビデオフレームを生成する。この方法では、ビデオフレームを圧縮するように構成されたエンコーダにビデオフレームを送るためのスキャンアウトプロセスを実行することを含み、スキャンアウトプロセスは、ビデオフレームのフリップ時間に開始する。この方法では、圧縮されたビデオフレームをクライアントに送信する。この方法では、クライアントでビデオフレームの目標表示時間を決定する。この方法では、目標表示時間に基づいて、クライアントでビデオフレームの表示時間をスケジュールする。
【０００９】
別の実施形態において、クラウドゲームのためのコンピュータプログラムを記憶する非一時的コンピュータ可読媒体が開示される。コンピュータ可読媒体は、サーバでビデオゲームを実行するときにビデオフレームを生成するためのプログラム命令を含む。コンピュータ可読媒体は、ビデオフレームを圧縮するように構成されたエンコーダにビデオフレームを送るためのスキャンアウトプロセスを実行するためのプログラム命令を含み、スキャンアウトプロセスは、ビデオフレームのフリップ時間に開始する。コンピュータ可読媒体は、圧縮されたビデオフレームをクライアントに送信するためのプログラム命令を含む。コンピュータ可読媒体は、クライアントでビデオフレームの目標表示時間を決定するためのプログラム命令を含む。コンピュータ可読媒体は、目標表示時間に基づいてビデオフレームの表示時間をクライアントでスケジュールするためのプログラム命令を含む。
【００１０】
さらに別の実施形態において、コンピュータシステムは、プロセッサと、プロセッサに結合され、命令を記憶したメモリとを含み、命令は、コンピュータシステムにより実行されると、クラウドゲームのための方法をコンピュータシステムに実行させる。この方法では、サーバでビデオゲームを実行するときにビデオフレームを生成する。この方法では、ビデオフレームを圧縮するように構成されたエンコーダにビデオフレームを送るためのスキャンアウトプロセスを実行することを含み、スキャンアウトプロセスは、ビデオフレームのフリップ時間に開始する。この方法では、圧縮されたビデオフレームをクライアントに送信する。この方法では、クライアントでビデオフレームの目標表示時間を決定する。この方法では、目標表示時間に基づいて、クライアントでビデオフレームの表示時間をスケジュールする。
（【００１１】以降は省略されています）

関連特許