特許ウォッチ

公開番号2025094020
公報種別公開特許公報(A)
公開日2025-06-24
出願番号2025040061,2022557895
出願日2025-03-13,2021-03-24
発明の名称機械学習される画像コンバートのためのシステムおよび方法
出願人任天堂株式会社
代理人弁理士法人深見特許事務所,個人
主分類G06T 3/4046 20240101AFI20250617BHJP(計算;計数)
要約【課題】新規でかつ改善された画像をコンバートするためのシステムおよび方法を提供する。
【解決手段】方法は、(a)第1の分解能の第1の画像を取得し、(b)第1の画像から第1のブロックの画素を選択し、(c)第1のブロックの画素に基づいて第1の複数の入力チャネルを生成し、(d)第1の複数の入力チャネルの各々からの値を第1の活性化行列に挿入し、(e)第1の活性化行列を訓練済のニューラルネットワークに対して適用して第2の活性化行列を生成し、(f)第2の活性化行列に基づいて第2の分解能の第2の画像を生成し、かつ(g)第2の画像をディスプレイに出力する、ように構成され、(b)から(g)を、第1の画像から選択される複数の画素ブロックの各々ごとに行う。
【選択図】図5
特許請求の範囲【請求項１】
画像を別の分解能にコンバートするためのコンピュータシステムであって、前記コンピュータシステムは、
画像を表示するように構成される表示装置と、
少なくとも１つのハードウェアプロセッサを含む処理システムとを備え、前記処理システムは、
（ａ）第１の分解能の第１の画像を取得し、
（ｂ）前記第１の画像から第１のブロックの画素を選択し、
（ｃ）前記第１のブロックの画素に基づいて第１の複数の入力チャネルを生成し、
（ｄ）前記第１の複数の入力チャネルの各々からの値を第１の活性化行列に挿入し、
（ｅ）前記第１の活性化行列を訓練済のニューラルネットワークに対して適用して第２の活性化行列を生成し、
（ｆ）前記第２の活性化行列に基づいて第２の分解能の第２の画像を生成し、かつ
（ｇ）前記第２の画像をディスプレイに出力する、
ように構成され、
（ｂ）から（ｇ）は、前記第１の画像から選択される複数の画素ブロックの各々ごとに行われる、コンピュータシステム。
続きを表示（約 1,000 文字）【請求項２】
前記第２の画像は、前記第１の画像の生成に対してリアルタイムで前記ディスプレイに出力される、請求項１に記載のコンピュータシステム。
【請求項３】
前記訓練済のニューラルネットワークに対する前記第１の活性化行列の適用は、前記第１の活性化行列とともに前記訓練済のニューラルネットワークの学習済の係数の第１および第２の行列を用いて分離可能なブロック変換を適用することを含む、請求項１または２に記載のコンピュータシステム。
【請求項４】
前記分離可能なブロック変換の一部として、前記第１の行列は前記活性化行列の左側で乗算され、前記第２の行列は右側で乗算される、請求項３に記載のコンピュータシステム。
【請求項５】
前記訓練済のニューラルネットワークは複数の異なる層を含み、前記複数の異なる層は続けて適用されて前記第１の活性化行列を前記第２の活性化行列に変換する、請求項１～４のいずれか１項に記載のコンピュータシステム。
【請求項６】
前記複数の層のうちの異なるものを連続する活性化行列に適用した各結果は、前記処理システムに含まれるＧＰＵの内部メモリに記憶される、請求項５に記載のコンピュータシステム。
【請求項７】
前記複数の層のうちの第１の層は前記第１の活性化行列に適用されて第３の活性化行列を生成し、前記複数の層のうちの第２の層は前記第３の活性化行列に適用されて前記第２の活性化行列を生成する、請求項５または６に記載のコンピュータシステム。
【請求項８】
前記複数の層は、３つの異なる層と８つの異なる層との間である、請求項５～７のいずれか１項に記載のコンピュータシステム。
【請求項９】
前記処理システムはグラフィックス処理ユニット（ＧＰＵ）を含み、
ニューラルネットワーク処理の一部である行列演算の結果は、前記ニューラルネットワーク処理の間は前記ＧＰＵのレジスタ内に維持される、請求項１～８のいずれか１項に記載のコンピュータシステム。
【請求項１０】
前記複数の画素ブロックに対する（ｂ）から（ｇ）の処理は、前記訓練済のニューラルネットワークに対して各々の活性化行列を適用するためのハードウェアアクセラレーションを用いて並列に行われる、請求項１～９のいずれか１項に記載のコンピュータシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願への相互参照
本願は、米国出願第１６／８２９，９５０号および第１６／８３０，０３２号に対する優先権を主張し、その両者の全体が引用により援用される。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
技術概要
本明細書中に記載の技術は、機械学習と、機械学習を用いてあるデータセットまたは信号を別のデータセットまたは信号にコンバートすることとに関する。より特定的には、本明細書中に記載の技術は、ブロック変換をそのようなデータセットまたは信号に適用することに関する。当該技術の適用例は、ある分解能の画像を別の（たとえば、より高い）分解能にコンバートすることを含み、これは、たとえば、ビデオゲームエンジンによって生成される画像からのリアルタイム適用例で用いられてもよい。
【０００３】
はじめに
機械学習は、特定のタスクのためにコンピュータを明示的にプログラミングすることなく、当該タスクを「学習」する能力をコンピュータに与えることができる。機械学習システムの１種は、深層学習ニューラルネットワークのクラスである畳み込みニューラルネットワーク（ＣＮＮ）と呼ばれる。そのようなネットワーク（および他の形態の機械学習）を用いて、たとえば、猫が写真の中にいるかどうかを自動的に認識するのを助けることができる。学習は、数千枚または数百万枚の写真を用いてモデルを「訓練」し、猫が写真の中にいついるかを認識することによって行われる。これは強力なツールであり得るが、訓練済のモデルを用いる（およびモデルを訓練する）ことによって結果として生じる処理は、リアルタイム環境で展開される場合には、依然として演算上高価であり得る。
【０００４】
画像アップコンバートは、第１の分解能（たとえば、５４０ｐ分解能または０．５メガピクセルである９６０×５４０）で発生される画像をより高い分解能（たとえば、１０８０ｐ分解能、２．１メガピクセルである１９２０×１０８０）にコンバートできるようにする技法である。このプロセスを用いると、より高い分解能のディスプレイ上に第１の分解能の画像を示すことができる。そのため、たとえば、５４０ｐの画像を１０８０ｐのテレビに表示することができ、（アップコンバートプロセスの性質に依存して）、伝統的な（たとえば線形の）拡大で５４０ｐの画像を５４０のテレビに直接に表示した場合と比較して、図示の忠実度を高めて５４０ｐの画像を表示し得る。画像アップコンバートのための異なる技法は、速度（たとえば、所与の画像をコンバートするのにプロセスにどれだけ時間がかかるか）とアップコンバートされた画像の品質との間のトレードオフを提示することができる。たとえば、アップコンバートのプロセスが（たとえばビデオゲーム中など）リアルタイムで行われる場合、結果として生じるアップコンバート後画像の質が悪くなることがある。
【０００５】
したがって、これらの技術分野において、新規でかつ改善された技法、システム、およびプロセスが絶えず求められることが認められる。
【発明の概要】
【課題を解決するための手段】
【０００６】
概要
ある例示的な実施形態では、訓練済のニューラルネットワークの使用によって画像を第１の分解能から第２の分解能にコンバートするためのコンピュータシステムが提供される
。ソース画像はブロックに分割され、各々の画素ブロックにコンテキストデータが追加される。コンテキストブロックはチャネルに分けられ、同じコンテキストブロックからの各々のチャネルは同じ活性化行列に挿入される。次に、活性化行列は、訓練済のニューラルネットワークに対して実行または適用されて、変更後（たとえば出力）活性化行列を発生させる。次に、変更後活性化行列を用いて出力チャネルを生成して第２の分解能の画像を構築する。これらの技法は、ソース画像の生成とともに実行時間中におよびリアルタイムで行われ得る。
【０００７】
ある例示的な実施形態では、信号データ（たとえば画像）を変換するためのニューラルネットワークを訓練するためのコンピュータシステムが提供される。たとえば、第１の分解能の画像を第２の分解能に変換する。目標信号データ（たとえば目標画像）は、データベースまたは他の非一時的媒体に記憶される。画像については、それらは目標分解能である分解能にあり得る。コンピュータシステムは、少なくとも１つのハードウェアプロセッサを有する処理システムを含む。画像変換のための訓練の際、コンピュータシステムは、第１の画像を第１の複数の画素ブロックに分割するように構成される。第１の複数の画素ブロックの各々１つは、複数の別々の出力チャネルに分けられて目標出力データを形成する。複数の別々の出力チャネルのうちの１つに基づいて、第２の分解能の第２の画像が生成される。第２の画像から複数のコンテキストブロックが生成される。複数のコンテキストブロックは次に、複数の別々の入力チャネルに分けられて、ニューラルネットワークが目標出力データに収束するまで、複数の別々の入力チャネルを用いることによってニューラルネットワークを訓練するのに用いられる。
【０００８】
ある例示的な実施形態では、ニューラルネットワークを用いて信号データを変換するための方法が提供される。当該方法は、初期活性化行列にソース信号からの複数のサンプルからのデータに基づく複数の値を配置することを含む。次に、分離可能なブロック変換がニューラルネットワークの複数の層にわたって適用される。分離可能なブロック変換は、係数の少なくとも１つの学習済の行列に基づいており、入力活性化行列に適用されて対応する出力活性化行列を生成する。初期活性化行列は、複数の層のうちの第１の層のための入力活性化行列として用いられ、各々の後続の層ごとの入力活性化行列は、先の層の出力活性化行列である。当該方法は、ニューラルネットワークの最後の層の出力活性化行列を出力して、最後の層の出力活性化行列に基づく変換後信号を生成する。
【０００９】
ある例示的な実施形態では、当該方法は、初期活性化行列の行または列のうちの少なくとも２つが複数のサンプルの各々からの重畳可能なデータに対応するように動作する。
【００１０】
ある例示的な実施形態では、分散型コンピュータゲームシステムが提供される。当該システムは、目標分解能で（たとえばビデオゲームまたは別のアプリケーションの）画像を出力するように構成される表示装置を含む。当該システムは、複数の処理ノードを含むクラウドベースのコンピュータシステムを含む。クラウドシステムの処理ノードは、その上で第１のビデオゲームを実行しかつ第１の分解能で第１のビデオゲームの画像を生成するように構成される。クラウドシステムの処理ノードは、生成された画像に基づく画像データを送信するように構成される。当該システムは、画像データを受信するように構成されるクライアント演算装置も含む。クライアント演算装置は、少なくとも１つのハードウェアプロセッサを含み、受信された画像データに基づいてニューラルネットワークを実行して目標画像を生成するように構成される。クライアントデバイス上でのニューラルネットワークの実行は、画像データが表す画像内の画素データの異なるブロックに各々が対応する複数の活性化行列に分離可能なブロック変換を適用する。目標画像は目標分解能で生成され、目標分解能で表示装置に出力されて、第１のビデオゲームのゲームプレイの間は表示装置に表示される。
（【００１１】以降は省略されています）

関連特許