特許ウォッチ

公開番号2024125264
公報種別公開特許公報(A)
公開日2024-09-18
出願番号2024013885
出願日2024-02-01
発明の名称機械学習モデル学習用データセット生成装置及びその方法
出願人株式会社ソニー・インタラクティブエンタテインメント
代理人個人
主分類G06N 20/00 20190101AFI20240910BHJP(計算;計数)
要約【解決手段】機械学習モデルを訓練するためのデータを生成する装置は、連続する画像フレームからなるビデオデータを受信する受信ユニットと、複数の前記連続する画像フレームを記憶する記憶ユニットと、ターゲット画像フレームに関して、記憶された画像フレームのサブセットを選択する選択ユニットと、を備える。前記サブセットは、前記機械学習モデルに対して、ターゲット画像フレームに関連するコンテキストデータを提供する。前記選択ユニットは、サンプリング値を連続的に生成する。連続的に生成されるサンプリング値間の差は、連続的に生成される各サンプリング値とともに増加する。前記選択ユニットは、連続的に生成されたサンプリング値ごとに、記憶された画像フレームからそれぞれの画像フレームを選択する。それぞれの画像フレームのフレーム番号は、連続的に生成されたサンプリング値の最新の値と一致する。
【選択図】図2
特許請求の範囲【請求項１】
機械学習モデルを訓練するためのデータを生成する装置であって、
連続する画像フレームからなるビデオデータを受信する受信ユニットと、
複数の前記連続する画像フレームを記憶する記憶ユニットと、
ターゲット画像フレームに関して、記憶された画像フレームのサブセットを選択する選択ユニットと、
を備え、
前記サブセットは、前記機械学習モデルに対して、ターゲット画像フレームに関連するコンテキストデータを提供し、
前記選択ユニットは、サンプリング値を連続的に生成し、
連続的に生成されるサンプリング値間の差は、連続的に生成される各サンプリング値とともに増加し、
前記選択ユニットは、連続的に生成されたサンプリング値ごとに、記憶された画像フレームからそれぞれの画像フレームを選択し、
それぞれの画像フレームのフレーム番号は、連続的に生成されたサンプリング値の最新の値と一致することを特徴とする装置。
続きを表示（約 920 文字）【請求項２】
前記それぞれの画像フレームのフレーム番号は、
ｉ．ターゲット画像フレーム
ｉｉ．以前に選択された画像フレーム
のいずれかに関するものであることを特徴とする請求項１に記載の装置。
【請求項３】
前記選択ユニットは、サンプリング関数を用いてサンプリング値を連続的に生成し、
前記サンプリング関数は数学的関数であることを特徴とする請求項１に記載の装置。
【請求項４】
連続的に生成されるサンプリング値間の差が、連続的に生成される各サンプリング値とともに増加する程度が、前記サンプリング関数を構成する１つ以上のサンプリングパラメータのそれぞれの値に対応することを特徴とする請求項３に記載の装置。
【請求項５】
前記サンプリングパラメータの少なくとも１つは、係数、底または指数の少なくとも１つであることを特徴とする請求項４に記載の装置。
【請求項６】
前記ターゲット画像フレームの画像コンテンツに基づいて、前記サンプリングパラメータの値を決定する値決定ユニットを備えることを特徴とする請求項４または５に記載の装置。
【請求項７】
サンプリングパラメータが基数または指数である場合、当該サンプリングパラメータの値は１より大きいことを特徴とする請求項４から６のいずれかに記載の装置。
【請求項８】
特定の画像フレームに関連する１つ以上の指標に基づいて、記憶された画像フレームのうちの特定の画像フレームをターゲット画像フレームとするか否かを決定するフレームノミネーションユニットを備えることを特徴とする請求項４から７のいずれかに記載の装置。
【請求項９】
前記特定の画像フレームに関連する１つ以上の指標は、当該画像フレームに関連するメタデータを含むことを特徴とする請求項８に記載の装置。
【請求項１０】
前記特定の画像フレームに関連する１つ以上の指標は、当該画像フレームの画像コンテンツを含むことを特徴とする請求項８または９に記載の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習モデルを学習するためのデータセットを生成するための装置及びその方法に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
本明細書において提供される「背景」の説明は、本開示の文脈を一般的に示すことを目的とする。
【０００３】
模倣学習（ＩＬ）は、環境（現実であっても仮想であってもよい）の現在の状態に対して最も適切な行動および／または方針を選択するよう機械学習エージェントを訓練しようとする点で、強化学習に似ている。しかしＩＬは、強化学習とは異なり、エージェントによる行動／方針選択の動機付けに報酬関数を使わない。むしろＩＬは、環境状態だけでなく、そのような環境状態に対応して取るべき最も適切な（または少なくとも望ましい）行動／方針からなる訓練データセットをエージェントに提供する。これらの行動／方針は、環境内に位置する要素（映画、ビデオゲームなどのキャラクター／アバター）によって実行される。
【０００４】
この訓練データセットがＩＬエージェントに提供されると、ＩＬエージェントは、要素によって実行されたアクション／ポリシーを模倣することを学習し、また、アクション／ポリシーが実行されたコンテキスト（環境状態）を学習する。これにより、訓練されたＩＬエージェントのその後の利用において、同様のコンテキストが発生した場合、エージェントは、模倣することを学習したアクション／ポリシーを実行することができる。その結果、最も適切／望ましい方法でコンテキストに対応することができる。
【０００５】
ＩＬの有効性（すなわち、最も適切な／望ましい方法でコンテキストに対応する能力）は、訓練データによってカバーされる期間に依存する。非限定的な例として、特にビデオゲーム用のＩＬエージェントは、近接攻撃をかわすように訓練されることがある。敵の近接攻撃とそれに対応するアバターのかわす動作のみを描写したビデオ映像を使ってＩＬエージェントを訓練した場合、敵がアバターに向かって走ったり、敵が拳を引いて近接攻撃を行ったり、その後アバターが近接攻撃をかわしたりする様子を描写したビデオ映像を使ってＩＬエージェントを訓練した場合に比べて、ＩＬエージェントは、その後のゲームプレイにおいて、かわす動作があまり効果的でない可能性がある。これは、前者の訓練データセットでは、後者と異なり、ＩＬエージェントが身をかわすタイミングを計るために頼りにする攻撃前の手がかりが得られないからである。従って、前者の訓練データセットを使って訓練した場合、ＩＬエージェントはかわすタイミングを誤る可能性がある（例えば、ＩＬエージェントは、かわすアニメーションを開始する前に、敵の拳が自分に向かって動き出すのを待つ可能性がある）。この場合、襲ってくる敵の一撃をかわすことができない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＩＬエージェントの有効性は、訓練データセットがカバーする期間に依存する。しかし、より長い期間をカバーするために訓練データセット内のデータ量を単純に増やすこと（例えば、ビデオフレーム数を単純に増やすこと）は、ＩＬエージェントによるメモリの過剰使用につながるため望ましくない。この過剰なメモリ使用は、ＩＬエージェントを実行するコンピューティングシステムの性能に影響を与える可能性がある。
【０００７】
さらに、訓練データセットのデータ量の大幅な増加は、訓練データセットによってカバーされる期間の大幅な増加と必ずしも相関しない。例えば、ビデオゲームのフレームレートが増加すると、所与の期間内に収まるビデオフレームの数が増加するため、所与の期間内に構成されるビデオデータの量も増加する。補足として、このフレームレートの増加は、よく知られている消失勾配の問題により、ＩＬエージェントの不十分な訓練を引き起こす可能性さえある。
【０００８】
本発明は、この問題を緩和または軽減しようとするものである。
【課題を解決するための手段】
【０００９】
第１の態様では、請求項１において、機械学習モデルを訓練するためのデータセットを生成する装置が提供される。
【００１０】
別の態様では、請求項１３において、機械学習モデルを訓練するためのデータセットを生成する方法が提供される。
（【００１１】以降は省略されています）

関連特許