特許ウォッチ

公開番号2025027074
公報種別公開特許公報(A)
公開日2025-02-26
出願番号2024207584,2021548524
出願日2024-11-28,2019-10-29
発明の名称リアルタイム動画特殊効果システム及び方法
出願人ペナ, ヘンリー,ブライアントザサード, トーマス
代理人弁理士法人高橋・林アンドパートナーズ
主分類H04N 5/76 20060101AFI20250218BHJP(電気通信技術)
要約【解決手段】録画前および/または録画中にリアルタイムで特殊効果を適用しながら動画を録画するリアルタイム動画特殊効果システム10において、画像プロセッサは、カメラ12またはリモート動画ストリームからネイティブ速度レートの未処理の動画データとインターフェース30から入力を受信し、未処理の動画データのネイティブ速度レートが変更されるかどうかを判定し、変更される場合は、未処理の動画データの少なくとも1つのフレームを変更して、ネイティブ速度レートとは異なる修正された速度レートの修正された動画データを作成し、出力動画録画データを生成し、メモリ18に書き込む。
【効果】これにより、カメラ12の操作または設定を変更することなく、カメラまたはビデオフィードからの動画を異なる速度レートで連続的に録画することができる。
【選択図】図1
特許請求の範囲【請求項１】
実世界のシーンの動画を撮影するように構成されたカメラと、
グラフィカルユーザインターフェースと、
前記カメラ及び前記グラフィカルユーザインターフェースに動作可能に接続された、または接続可能な少なくとも１つの処理ユニットと、
を備え、
前記少なくとも１つの処理ユニットは、撮影されている動画を通常速度で前記グラフィカルユーザインターフェース上で再生し、
前記グラフィカルユーザインターフェースによって受信されたユーザ入力に応答して、撮影されている動画のグラフィカルインターフェース上の動画再生速度を、通常再生速度から修正された再生速度に変更するように構成される、リアルタイムでライブ動画録画データの特殊効果操作を制御するための動画撮影および表示システム。
続きを表示（約 2,200 文字）【請求項２】
前記少なくとも１つの処理ユニットは、グラフィカルユーザインターフェース上で、撮影されている動画を修正された再生速度で再生することから、前記撮影されている動画を通常速度で再生することに戻るように構成される、請求項１に記載のシステム。
【請求項３】
前記少なくとの１つの処理ユニットはは、前記グラフィカルユーザインターフェースによって受信されたユーザ入力に応じて、前記グラフィカルユーザインターフェース上で、撮影されている動画を修正された再生速度で再生することから、前記撮影されている動画を通常速度で再生することに戻るように構成される、請求項２に記載のシステム。
【請求項４】
前記少なくとも１つの処理装置は、録画されている動画の前記グラフィカルインターフェース上での再生速度を、前記通常の再生速度から修正された再生速度にシームレスに変更するように構成される、請求項１に記載のシステム。
【請求項５】
前記カメラおよび前記グラフィカルユーザインターフェースは、同じ電子装置に組み込まれるか、または前記カメラは前記電子装置から離れている、請求項１に記載のシステム。
【請求項６】
前記電子装置は、スマートフォン、コンピュータ、携帯情報端末（ｐｄａ）またはタブレット装置を含む、請求項５に記載のシステム。
【請求項７】
少なくとも１つのＲＡＭメモリと、
少なくとも１つの不揮発性長期メモリと、をさらに備え、
両者は、前記処理ユニットと動作可能に接続される、または接続可能である、請求項１に記載のシステム。
【請求項８】
少なくとも一部がカメラによってリアルタイムで撮影された画像に対応する未処理の動画データをネイティブ速度で提供するように構成される、または構成することができる少なくとも一つのカメラと、
少なくとも一つのメモリと、
前記カメラ及び前記メモリと動作可能に通信する少なくとも一つ処理ユニットと、を備え、
前記処理ユニットは、
前記カメラから未処理の動画データをリアルタイム受信し、
少なくとも１つの入力を受信し、
前記入力が未処理の動画データのネイティブ速度レートの変更に関連付けられているかどうかを判断し、関連付けられている場合は、前記カメラから未処理の動画データを受信
しながら、リアルタイムで、前記未処理の動画データの少なくとも１つのフレームを修正して、前記ネイティブ速度レートとは異なる１つ以上の修正された速度レートの修正された動画データを作成し、
少なくとも１つの出力動画録画データをメモリに書き込むように構成される、または構成することができ、
前記出力動画録画データは、前記ネイティブ速度レートでの未処理の動画データ、前記修正された速度レートでの前記修正された動画データ、および前記未処理の動画データと前記修正された動画データとの組み合わせのうちの１つである、ライブ動画録画データの特殊効果動作をリアルタイムで制御するための動画録画システム。
【請求項９】
ソフトウェア命令を格納および実行するようにそれぞれ構成されたメモリおよびプロセッサを含み、
前記命令は、
カメラによって撮影された画像に少なくとも部分的に対応する未処理の動画データをリアルタイムでネイティブ速度レートで前記カメラから取得するリクエストを受信するように構成される、または構成可能な未処理データ受信コンポーネントと、
前記カメラからの前記未処理の動画データのネイティブ速度レートを少なくとも１つの修正された速度レートに変更するように少なくとも一つのリクエストを受信するように構成される、または構成可能な速度レート決定コンポーネントと、
前記ネイティブ速度レートを変更するリクエストを受信すると、変更される未処理の動画データ内の少なくとも１つのフレームまたはロケーションを識別し、前記カメラから未処理の動画データを受信しながらリアルタイムで前記ネイティブ速度レートとは異なった修正された速度レートで修正された動画データを作成するように前記フレームまたはロケーションを変更するように構成される、または構成可能なフレーム修正コンポーネントと、
前記カメラから前記未処理の動画データを受信しながらリアルタイムで前記メモリの一つ及び二次メモリに出力動画録画データを書き込むように構成される、または構成可能な出力動画録画データ書き込みコンポーネントと、で構成され、
前記出力動画録画データは、前記ネイティブ速度レートでの未処理の動画データ、前記修正された速度レートでの修正された動画データ、および前記未処理の動画データと前記修正された動画データとの組み合わせのうちの１つから選択される、ライブ動画録画データの特殊効果操作をリアルタイムで制御するクライアント側電子システム。
【請求項１０】
前記プロセッサはさらに、前記未処理の動画データが前記カメラから前記メモリに書き込まれるのを防止するように構成される、または構成可能である、請求項９に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本出願は米国特許商標庁において２０１８年１０月２９日に出願された米国特許出願第１６１７３０３３号からの優先権を主張し、その継続出願であり、その全内容は、開示の継続性のために参照により本明細書に組み込まれる。
続きを表示（約 2,500 文字）【０００２】
本技術は、録画の進行中に動画録画における特殊効果の制御または作成に関連して使用する、リアルタイム動画特殊効果システムおよび方法に関する。より詳細には、本技術がポスト編集なしで長期メモリ記憶装置に記録され書き込まれる前に、デバイスからの動画ストリームの速度レートをライブまたはリアルタイムでデコードして変更するシステムおよび方法に関する。
【背景技術】
【０００３】
最新の動画形式では、さまざまなフレームレートが使用される。ほとんどが毎秒２４フレームで撮影されたフィルムは、その本来のフレームレートで表示することができず、プルダウン変換を必要とし、しばしば「ジャダー」につながる。例えば、２４フレーム／秒を６０フレーム／秒に変換するには、奇数フレームは２倍にし、偶数フレームは３倍になるため、動きにむらが生じる。他の変換でも、同様にフレームの倍化が不均一になる。より新しい動画規格は１２０、２４０、または３００フレーム／秒をサポートしているため、フレームは、３００ｆｐｓディスプレイにおける２５および５０ｆｐｓ動画と同様に、２４フレーム／秒（ｆｐｓ）フィルムおよび３０ｆｐｓ動画といった一般的なフレームレートに対して均等に掛け合わせることができる。これらの規格は、より高いフレームレートにネイティブに対応している動画、およびネイティブフレーム間に補間フレームを有する動画もサポートする。
【０００４】
スマートフォンなどの電子デバイスで実行されるデバイスのネイティブなカメラアプリケーション（アプリ）は一定時間で録画し、次いで、動画データストリームを処理して、スローモーション、高速化またはタイムラプスを生成することができる。しかしながら、これらの既知のシステムまたは方法は、ユーザが録画中にリアルタイムで映像内の「時間特殊効果」を手動で制御できるユーザインターフェースを利用しない。例えば、ＳａｍｓｕｎｇＧａｌａｘｙＳ９＋（登録商標）のネイティブカメラアプリはこの場合、画面の中央にボックスアウトラインで示されるように、物体が画面の一部分の内側を横切ったことをアプリが検出したときに、カメラが１秒あたりのフレーム数を変更する特殊効果機能を有する。
【０００５】
Ｉｎｓｔａｇｒａｍ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）、Ｓｎａｐｃｈａｔ（登録商標）などのサードパーティアプリではモバイル機器のカメラを使用しているが、これらのアプリには、アプリのユーザが録画中にリアルタイムで録画速度の低速化や高速化を変更できる機能はない。
【０００６】
ＦＩＬＭｉＣＰｒｏ（登録商標）のような、より高度な機能に富むカメラアプリでは、ユーザは撮影時のフレームレート速度と再生時のフレームレート速度とを互いに独立してプリセットすることができるため、最終的に作成される動画においてスローモーションおよび高速化の効果を持たせることができる。
【０００７】
オプティカルフローのタイムリマッピングはＰｒｅｍｉｅｒｅＰｒｏＣＣ２０１５と同様に知られており、これにより、ユーザは、欠落したフレームを補間することによってスムーズな速度およびフレームレートの変更を達成することができる。オプティカルフロー補間は、動いている物体とは対照的な、ほとんど静止した背景の前で動いている、モーションブラーのない物体を含むクリップの速度を調整する。
【０００８】
モーション補間またはモーション補償フレーム補間（ＭＣＦＩ：Motion Compensated Frame Interpolation）はアニメーションをより流動的にし、ディスプレイのモーションブラーを補償するために、補間によって既存のフレーム間に中間アニメーションフレームを生成する動画処理の形態の一つである。
【０００９】
モーション補間を使用すると、カメラのパンやカメラの揺れによって生成されるモーションブラーを軽減し、画像をより鮮明にすることが理解できる。また、入力遅延が発生するという望ましくない副作用がある可能性はあるが、よりリアルな感覚を得るためにビデオゲームソフトウェアの見かけのフレームレートを上げるために使用することもできる。この「ビデオルック」は、ＶｉｄＦＩＲＥ（Video Field Interpolation Restoration Effect）技術によって意図的に作成されたものであり、フィルムのテレレコーディングとしてのみ存続するアーカイブテレビ番組を復元する。ＶｉｄＦＩＲＥは、現在ではテレレコーディングを基本とする形式でしか存在しないテレビカメラで撮影された映像を動画のような動きに復元することを目的とした復元技術である。人為的に高いフレームレートを実現する場合と自然に高いフレームレートを実現する場合と（補間による場合とカメラ内での場合と）の主な違いは、後者は前述のアーティファクトの影響を受けず、より正確な（または「実際に近い」）画像データを含み、フレームがリアルタイムで生成されないため、より多くのストレージスペースと帯域幅を必要とすることである。
【００１０】
モーション補償は、カメラおよび／または映像内の物体の動きを考慮することによって、映像内のフレームを予測して前のフレームおよび／または将来のフレームを与えるために使用されるアルゴリズム技術である。これは、映像圧縮のための映像データのエンコードにおいて、例えばＭＰＥＧ－２ファイルの生成において採用されている。モーション補償は、参照画像から現在の画像への変換の観点から画像を表す。参照画像は時間的に過去のもの前であってもよいし、未来のものであってもよい。過去に送信／蓄積された画像から画像を正確に合成することができれば、圧縮効率を向上させることができる。
（【００１１】以降は省略されています）

関連特許