特許ウォッチ

公開番号2024145754
公報種別公開特許公報(A)
公開日2024-10-15
出願番号2023058238
出願日2023-03-31
発明の名称映像処理装置
出願人学校法人幾徳学園,ミハル通信株式会社
代理人個人,個人
主分類H04N 21/241 20110101AFI20241004BHJP(電気通信技術)
要約【課題】ネットワーク上のクラウドやエッジのコンピューティング能力を使用し、必要な時だけシステムを仮想的に構成し、映像処理ワークフローを実現できるようにする。
【解決手段】ネットワークに接続されたPCサーバや仮想マシンを使って映像処理する映像処理装置であり、DPDKで提供する機能を用いて、OSの配下から特定のCPUコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態にした上で、映像処理機能割当部が映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのCPUのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、ファンクション部は、割り当てられたファンクションのみの動作を繰り返し実行させることで、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行できるようにした。
【選択図】図1
特許請求の範囲【請求項１】
映像処理をネットワークに接続された汎用のＰＣサーバや仮想マシンを使って実現する映像処理装置において、
ＤＰＤＫで提供する機能を用いて、ＯＳの配下から特定のＣＰＵコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態にした上で、
映像処理機能割当部が、映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、
ファンクション部の各ＣＰＵコアは、割り当てたファンクションのみの動作を繰り返し実行させることで、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行でき、各ファンクションには、外部からの映像処理に関わる機能制御を行うＡＰＩインタフェースを備えることにより、リアルタイム映像処理を行える、
ことを特徴とする映像処理装置。
続きを表示（約 1,800 文字）【請求項２】
請求項１記載の映像処理装置において、
ネットワークインタフェースカードのリソース割り当てやＣＰＵのコアリソース割り当て、アドレス割り当ての情報を一括して設定可能なリソース統合情報で管理する、
ことを特徴とする映像処理装置。
【請求項３】
請求項１又は請求項２記載の映像処理装置において、
ネットワークインタフェースの回線状況や割り当てたコアのＣＰＵやメモリのリソースを内部リソース監視部でモニタリングして、絶えずリソース状況を監視表示することが可能である、
ことを特徴とする映像処理装置。
【請求項４】
請求項１又は請求項２記載の映像処理装置において、
リソース状況のモニタリングの結果、リソース不足が判明した場合には、該当のＣＰＵコア数などの割り当て数を変更し、リソース統合情報を書き替え、映像処理機能割当部が各ファンクション部を再起動可能である、
ことを特徴とする映像処理装置。
【請求項５】
請求項１記載の映像処理装置において、
複数の映像処理機能を連結して、一連の映像ワークフローを実現するために、
映像処理機能の構成情報を管理する映像処理機能構成管理部を加え、
外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能を有する映像処理入力部と、
複数の映像処理機能部と、
外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための映像出力部が相互結合されたコネクションネットワークで接続され、
映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、
外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することを可能とする、
ことを特徴とする映像処理装置。
【請求項６】
請求項２記載の映像処理装置において、
複数の映像処理機能を連結して、一連の映像ワークフローを実現するために、
映像処理機能の構成情報を管理する映像処理機能構成管理部を加え、
外部ネットワークから入力された映像パケットに対して、入力映像のパケットプロトコル処理および映像処理機能部で処理する順番を指定する機能を有する映像処理入力部と、
複数の映像処理機能部と、
外部ネットワークに出力するための映像パケットに変換するプロトコル処理を行うための映像出力部が相互結合されたコネクションネットワークで接続され、
映像処理機能構成管理部が複数の映像処理機能部と映像処理入力部と映像出力処理部を起動することで、
外部ネットワークからの映像入力パケットに基づく途切れのない複数の映像処理の連結動作を行い、処理後の映像パケットを出力することを可能とする、
ことを特徴とする映像処理装置。
【請求項７】
請求項５記載の映像処理装置において、
回線状況および映像処理機能部のリソース状況をリアルタイムに監視する映像処理機能リソース監視部によりシステムの正常動作を監視・表示できる、
ことを特徴とする映像処理装置。
【請求項８】
請求項６記載の映像処理装置において、
回線状況および映像処理機能部のリソース状況をリアルタイムに監視する映像処理機能リソース監視部によりシステムの正常動作を監視・表示できる、
ことを特徴とする映像処理装置。
【請求項９】
請求項５記載の映像処理装置において、
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、
ことを特徴とする映像処理装置。
【請求項１０】
請求項６記載の映像処理装置において、
リソース不足が判明した場合に、映像処理機能構成管理部に通知することで、映像処理機能部の実行に割り当ててある仮想マシンや物理サーバ等の割り当て情報を再割り当てして、安定動作可能にする、安定動作可能にする、
ことを特徴とする映像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ライブ映像制作に用いる映像処理装置（映像処理システム）に関するものである。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
ライブ映像制作では、複数のカメラ映像素材やレコーダの収録済の映像素材などの入力素材に加工を加え、随時切り替える編集作業を行い、視聴者に送出する映像ワークフローを実現するためのシステムが使われる。図１４のように、遠隔地のカメラ素材（例えばお天気カメラ）などは、送信伝送装置Ａから送出され、ネットワークを介して、受信伝送装置Ｂで受信したものを素材として用いる。編集拠点では、様々な映像処理機能（色調整Ｃ、フォーマット変換Ｄ、映像切り替えＥ、フォーマット変換・圧縮機能Ｆ）を実現する複数の映像処理装置を組み合わせてシステム化し、それら映像処理装置の結線にはＳＤＩなどの数ｍから最長100ｍ程度の映像インタフェースケーブルが使われる事が多い。
このため、複数の映像処理装置を１箇所に集める必要がある他、映像処理装置は、映像フォーマットによって様々な種類があり、電気的な入出力インタフェース条件が違うと接続できないなど構築に関する専門の知識が必要となる。また、最近普及してきた８Ｋ映像に対応したものになると、４８Ｇｂｐｓや２４Ｇｂｐｓの映像インタフェース速度が必要となり、映像処理装置間では複数本数の映像インタフェースを束ねて並列伝送したり、光ケーブルを使って伝送したりするシステムになり、高価であり、簡単に利用する事はできない課題がある。
【０００３】
従来、ＩＰネットワークが広く使われるようになり、中継現場とスタジオをネットワークで接続し、番組制作を行うリモートプロダクションというワークフローが浸透してきた他、さらにネットワーク上のクラウドやエッジのコンピューティング能力を用いて、先行投資なしで必要な時だけ映像編集処理を行う動きがある（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
https://www.nhk.or.jp/strl/publica/rd/179/2.html
【０００５】
しかしながら、現在のクラウドコンピューティングを用いた映像処理機能の実現においては、以下のような実現上の課題がある。
（１）８Ｋ映像で必要となるover10Gbpsの高速処理を実現するのが難しい。
（２）複数の映像処理機能を連携する仕組みが用意されていない。
（３）ＣＰＵやネットワークのリソースを監視する仕組みがない。
（４）リソース低減時にリソースを再割り当てする仕組みがない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記の如き問題を解消すべく開発されたもので、その目的とするところは、距離的制約やインタフェースの複雑さを排除し、ネットワーク上のクラウドやエッジのコンピューティング能力を使用し、必要な時だけシステムを仮想的に構成し、映像処理ワークフローを実現できる映像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、映像処理をネットワークに接続されたＰＣサーバや仮想マシンを使って実現する映像処理装置において、図７のようなＤＰＤＫ（Data Plane Development Kit）で提供する機能を用いて、ＯＳの配下から特定のＣＰＵコアやメモリ、ネットワークインタフェースカードのリソースを取り上げて、ユーザプログラムで専有できる状態で動作させることで、割り込み等の影響を避けた高速動作を可能とする。また、映像処理装置は、映像処理機能割当部、ファンクション部を備え、映像処理機能割当部は映像データの入出力に用いるネットワークインタフェースカードのリソース割り当て、複数のプログラム処理を実行するファンクションためのＣＰＵのコアのリソース割り当て、入出力に用いるアドレス情報の割り当てを行い、ファンクション部は複数のＣＰＵコアとＡＰＩインタフェースを備え、各ＣＰＵコアは，割り当てたファンクションのみの動作を繰り返し実行させる事で、ファンクション部を一斉に起動した後は、入力パケットデータに基づく途切れのない映像処理を実行できる。ＡＰＩインタフェースは外部からの映像処理に関わる機能制御を行う。
【０００８】
前記映像処理装置では、ネットワークインタフェースカードのリソース割り当てやＣＰＵのコアリソース割り当て、アドレス割り当ての情報を一括して設定可能なリソース統合情報で管理主体を付加する事で、アプリケーションに応じた容易な設定を行う事もできる。
【０００９】
前記映像処理装置では、内部リソース監視部を付加することで、ネットワークインタフェースの回線状況や割り当てたコアのＣＰＵやメモリのリソース状況を絶えず監視表示することもできる。
【００１０】
前記映像処理装置では，リソース状況のモニタリングの結果，リソース不足が判明した場合には、該当のＣＰＵコア数などの割り当て数を変更し、リソース統合情報を書き替え、前記映像処理機能割当部が前記各ファンクション部を再起動する事で、安定的な動作を達成することができる。
（【００１１】以降は省略されています）

関連特許