特許ウォッチ

公開番号2025015953
公報種別公開特許公報(A)
公開日2025-01-31
出願番号2023118888
出願日2023-07-21
発明の名称映像配信システム、映像配信方法、および、プログラム
出願人株式会社東芝,東芝インフラシステムズ株式会社
代理人弁理士法人酒井国際特許事務所
主分類H04N 21/2343 20110101AFI20250124BHJP(電気通信技術)
要約【課題】複数の単眼カメラにより撮影された単眼映像を用いて映像配信を行う場合にネットワーク負荷を抑制する。
【解決手段】映像配信システムにおいて、情報処理装置は、撮影領域の少なくとも一部が互いに異なる複数の単眼カメラそれぞれで撮影された単眼映像、および、複数の単眼映像を合成することで生成され単眼映像よりも粗い広範囲映像を、映像を表示可能なユーザ端末に送信可能である。制御装置は、ユーザ端末から取得した視点方向推定情報、および、視点移動速度推定情報に基づいて、ユーザの視点の方向および移動速度に関して予め定められた所定条件を満たしたと判定した場合に、情報処理装置からユーザ端末に広範囲映像を送信させ、所定条件を満たしていないと判定した場合に、情報処理装置からユーザ端末に、視点方向推定情報における視点の方向に応じた単眼映像を送信させる。
【選択図】図2
特許請求の範囲【請求項１】
撮影領域の少なくとも一部が互いに異なる複数の単眼カメラそれぞれで撮影された単眼映像、および、複数の前記単眼映像を合成することで生成され前記単眼映像よりも粗い広範囲映像を、映像を表示可能なユーザ端末に送信可能な情報処理装置と、
前記ユーザ端末から取得した、ユーザの視点の方向の推定情報である視点方向推定情報、および、ユーザの視点の移動速度の推定情報である視点移動速度推定情報に基づいて、
ユーザの視点の方向および移動速度に関して予め定められた所定条件を満たしたと判定した場合に、前記情報処理装置から前記ユーザ端末に前記広範囲映像を送信させ、
前記所定条件を満たしていないと判定した場合に、前記情報処理装置から前記ユーザ端末に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させる制御装置と、
を備える映像配信システム。
続きを表示（約 3,200 文字）【請求項２】
複数の前記単眼カメラそれぞれから前記単眼映像を受信し、ネットワークスライス選択機能を有するルータと、
複数の前記単眼映像を合成することで前記単眼映像よりも粗い前記広範囲映像を生成するステッチング処理部を有するＭＥＣ（Multi-access Edge Computing）と、
ＵＰＦ(User Plane Function)装置と通信接続され、ネットワークスライスの切り替えを行うネットワークスライス切替部を有するとともに、前記ユーザ端末と通信接続された通信装置と、をさらに備え、
前記情報処理装置は、前記ルータと前記通信装置の間に設けられ、かつ、前記ＭＥＣと通信接続されている前記ＵＰＦ装置であり、
前記制御装置は、前記ユーザ端末から取得した前記視点方向推定情報、および、前記視点移動速度推定情報に基づいて、前記通信装置に対してネットワークスライス選択の指令を出すネットワークスライス選択部を有するオーケストレータであり、
前記オーケストレータは、
前記所定条件を満たしたと判定した場合に、前記ネットワークスライス選択部を用いて、前記ＵＰＦ装置から前記通信装置に前記広範囲映像を送信させ、
前記所定条件を満たしていないと判定した場合に、前記ネットワークスライス選択部を用いて、前記ＵＰＦ装置から前記通信装置に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させる、請求項１に記載の映像配信システム。
【請求項３】
複数の前記単眼カメラそれぞれから前記単眼映像を受信し、ネットワークスライス選択機能を有するルータと、
複数の前記単眼映像を合成することで前記単眼映像よりも粗い前記広範囲映像を生成するステッチング処理部を有するＭＥＣ（Multi-access Edge Computing）と、をさらに備え、
前記ユーザ端末は、ＵＰＦ(User Plane Function)装置と通信接続され、ネットワークスライスの切り替えを行うネットワークスライス切替部を有し、
前記情報処理装置は、前記ルータと前記ユーザ端末の間に設けられ、かつ、前記ＭＥＣと通信接続されている前記ＵＰＦ装置であり、
前記制御装置は、前記ユーザ端末から取得した前記視点方向推定情報、および、前記視点移動速度推定情報に基づいて、前記ユーザ端末に対してネットワークスライス選択の指令を出すネットワークスライス選択部を有するオーケストレータであり、
前記オーケストレータは、
前記所定条件を満たしたと判定した場合に、前記ネットワークスライス選択部を用いて、前記ＵＰＦ装置から前記ユーザ端末に前記広範囲映像を送信させ、
前記所定条件を満たしていないと判定した場合に、前記ネットワークスライス選択部を用いて、前記ＵＰＦ装置から前記ユーザ端末に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させる、請求項１に記載の映像配信システム。
【請求項４】
複数の前記単眼カメラそれぞれに設けられ、ネットワークスライス選択機能を有する通信モジュールと、
複数の前記単眼映像を合成することで前記単眼映像よりも粗い前記広範囲映像を生成するステッチング処理部を有するＭＥＣ（Multi-access Edge Computing）と、
ＵＰＦ(User Plane Function)と通信接続され、ネットワークスライスの切り替えを行うネットワークスライス切替部を有するとともに、前記ユーザ端末と通信接続された通信装置と、をさらに備え、
前記情報処理装置は、複数の前記通信モジュールと前記通信装置の間に設けられ、かつ、前記ＭＥＣと通信接続されている前記ＵＰＦ装置であり、
前記制御装置は、
前記ユーザ端末から取得した前記視点方向推定情報、および、前記視点移動速度推定情報に基づいて、前記通信装置に対してネットワークスライス選択の指令を出すネットワークスライス選択部を有するオーケストレータであり、
前記オーケストレータは、
前記所定条件を満たしたと判定した場合に、前記ネットワークスライス選択部を用いて、前記ＵＰＦ装置から前記通信装置に前記広範囲映像を送信させ、
前記所定条件を満たしていないと判定した場合に、前記ネットワークスライス選択部を用いて、前記ＵＰＦ装置から前記通信装置に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させる、請求項１に記載の映像配信システム。
【請求項５】
前記オーケストレータは、前記ユーザ端末から取得した前記視点方向推定情報、および、前記視点移動速度推定情報に基づいて、複数の前記通信モジュールのうち、優先度が低いと判定した前記通信モジュールに対して、前記ＵＰＦ装置への前記単眼映像の伝送レートを下げる旨の指示を送る、請求項４に記載の映像配信システム。
【請求項６】
前記オーケストレータは、前記ユーザ端末から取得した前記視点方向推定情報、および、前記視点移動速度推定情報に基づいて、前記ルータに対して、複数の前記単眼映像のうち、優先度が低いと判定した前記単眼映像について、前記ＵＰＦ装置への伝送レートを下げる旨の指示を送る、請求項２に記載の映像配信システム。
【請求項７】
前記オーケストレータは、予め設定された高品質スライスのフラグから低品質スライスのフラグに切り替えることで、前記単眼映像の伝送レートを下げる、請求項５または請求項６に記載の映像配信システム。
【請求項８】
前記制御装置は、
前記情報処理装置から前記ユーザ端末に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させる場合に、
前記視点の方向が隣り合う２つの単眼映像の重複領域にあるときは、前記２つの単眼映像のうち、前記視点の方向から前記単眼映像の中心までの距離が短いほうの前記単眼映像を選択して送信する、請求項１に記載の映像配信システム。
【請求項９】
前記制御装置は、
前記情報処理装置から前記ユーザ端末に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させている場合に、
前記所定条件を満たした場合として、前記視点の方向が２つ以上の前記単眼映像をまたぐように移動した場合に、前記情報処理装置から前記ユーザ端末に、前記広範囲映像を送信させるように切り替える、請求項１に記載の映像配信システム。
【請求項１０】
複数の単眼カメラそれぞれで撮影された単眼映像、および、複数の前記単眼映像を合成することで生成され前記単眼映像よりも粗い広範囲映像を、映像を表示可能なユーザ端末に送信可能な情報処理装置と連携する制御装置による映像配信方法であって、
前記ユーザ端末から取得した、ユーザの視点の方向の推定情報である視点方向推定情報、および、ユーザの視点の移動速度の推定情報である視点移動速度推定情報に基づいて、
ユーザの視点の方向および移動速度に関して予め定められた所定条件を満たしたと判定した場合に、前記情報処理装置から前記ユーザ端末に前記広範囲映像を送信させ、
前記所定条件を満たしていないと判定した場合に、前記情報処理装置から前記ユーザ端末に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させる、映像配信方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、映像配信システム、映像配信方法、および、プログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
従来から、映像配信システムとして、例えば、複数の単眼カメラを組み合わせて３６０度全方位を撮影する全方位カメラを用いて映像を取得し、遠隔にいるユーザが見たい方向の映像を自由に見ることを可能にする全方位カメラ遠隔モニタリングシステムがある。
【０００３】
その場合、高精細な３６０度全方位映像を閲覧可能にするには、各カメラの映像を合成するステッチング処理を高精度に実施する必要がある。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－３２８６０号公報
国際公開第２０２１／２００２２６号
特開２０２２－７１２０４号公報
国際公開第２０２０／１９５７０５号
特開２００５－２６０７５３号公報
特開２０２１－１０５７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のステッチング処理を全方位カメラ映像に対してユーザ端末で実施する場合、全ての単眼カメラの映像をネットワークでユーザ端末に伝送する必要があり、ユーザ端末が接続しているネットワークの負荷が高くなるという問題がある。
【０００６】
そこで、本発明の実施形態は、複数の単眼カメラにより撮影された単眼映像を用いて映像配信を行う場合にネットワーク負荷を抑制することができる映像配信システム、映像配信方法、および、プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
実施形態の映像配信システムは、撮影領域の少なくとも一部が互いに異なる複数の単眼カメラそれぞれで撮影された単眼映像、および、複数の前記単眼映像を合成することで生成され前記単眼映像よりも粗い広範囲映像を、映像を表示可能なユーザ端末に送信可能な情報処理装置と、前記ユーザ端末から取得した、ユーザの視点の方向の推定情報である視点方向推定情報、および、ユーザの視点の移動速度の推定情報である視点移動速度推定情報に基づいて、ユーザの視点の方向および移動速度に関して予め定められた所定条件を満たしたと判定した場合に、前記情報処理装置から前記ユーザ端末に前記広範囲映像を送信させ、前記所定条件を満たしていないと判定した場合に、前記情報処理装置から前記ユーザ端末に、前記視点方向推定情報における視点の方向に応じた前記単眼映像を送信させる制御装置と、を備える。
【図面の簡単な説明】
【０００８】
図１は、第１実施形態の映像配信システムの全体構成図である。
図２は、第１実施形態の映像配信システムの通信シーケンス図である。
図３は、第２実施形態の映像配信システムの全体構成図である。
図４は、第２実施形態の映像配信システムの通信シーケンス図である。
図５は、第３実施形態の映像配信システムの全体構成図である。
図６は、第３実施形態の映像配信システムの通信シーケンス図である。
図７は、第４実施形態の映像配信システムの全体構成図である。
図８は、第４実施形態の映像配信システムの通信シーケンス図である。
図９は、第５実施形態の映像配信システムの全体構成図である。
図１０は、第５実施形態の映像配信システムの通信シーケンス図である。
【発明を実施するための形態】
【０００９】
以下、添付の図面を用いて、本発明の映像配信システム、映像配信方法、および、プログラムの実施形態（第１実施形態～第５実施形態）について説明する。なお、第２実施形態以降の説明では、それまでに説明した内容と同等の事項については、説明を適宜省略する。
【００１０】
（第１実施形態）
図１は、第１実施形態の映像配信システムＳの全体構成図である。第１実施形態では、ユーザ端末６から５Ｇ（5th Generation：第５世代移動通信システム）通信機能を別出しする場合の構成を想定する。
（【００１１】以降は省略されています）

関連特許