特許ウォッチ

公開番号2024078382
公報種別公開特許公報(A)
公開日2024-06-10
出願番号2023102537
出願日2023-06-22
発明の名称ビデオ会議システム、及び録画映像作成方法
出願人株式会社リコー
代理人個人,個人
主分類H04N 7/15 20060101AFI20240603BHJP(電気通信技術)
要約【課題】直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいて、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像を提供する。
【解決手段】ビデオ会議システムは、ビデオ会議の映像を録画するビデオ会議システムであって、マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知部と、1つ以上のカメラで撮影した前記ビデオ会議の第1の映像から人物の画像を検知する画像検知部と、前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、前記第1の映像を所定の時間遅延させた第2の映像から、前記発話順序に基づいて、新たに発話した第1の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、を有する。
【選択図】図8
特許請求の範囲【請求項１】
ビデオ会議の映像を録画するビデオ会議システムであって、
マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知部と、
１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知部と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、
を有する、ビデオ会議システム。
続きを表示（約 1,600 文字）【請求項２】
前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の次に発話する第２の利用者の画像が前記所定のエリアに表示されている場合、少なくとも前記第１の利用者の画像と前記第２の利用者の画像とを前記所定のエリアに表示する前記録画映像を作成する、請求項１に記載のビデオ会議システム。
【請求項３】
前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の次に発話する第２の利用者の次に発話する第３の利用者の画像が前記所定のエリアに表示されている場合、少なくとも前記第１の利用者の画像と前記第３の利用者の画像とを前記所定のエリアに表示する前記録画映像を作成する、請求項１又は２に記載のビデオ会議システム。
【請求項４】
前記録画映像作成部は、前記第２の映像において、前記第１の利用者が発話したときに、前記第１の利用者の画像が前記所定のエリアに表示されている場合、前記所定のエリアの表示を変更せずに、前記録画映像を作成する、請求項１に記載のビデオ会議システム。
【請求項５】
前記録画映像作成部は、前記第２の映像において、利用者の発話時間が所定の時間未満である場合、前記所定のエリアの表示を変更せずに、前記録画映像を作成する、請求項１に記載のビデオ会議システム。
【請求項６】
前記第１の映像から、他の利用者よりも後に発話した前記所定の数の利用者の画像を前記所定のエリアに表示する前記ビデオ会議の会議映像を作成する会議映像作成部を有する、請求項１に記載のビデオ会議システム。
【請求項７】
前記録画映像作成部は、前記所定のエリアに表示される利用者の画像の変化が、前記会議映像より少ない前記録画映像を作成する、請求項６に記載のビデオ会議システム。
【請求項８】
前記第１の映像を前記所定の時間保持した後に、前記第２の映像を出力する映像遅延バッファを有する、請求項１に記載のビデオ会議システム。
【請求項９】
ビデオ会議を制御する第１の装置と、マイクアレイと１つ以上のカメラとを備え、第１の装置に接続される第２の装置と、を含み前記ビデオ会議の映像を録画するビデオ会議システムであって、
前記第２の装置は、
前記マイクアレイで取得した音声に基づいて音の方向を検知する方向検知部と、
前記カメラで撮影した第１の映像から人物の画像を検知する画像検知部と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、
を有する、ビデオ会議システム。
【請求項１０】
ビデオ会議の映像を録画するビデオ会議システムが、
マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知処理と、
１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知処理と、
前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定処理と、
前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成処理と、
を実行する、録画映像作成方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオ会議システム、及び録画映像作成方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
マイクで取得した音声とカメラで撮影した画像とを、通信ネットワークを介して送受信して、遠隔会議を実現するビデオ会議システムが普及している。
【０００３】
特許文献１には、入力画像からビデオ会議の会議画像を生成する際に、話者部分の領域を拡大、又は縮小することにより、話者が適切な大きさとなるように表示できる会議画像再生システムが開示されている。
【０００４】
また、特許文献２には、ビデオ会議システムにおいて、パノラマカメラと、マイクアレイを組み合わせて、パノラマカメラで会議室全体を撮影し、発言者がいる場合に、自動的に発言者の映像をクローズアップして表示すること等が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
自拠点の発話者の画像をクローズアップ表示するビデオ会議システムでは、発話者が頻繁に切り替わると、クローズアップ表示される発話者の画像の切り替わり頻度がめまぐるしくなるという問題がある。また、今までの、ビデオ会議システムでは、会議映像を録画する際に会議映像をそのまま録画しているため、録画映像においても、クローズアップ表示される発話者の画像の切り替わり頻度がめまぐるしくなるという問題がある。
【０００６】
このような問題は、例えば、直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいても存在する。
【０００７】
本発明の一実施の形態は、上記の課題に鑑みてなされたものであって、直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいて、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像を提供する。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の一実施形態に係るビデオ会議システムは、ビデオ会議の映像を録画するビデオ会議システムであって、マイクアレイで取得した前記ビデオ会議の音声に基づいて音の方向を検知する方向検知部と、１つ以上のカメラで撮影した前記ビデオ会議の第１の映像から人物の画像を検知する画像検知部と、前記音の方向と前記人物の画像とに基づいて、前記ビデオ会議システムを利用して前記ビデオ会議に参加する利用者の発話順序を特定する特定部と、前記第１の映像を所定の時間遅延させた第２の映像から、前記発話順序に基づいて、新たに発話した第１の利用者を含む所定の数の利用者の画像を所定のエリアに表示する前記ビデオ会議の録画映像を作成する録画映像作成部と、を有する。
【発明の効果】
【０００９】
本発明の一実施形態によれば、直近の複数の発話者をクローズアップ表示するビデオ会議システムにおいて、クローズアップ表示される発話者の切り替え頻度を抑制した録画映像を提供することができる。
【図面の簡単な説明】
【００１０】
一実施形態に係る通信システムのシステム構成の例を示す図である。
一実施形態に係るビデオ会議システムの別の構成例を示す図である。
一実施形態に係るビデオ会議システムの会議映像のイメージを示す図である。
一実施形態に係る会議映像の遷移の例を示す図である。
一実施形態に係る録画映像の遷移の例を示す図である。
一実施形態に係るビデオ会議端末のハードウェア構成の例を示す図である。
一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
一実施形態に係るビデオ会議システムの機能構成の一例を示す図である。
一実施形態に係るビデオ会議システムの機能構成の別の一例を示す図である。
一実施形態に係る会議映像、及び録画映像の作成処理の例を示すフローチャートである。
第１の実施形態に係る録画映像の作成処理の例を示すフローチャートである。
第２の実施形態に係る録画映像の作成処理の例を示すフローチャートである。
第３の実施形態に係る録画映像の作成処理の例を示すフローチャートである。
第３の実施形態に係る優先度の決定処理の例を示すフローチャートである。
一実施形態に係る会議映像の作成処理のイメージを示す図である。
一実施形態に係る録画映像の作成処理のイメージを示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許