特許ウォッチ

公開番号2024052524
公報種別公開特許公報(A)
公開日2024-04-11
出願番号2023117755
出願日2023-07-19
発明の名称通信管理サーバ、通信システム、通信管理方法、及びプログラム
出願人株式会社リコー
代理人個人,個人
主分類H04N 7/14 20060101AFI20240404BHJP(電気通信技術)
要約【課題】本開示は、遠隔で展示会等の実空間の映像を閲覧するユーザに、このユーザの通信端末に映し出された映像が実空間のどの位置の映像であるかを把握し易くする。
【解決手段】本開示は、実空間のロボットRから実空間における位置を受信すると共に、実空間の説明者端末5から実空間における位置を受信する受信部31と、各位置に応じて、仮想空間の対応位置にロボットRに関するアイコンr1及び説明者端末に関するアイコンe1を関連付けた状態で示すと共に、仮想空間にユーザ端末9に関するアイコンy1を示した仮想空間画像を作成する画像作成部37と、ユーザ端末9に仮想空間画像を送信する送信部と、ユーザ端末9から、仮想空間画像においてアイコンy1をアイコンr1に関連付ける操作を受け付けることにより、説明者端末5及びユーザ端末9の間の音声通信を確立する音声通信確立部(31)と、を有する通信管理サーバである。
【選択図】図21
特許請求の範囲【請求項１】
実空間で撮影及び移動が可能な移動装置から当該移動装置の前記実空間における位置を示す実空間装置位置情報を受信すると共に、前記実空間における第１の通信端末から当該第１の通信端末の前記実空間における位置を示す実空間端末位置情報を受信する受信部と、
前記実空間装置位置情報及び前記実空間端末位置情報に応じて、仮想空間の対応位置に前記移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付けた状態で示すと共に、前記仮想空間に第２の通信端末に関するアイコンを示した仮想空間画像を作成する画像作成部と、
前記第２の通信端末に前記仮想空間画像を送信する送信部と、
前記第２の通信端末から、前記仮想空間画像において前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記第１の通信端末及び前記第２の通信端末の間の音声通信を確立する音声通信確立部と、
を有する通信管理サーバ。
続きを表示（約 2,000 文字）【請求項２】
請求項１に記載の通信管理サーバであって、
前記第２の通信端末から前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記移動装置及び前記第２の通信端末の間の映像通信を確立する映像通信確立部と、
を有する通信管理サーバ。
【請求項３】
前記画像作成部は、前記実空間における前記移動装置の移動に伴い、前記実空間装置位置情報に応じて前記移動装置に関するアイコンを移動させた前記仮想空間画像を作成する、請求項１に記載の通信管理サーバ。
【請求項４】
前記画像作成部は、前記移動装置に関するアイコンの移動に伴い、前記移動装置に関するアイコンに関連付けられた前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに追従して移動させた前記仮想空間画像を作成する、請求項３に記載の通信管理サーバ。
【請求項５】
前記画像作成部は、前記仮想空間に第３の通信端末に関するアイコンを示した前記仮想空間画像を作成し、
前記音声通信確立部は、前記第１乃至第３の通信端末のうちの所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１乃至第３の通信端末のうちで前記所定の通信端末とは異なる他の通信端末に関するアイコンに関連付ける操作を受け付けることにより、前記所定の通信端末及び前記他の通信端末の間の専用の音声通信を確立する、
請求項１に記載の通信管理サーバ。
【請求項６】
前記第３の通信端末から前記第３の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記移動装置、前記第２の通信端末、及び前記第３の通信端末の間の映像通信を確立する映像通信確立部を有する、請求項５に記載の通信管理サーバ。
【請求項７】
前記第１の通信端末は音声入出力デバイスと音声通信することで、前記音声入出力デバイスと前記第２の通信端末の間で音声通信する、請求項１に記載の通信管理サーバ。
【請求項８】
実空間で撮影及び移動が可能な第１の移動装置の前記実空間における位置及び第１の通信端末の前記実空間における位置に応じて、仮想空間の対応位置に前記第１の移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付け、更に所定の通信端末に関するアイコンを関連付けた状態で示すと共に、前記実空間で撮影及び移動が可能な第２の移動装置の前記実空間における位置及び第２の通信端末の前記実空間における位置に応じて、前記仮想空間の対応位置に前記第２の移動装置に関するアイコン及び前記第２の通信端末に関するアイコンを関連付けた状態で示した仮想空間画像を作成する画像作成部と、
前記第１の通信端末及び前記所定の通信端末の間の音声通信を確立する音声通信確立部と、
前記所定の通信端末に前記仮想空間画像を送信する送信部と、
を有し、
前記音声通信確立部は、前記所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１の移動装置から前記第２の移動装置に関連付けを変更する操作を受け付けることにより、前記第１の通信端末及び前記所定の通信端末の間の音声通信を切断し、前記第２の通信端末及び前記所定の通信端末の間の音声通信を確立する、
通信管理サーバ。
【請求項９】
請求項８に記載の通信管理サーバであって、
前記第１の移動装置及び前記所定の通信端末の間の映像通信を確立した状態で、前記所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１の移動装置から前記第２の移動装置に関連付けを変更する操作を受け付けることにより、前記第１の移動装置及び前記所定の通信端末の間の映像通信を切断し、前記第２の通信端末及び前記所定の通信端末の間の映像通信を確立する映像通信確立部を有する通信管理サーバ。
【請求項１０】
前記画像作成部は、前記実空間における前記第１の移動装置の移動の位置に応じて前記第１の移動装置に関するアイコンを移動させると共に、前記所定の通信端末に関するアイコンを前記第１の移動装置に関するアイコンに追従して移動させる前記仮想空間画像を作成し、前記所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１の移動装置から前記第２の移動装置に関連付けを変更する操作を受け付けることにより、前記所定の通信端末に関するアイコンを前記第１の移動装置に関するアイコンに追従して移動させることを中止し、前記所定の通信端末に関するアイコンを前記第２の移動装置に関するアイコンに追従して移動させる前記仮想空間画像を作成する、請求項８に記載の通信管理サーバ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示内容は、通信管理サーバ、通信システム、通信管理方法、及びプログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
実空間の展示会などにおいて、説明者がテレプレゼンスロボット（以下「ロボット」と示す）と共に展示会を見学するツアーが登場している。展示会の遠隔見学を希望するユーザは、自分のＰＣ(Personal Computer)等で、ロボットに搭載されたカメラからの映像を見たり、ロボットに搭載されたマイクからの説明者の音声を聞いたりすることにより、遠隔地からでもリアルに近い臨場感で見学をすることができることが既に知られている（特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、説明者がロボットと共に見学する展示会で、ユーザが遠隔で展示会等の実空間の映像を閲覧する場合、このユーザのＰＣ等で映し出された映像が実空間のどの位置の映像であるかを把握することが困難であるという課題が生じている。
【０００４】
本開示は、上述の課題を鑑みてなされたもので、遠隔で展示会等の実空間の映像を閲覧するユーザに、このユーザの通信端末に映し出された映像が実空間のどの位置の映像であるかを把握し易くすることを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、実空間で撮影及び移動が可能な移動装置から当該移動装置の前記実空間における位置を示す実空間装置位置情報を受信すると共に、前記実空間における第１の通信端末から当該第１の通信端末の前記実空間における位置を示す実空間端末位置情報を受信する受信部と、前記実空間装置位置情報及び前記実空間端末位置情報に応じて、仮想空間の対応位置に前記移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付けた状態で示すと共に、前記仮想空間に第２の通信端末に関するアイコンを示した仮想空間画像を作成する画像作成部と、前記第２の通信端末に前記仮想空間画像を送信する送信部と、前記第２の通信端末から、前記仮想空間画像において前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記第１の通信端末及び前記第２の通信端末の間の音声通信を確立する音声通信確立部と、を有する通信管理サーバである。
【発明の効果】
【０００６】
本開示によれば、遠隔で展示会等の実空間の映像を閲覧するユーザに、このユーザの通信端末に映し出された映像が実空間のどの位置の映像であるかを把握し易くすることができる。
【図面の簡単な説明】
【０００７】
テレプレゼンスロボット（以降「ロボット」と示す）Ｒを用いた通信システムの全体構成図である。
実空間における展示会の状況を示した図である。
通信管理システムのハードウェア構成図である。
説明者端末、ロボット端末、及びユーザ端末のハードウェア構成図である。
マイク付きイヤホンのハードウェア構成図である。
広角撮影装置のハードウェア構成図である。
広角撮影装置の使用イメージ図の一例である。
広角撮影装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。
広角撮影装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。
全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
図１０の立体斜視図等の一例を示す図である。
所定領域情報と所定領域の画像の関係との関係を示した図の一例である。
車両装置のハードウェア構成図である。
通信システムの各機能構成図である。
位置情報管理テーブルの概念図である。
各端末及びロボットのログイン処理を示したシーケンス図である。
仮想空間画像の表示、音声通信、及び映像通信の処理を示したシーケンスである。
ユーザＹのアイコンｙ１の初期位置を示す仮想空間画像を示す図である。
ユーザのアイコンをロボットのアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。
アイコンの位置の関連付け処理を示すフローチャートである。
ユーザのアイコンをロボットのアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。
ユーザのアイコンがロボットのアイコンの移動に追従する処理を示すシーケンス図である。
追従による仮想空間内の位置変更処理を示すフローチャートである。
ユーザのアイコンをロボットアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。
専用の音声通信を行う処理を示すシーケンス図である。
専用の音声通信を行う相手のアイコンを選択した状態の仮想空間画像を示す図である。
追従先のロボットを変更する処理を示すシーケンス図である。
ユーザのアイコンを別のロボットのアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。
【発明を実施するための形態】
【０００８】
〔通信システムの概略〕
図１を用いて通信システム１の概略を説明する。図１は、テレプレゼンスロボット（以降「ロボット」と示す）Ｒを用いた通信システムの全体構成図である。
【０００９】
通信システム１は、通信管理サーバ３、説明者端末５、マイク付きイヤホン６、ユーザ端末９、及びロボットＲによって構築されている。
【００１０】
ロボットＲは、主に、ロボット端末７、広角撮影装置８、及びロボットＲを移動させる車両装置１０によって構成されている。本実施形態のロボットＲは自律走行するが、自律走行しなくてもよい。なお、ロボットＲは移動装置の一例であり、移動装置には、ドローンのように空中を移動するもの、潜水艦型ラジコンのように水中を移動するものも含まれる。また、車両装置１０は、推進装置の一例である。なお、ロボットＲには、温度センサ、湿度センサ、酸素センサ、又は二酸化炭素センサ等の環境センサが設けされ、ロボットＲの周囲を照らす照明装置等も設けられている。なお、説明者Ｅ１，Ｅ１は「説明者Ｅ」の一例、ユーザＹ１，Ｙ２，Ｙ３は「ユーザＹ」の一例、及びロボットＲ１，Ｒ２は「ロボットＲ」の一例である。また、説明者端末５ａ，５ｂは「説明者端末５」の一例、マイク付きイヤホン６ａ，６ｂは「マイク付きイヤホン６」の一例、ロボット端末７ａ，７ｂは「ロボット端末７」の一例、及びユーザ端末９ａ，９ｂ，９ｃは「ユーザ端末９」の一例である。更に、広角撮影装置８ａ，８ｂは「広角撮影装置８」の一例、及び車両装置１０ａ，１０ｂは、「車両装置１０」の一例である。
（【００１１】以降は省略されています）

関連特許