特許ウォッチ

公開番号2025122943
公報種別公開特許公報(A)
公開日2025-08-22
出願番号2024018702
出願日2024-02-09
発明の名称通信端末、表示方法、プログラム、通信管理システム
出願人株式会社リコー
代理人個人,個人
主分類H04N 21/234 20110101AFI20250815BHJP(電気通信技術)
要約【課題】ユーザーがチャットにより映像の加工を指示できる技術を提供すること。
【解決手段】本発明は、チャット機能を有すると共に、撮像装置から映像データを受信する通信管理システムとネットワークを介して通信できる通信端末であって、チャット用のメッセージの入力を受け付けるチャット入力受付部と、前記メッセージを前記通信管理システムに送信し、前記メッセージに基づいた前記映像データに関する情報及び前記映像データを前記通信管理システムから受信する通信部と、前記映像データに関する情報により加工された前記映像データを表示させる映像表示部と、を有する。
【選択図】図16
特許請求の範囲【請求項１】
チャット機能を有すると共に、撮像装置から映像データを受信する通信管理システムとネットワークを介して通信できる通信端末であって、
チャット用のメッセージの入力を受け付けるチャット入力受付部と、
前記メッセージを前記通信管理システムに送信し、前記メッセージに基づいた前記映像データに関する情報及び前記映像データを前記通信管理システムから受信する通信部と、
前記映像データに関する情報により加工された前記映像データを表示させる映像表示部と、
を有する通信端末。
続きを表示（約 1,600 文字）【請求項２】
前記通信管理システムは、前記メッセージに基づいて前記映像データを解析することで、前記映像データに関する情報を生成し、
前記映像表示部は、前記映像データに関する情報に基づいて、前記映像データの一部又は全体を加工し、加工した前記映像データを表示させる請求項１に記載の通信端末。
【請求項３】
前記通信管理システムは前記撮像装置から音声データを受信しており、
前記通信管理システムは、前記メッセージに基づいて前記音声データを加工することで、前記音声データに関する情報を生成し、
前記通信部は、前記メッセージに基づいた前記音声データに関する情報及び前記音声データを前記通信管理システムから受信し、
前記通信管理システムにより加工された前記音声データを再生する音声再生部、
を有する請求項１又は２に記載の通信端末。
【請求項４】
前記通信管理システムは前記撮像装置から音声データを受信しており、
前記通信管理システムは、前記メッセージに基づいて前記音声データを解析することで、前記通信端末の音声出力に関する情報を生成し、
前記通信部は、前記メッセージに基づいた前記通信端末の音声出力に関する情報及び前記音声データを前記通信管理システムから受信し、
前記音声データ及び前記音声出力に関する情報に基づいて音声を出力する音声再生部、
を有する請求項１又は２に記載の通信端末。
【請求項５】
前記通信管理システムは、前記メッセージを解析することで、資料の保存先に関する情報を生成し、
前記通信部は、前記メッセージに基づいた前記資料の保存先に関する情報を前記通信管理システムから受信し、
前記映像表示部は、前記資料の保存先に関する情報を用いて取得した資料を表示させる、
請求項１に記載の通信端末。
【請求項６】
前記映像表示部は、前記映像データに関する情報が人物の視認性低下処理を行う旨と人物座標である場合、
前記映像データのうち前記人物座標の領域に前記視認性低下処理を行い、人物の視認性低下処理が行われた前記映像データを表示させる請求項２に記載の通信端末。
【請求項７】
前記映像表示部は、前記映像データに関する情報が人物追従処理を行う旨と人物座標である場合、
前記映像データのうち前記人物座標の領域を拡大する前記人物追従処理を行い、人物が拡大された前記映像データを表示させる請求項２に記載の通信端末。
【請求項８】
前記音声データに関する情報がノイズキャンセリング処理実行済みである旨の場合、
前記音声再生部は、ノイズキャンセリング処理が行われた前記音声データを再生する請求項３に記載の通信端末。
【請求項９】
前記音声再生部は、前記音声出力に関する情報が異音を検知した旨である場合、
前記音声データ及び前記異音を検知したことを知らせる音声を出力する請求項４に記載の通信端末。
【請求項１０】
前記通信管理システムは前記撮像装置から音声データを受信しており、
前記通信管理システムは、登録されている映像解析処理又は音声解析処理を実行することで前記映像データに関する情報、前記メッセージに基づいた前記音声データに関する情報、又は、前記メッセージに基づいた前記通信端末の音声出力に関する情報を生成するものであり、
前記映像解析処理又は前記音声解析処理に関する処理定義ファイルの選択を受け付ける受付部を有し、
前記通信部は前記処理定義ファイルの登録要求を前記通信管理システムに送信する、
請求項１に記載の通信端末。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、通信端末、表示方法、プログラム、及び通信管理システムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
一方の拠点から１つ以上の他の拠点にリアルタイムに少なくとも画像や音声を送信し、遠隔地にいるユーザー同士で画像や音声を用いた遠隔コミュニケーションを行う通信システムが知られている。通常の画角では確認しきれないような箇所も含む撮像範囲として、例えば、３６０度の全周囲が撮像された３６０度画像（全天球画像、全方位画像、全周囲画像ともいう）を含む広い撮像範囲で撮像された広い視野角を有する広視野画像が知られており、ユーザーは通信端末を操作して通信端末の表示画面に表示された広視野画像の一部の画像について、仮想的な視点を変更することで任意の仮想的な視点から広視野画像の一部の領域を見ることができる。
【０００３】
また、ユーザーの質問等を含むメッセージに対してチャットボットが自動で応答するチャット機能が知られている。チャットボットとは、人間の代わりにテキストや音声による対話を行うソフトウェアである。チャットボットはユーザーサポートなどに広く使用されている。
【０００４】
チャットボットに関しては、ユーザーの質問に関連する情報をＶＲゴーグルで表示する技術が知られている（例えば、特許文献１参照）。特許文献１には、ユーザーの質問に関連する情報をＶＲゴーグルのディスプレイに重畳表示する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、ユーザーがチャットにより映像の加工を指示することが困難であった。例えば、遠隔コミュニケーションで送信される画像データに何らかの加工を行う場合、遠隔コミュニケーションとは別にユーザーが行う作業が発生するので会議に集中しにくい状況が生じていた。
【０００６】
本発明は、上記課題に鑑み、ユーザーがチャットにより映像の加工を指示できる技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明は、チャット機能を有すると共に、撮像装置から映像データを受信する通信管理システムとネットワークを介して通信できる通信端末であって、チャット用のメッセージの入力を受け付けるチャット入力受付部と、前記メッセージを前記通信管理システムに送信し、前記メッセージに基づいた前記映像データに関する情報及び前記映像データを前記通信管理システムから受信する通信部と、前記映像データに関する情報により加工された前記映像データを表示させる映像表示部と、を有する。
【発明の効果】
【０００８】
本発明は、ユーザーがチャットにより映像の加工を指示できる技術を提供できる。
【図面の簡単な説明】
【０００９】
広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。
通信システムの構成概略図の一例である。
撮像装置のハードウエア構成図の一例である。
通信端末、情報処理システムのハードウエア構成図の一例である。
（ａ）は撮像装置の左側面図であり、（ｂ）は撮像装置の正面図であり、（ｃ）は撮像装置の平面図である。
撮像装置の使用イメージ図である。
（ａ）は撮像装置で撮像された半球画像（前）、（ｂ）は撮像装置で撮像された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。
（ａ）正距円筒射影画像で球を被う状態を示した概念図、（ｂ）全天球画像を示した図である。
全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
（ａ）は図５の立体斜視図、（ｂ）はディスプレイに所定領域の画像が表示されている状態を示す図である。
所定領域情報と所定領域Ｔの画像との関係を示した図である。
球座標による三次元ユークリッド空間内の点を示した図である。
通信システムの機能構成図の一例である。
画像管理情報記憶部に記憶される画像管理情報を示す概念図である。
仮想ルーム情報記憶部に記憶される仮想ルーム情報を示す概念図である。
チャット質問解析部、映像解析部、及び、音声解析部が行う処理を詳細に説明する図である。
（ａ）は入室画面の一例を示す図である。（ｂ）はユーザーが仮想ルームに入室したことで、通信端末が表示する画像閲覧画面の一例を示す図である。
ユーザー（又は通信端末）が仮想ルームに入室する処理を説明するシーケンス図の一例である。
仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面（その１）の一例を示す図である。
仮想ルーム対応付け画面（その２）の一例を示す図である。
仮想ルーム対応付け画面（その３）の一例を示す図である。
通信端末が表示する広視野画像送信開始停止ダイアログの一例を示す図である。
ユーザーが仮想ルームに撮像装置を登録する手順を示すシーケンス図の一例である。
広視野画像が共有される流れを説明するシーケンス図の一例である。
通信端末が表示するチャット画面を用いて人物をマスキングする処理を説明する図である。
通信端末が表示するチャット画面を用いて人物に視点を合わせる処理を説明する図である。
通信端末が表示するチャット画面を用いて資料を表示する処理を説明する図である。
通信端末が表示するチャット画面を用いてアラームを鳴らす処理を説明する図である。
通信端末が表示するチャット画面を用いて音声データのノイズを除去する処理を説明する図である。
制御モードの一例を示す図である。
ＪＳＯＮ形式の制御データの一例を示す図である。
制御データが人物マスキングである場合の人物座標を例示する図である。
通信管理システムが通信端末からのメッセージに応じて制御モード及び制御データを設定する処理を説明するフローチャート図の一例である。
通信管理システムが制御データを作成する処理の流れを説明するフローチャート図の一例である。
システム管理者が通信管理システムに映像解析処理又は音声解析処理を追加するか又は削除する処理を説明するフローチャート図の一例である。
通信端末が実行する処理を説明するフローチャート図の一例である。
通信システムが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。
遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面（その１）の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムで行われる表示方法について説明する。
（【００１１】以降は省略されています）

関連特許