特許ウォッチ

公開番号2024085857
公報種別公開特許公報(A)
公開日2024-06-27
出願番号2022200633
出願日2022-12-15
発明の名称遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラム
出願人株式会社リコー
代理人弁理士法人酒井国際特許事務所
主分類G06F 3/01 20060101AFI20240620BHJP(計算;計数)
要約【課題】簡便にキャリブレーションを行う遠隔支援システム、遠隔支援装置、遠隔支援方法及びプログラムを提供する。
【解決手段】遠隔支援システム1において、作業者用端末20は、頭部装着型表示装置の第1表示領域における第1位置に第1指標を表示する第1画像を生成して、第1画像を頭部装着型表示装置に送信するAR情報生成部25と、撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第2表示領域に表示させるために送信する画像送信部23と、被支援者により第1指標を所定のターゲットに合わせたときに、支援者が端末に対する操作により、映像データが表示された第2表示領域におけるターゲットに対応する部分を第2指標で指定したことにより、第2指標の第2表示領域における第2位置を取得する位置情報取得部26と、第2位置から第1位置に座標変換するための変換情報を算出する座標変換算出部27と、を有する。
【選択図】図7
特許請求の範囲【請求項１】
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を有する遠隔支援システム。
続きを表示（約 1,900 文字）【請求項２】
前記算出部は、前記第２位置から前記第１位置に座標変換するための座標変換行列を、前記変換情報として算出する請求項１に記載の遠隔支援システム。
【請求項３】
前記取得部は、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域において、作業指示部分を指定したとき、前記第２表示領域における該作業指示部分の第３位置を取得し、
前記取得部により取得された前記第３位置から、前記算出部により算出された前記変換情報を用いて、前記頭部装着型表示装置の前記第１表示領域上の座標を示す第４位置に座標変換する変換部を、さらに備え、
前記生成部は、前記第１表示領域に表示させるための、該第１表示領域における前記第４位置に指示情報を表示する第２画像を生成して、該第２画像を前記頭部装着型表示装置に送信する請求項１に記載の遠隔支援システム。
【請求項４】
前記頭部装着型表示装置は、
前記被支援者の第１音声データを取得する第１音声取得部と、
前記第１音声取得部により取得された前記第１音声データを送信する第１音声送信部と、
を備え、
前記端末は、
前記第１音声送信部により送信された前記第１音声データを音声出力する第１音声出力部と、
前記支援者の第２音声データを取得する第２音声取得部と、
前記第２音声取得部により取得された前記第２音声データを送信する第２音声送信部と、
を備え、
前記頭部装着型表示装置は、前記第２音声送信部により送信された前記第２音声データを音声出力する第２音声出力部を、さらに備えた請求項１に記載の遠隔支援システム。
【請求項５】
前記撮像装置は、奥行の情報を含む前記映像データを撮像する請求項１～４のいずれか一項に記載の遠隔支援システム。
【請求項６】
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、
を備えた遠隔支援装置。
【請求項７】
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を有する遠隔支援方法。
【請求項８】
コンピュータに、
頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成ステップと、
前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信ステップと、
被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得ステップと、
前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出ステップと、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（ＨＭＤ）およびスマートグラス等のメガネ型の表示デバイス等のウェアラブル装置が提案され、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実）の応用分野において使われてきている。光学シースルータイプのＡＲグラスデバイスでは、透過型のグラス部分に形成されるディスプレイ上に表示されたオブジェクトを現実のシーンに重畳させることができ、作業指示の情報の表示等と現実とのインタラクションを実現することができる。ただし、このようなインタラクションを実現するためのアプリケーションによっては、ディプレイ上に表示される表示要素の当該ディスプレイでの座標と、当該表示要素を重畳すべき現実のシーンでの座標とがずれていると、当該表示要素が示そうとする場所をユーザが特定することが困難になるという問題がある。このような問題を解決するために、グラスデバイスに搭載されたカメラによる画像、現実シーンに設置されたマーカ、または眼球位置情報等を利用したキャリブレーションの手法が既に知られている。
【０００３】
このような、キャリブレーションの手法に関する技術として、キャリブレーション用画像を表示したグラスデバイスにおけるディスプレイを、別体の撮像装置で撮影して得られた撮影画像に基づいて、当該ディスプレイの当該撮像装置に対する対応関係を取得するという技術が開示されている（例えば特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された技術では、簡便にキャリブレーションを行うことができないという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、簡便にキャリブレーションを行うことができる遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、頭部装着型表示装置の第１表示領域における第１位置に第１指標を表示する第１画像を生成して、該第１画像を前記頭部装着型表示装置に送信する生成部と、前記頭部装着型表示装置に搭載された撮像装置により撮像された映像データを、支援者が利用する端末の表示装置の第２表示領域に表示させるために送信する送信部と、被支援者により前記第１指標を所定のターゲットに合わせたときに、前記支援者が前記端末に対する操作により、前記映像データが表示された前記第２表示領域における前記ターゲットに対応する部分を第２指標で指定したことにより、前記第２指標の該第２表示領域における第２位置を取得する取得部と、前記第２位置から前記第１位置に座標変換するための変換情報を算出する算出部と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、簡便にキャリブレーションを行うことができる。
【図面の簡単な説明】
【０００８】
図１は、実施形態に係る遠隔支援システムの全体構成の一例を示す図である。
図２は、実施形態に係るグラスデバイスの概略構成の一例を示す図である。
図３は、実施形態に係るグラスデバイスの表示部のハードウェア構成の一例を示す図である。
図４は、実施形態に係る作業者用端末のハードウェア構成の一例を示す図である。
図５は、実施形態に係るクラウドサーバのハードウェア構成の一例を示す図である。
図６は、実施形態に係る支援者用端末のハードウェア構成の一例を示す図である。
図７は、実施形態に係る遠隔支援システムの機能ブロックの構成の一例を示す図である。
図８は、実施形態に係る遠隔支援システムのキャリブレーション処理の流れの一例を示すフローチャートである。
図９は、実施形態に係る遠隔支援システムのキャリブレーション処理において支援者用端末に表示されるキャリブレーション用画面の一例を示す図である。
図１０は、実施形態に係る遠隔支援システムのキャリブレーション処理において現場作業者がディスプレイに表示されたポインタをターゲットに合わせる動作を説明する図である。
図１１は、実施形態に係る遠隔支援システムの遠隔指示処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、図面を参照しながら、本発明に係る遠隔支援システム、遠隔支援装置、遠隔支援方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【００１０】
また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう（以下、コンピュータソフトウェアは、ソフトウェアという）。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム（ＯＳ）とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスク等のハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造（データ要素間の相互関係で表される、データの有する論理的構造）がプログラムに準ずるものに該当する。
（【００１１】以降は省略されています）

関連特許