特許ウォッチ

公開番号2024125978
公報種別公開特許公報(A)
公開日2024-09-19
出願番号2023091383
出願日2023-06-02
発明の名称操作補助システム
出願人國立臺灣大學
代理人個人
主分類G06F 3/01 20060101AFI20240911BHJP(計算;計数)
要約【課題】現場データを採集し、かつ、故障診断分析を行い、操作ガイドを提供して使用者に補助して測定装置を操作する操作補助システムを提供する。
【解決手段】操作補助システムは、被測定装置を観測し、現場ビデオを捕捉し、同時にサポートビデオを表示する使用者装置と、被測定装置に連結して、被測定装置の多種のセンサー状態を監視することに用いて、故障状態を判断する知能監視装置と、使用者装置と知能監視装置に連結し、故障状態に基づいて使用者装置にサポートビデオを提供するサーバーと、を含む。使用者装置は、着用者にサポートビデオが被測定装置が位置する空間における特定の相対位置に表示することを感じさせるように設置される。
【選択図】図1
特許請求の範囲【請求項１】
被測定装置を操作できる操作指示を提供することに用いられる操作補助システムであって、
ウェアラブルメガネを含み、前記被測定装置を観測することができ、現場ビデオを捕捉し、同時にサポートビデオを表示する使用者装置と、
前記被測定装置の多種のセンサー状態を監視することによって故障状態を判断することに用いられる知能監視装置と、
前記使用者装置と前記知能監視装置に連結し、前記故障状態に基づいて前記使用者装置にサポートビデオを提供することに用いられるサーバーと、を含み、
前記使用者装置は、さらに、着用者に前記サポートビデオが前記被測定装置が位置する空間における特定の相対位置に表示することを感じさせるように設置されることを特徴とする、操作補助システム。
続きを表示（約 1,900 文字）【請求項２】
前記サーバーを連結し、且つ特定の通信協定によって前記被測定装置を連結できるように設置される、前記被測定装置の状態情報を受信して前記使用者装置によって表示する、或は前記使用者装置が発送する制御指示を前記被測定装置に転送することに用いられる装置コントローラをさらに含み、
前記特定の通信協定は、オープンプラットフォーム通信統合アーキテクチャ（ＯｐｅｎＰｌａｔｆｏｒｍＣｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｉｆｉｅｄＡｒｃｈｉｔｅｃｔｕｒｅ、ＯＰＣＵＡ）またはメッセージキューテレメトリトランスポート（ＭｅｓｓａｇｅＱｕｅｕｉｎｇＴｅｌｅｍｅｔｒｙＴｒａｎｓｐｏｒｔ、ＭＱＴＴ）プロトコルを含むことを特徴とする、請求項１に記載の操作補助システム。
【請求項３】
前記使用者装置は、さらに、前記現場ビデオを前記サーバーに送信できるように設置され、
前記サーバーは、さらに、映像識別機能が設置され、前記現場ビデオ中の前記被測定装置の映像を識別することによって前記被測定装置の型番または前記故障状態を判断することができることを特徴とする、請求項１に記載の操作補助システム。
【請求項４】
前記使用者装置が前記サポートビデオを表示する際に、インタラクティブに段階的に再生、リプレイ、巻き戻し、ジャンプ、関連ドキュメントの起動、表示位置または深さの変更、拡大縮小、または異なるサポートビデオを選択することができることを特徴とする、請求項１に記載の操作補助システム。
【請求項５】
前記知能監視装置は、さらに、前記被測定装置の電流、振動、温度、湿度及び構造物理状態を監視できるように設置され、
前記知能監視装置は、さらに、前記被測定装置の監視結果に基づいて機械学習を行うことによって前記故障状態を判断することができるように設置されることを特徴とする、請求項１に記載の操作補助システム。
【請求項６】
複数種類のデバイスモデルを格納できるように設置され、前記被測定装置のデバイスモデルを含むオブジェクトデータベースと、
特定のフォーマットの文字ファイルを格納できるように設置され、前記被測定装置の操作説明を含む文書データベースと、
複数のプロセススクリプトを格納できるように設置され、複数の操作状況において複数の被測定装置が対応する操作プロセスと操作プロセスごとのデバイスモデル及び文書ファイルとを定義するプロセスデータベースと、をさらに含むことを特徴とする、請求項１に記載の操作補助システム。
【請求項７】
前記サーバーは、前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースを連結し、前記故障状態に基づいて前記プロセスデータベース中のプロセススクリプトを実行し、前記オブジェクトデータベースと前記文書データベースを参照して前記サポートビデオを生成する処理モジュールを含むことを特徴とする、請求項６に記載の操作補助システム。
【請求項８】
前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースに連結する混合現実編集システムをさらに含み、
前記混合現実編集システムは、
デバイスモデルを描画できるマンマシンインタフェースを含むオブジェクト描画モジュールと、
文字ファイルが編集可能なマンマシンインタフェースを含むファイル編集モジュールと、
プロセススクリプトが設計可能なマンマシンインタフェースを含むプロセス設計モジュールと、を含むことを特徴とする、請求項７に記載の操作補助システム。
【請求項９】
前記オブジェクトデータベースには、前記被測定装置の名称、仕様、製造番号、画像、及び２次元バーコードをさらに含み、
前記オブジェクト描画モジュールは、さらに前記被測定装置の名称、仕様、製造番号、画像、及び２次元バーコードを編集することができることを特徴とする、請求項８に記載の操作補助システム。
【請求項１０】
前記文書データベースには、前記被測定装置の故障メッセージ、アラームコード、及びセンサーの状態記述をさらに含み、
前記ファイル編集モジュールは、さらに、前記被測定装置の故障メッセージ、アラームコード、及びセンサーの状態記述を編集することができることを特徴とする、請求項８に記載の操作補助システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本出願は、遠隔支援システムに関し、特に、仮想現実技術を利用して遠隔支援操作をするシステムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
現在、工場はますます設備の保全とメンテナンスに力を入れている。設備が故障した場合、故障が軽微な時に紙本の故障マニュアルを読んで修理し、故障が深刻な時にエンジニアが工場に入って修理してもらう必要があり、時間とコストが比較的に高い。特に、新型コロナウイルス流行後の時代には、エンジニアが正常に出張できなかったため、工場の技術資源が不足し、問題解決のスピードが低下し、企業が徐々に炭素削減問題を重視するようになった。そのため、どのように遠隔サポートを実現し、オンラインでお客様のトラブルと故障を解決するかは、解決すべき議題である。遠隔支援サービスを実現するためには複数の異なる分野の技術を整合する必要があり、モノのインターネット（ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓ、ＩＯＴ）、人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）、複合現実（ＭｉｘｅｄＲｅａｌｉｔｙ、ＭＲ）、拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、ＡＲ）、及び第５世代（５ｔｈＧｅｎｅｒａｔｉｏｎ、５Ｇ）行動通信ネットワークなどを含み、技術結合の困難度は極めて高い。このため、複数の分野の技術統合の難しさを低減し、遠隔支援サービスを効果的に実現するシステムの開発が望まれている。
なお、従来、仮想現実技術を利用して遠隔支援操作をするシステムについて開示する文献は存在しない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
これを考慮して、本出願は、被測定装置を操作できる操作指示を提供することに用いられる操作補助システムを提案している。本出願は、モノのインターネットＩＯＴ、人工知能ＡＩ、複合現実ＭＲ、拡張現実ＡＲ、第５世代５Ｇ行動通信ネットワークなどの技術分野を結合し、かつ解決方案を、現場データを収集することと、故障を診断して分析することと、ＡＲデジタルガイドで初歩的な排除を行うことと、ＭＲ遠隔の専門家の協力で進歩処理などを行うこと、との４つの部分に分けてそれぞれ処理する。
【課題を解決するための手段】
【０００４】
本実施例の操作補助システムは、主に、少なくとも使用者装置と、知能監視装置と、サーバーと、を含む。使用者装置は、ウェアラブルメガネを含み、前記被測定装置を観測することができ、現場ビデオを捕捉し、同時にサポートビデオを表示する。知能監視装置は、前記被測定装置に連結することができ，前記被測定装置の多種のセンサー状態を監視することによって故障状態を判断することに用いられる。サーバーは、前記使用者装置と前記知能監視装置に連結して、前記故障状態に基づいて前記使用者装置にサポートビデオを提供する。また、前記使用者装置は、さらに、着用者に前記サポートビデオが前記被測定装置が位置する空間における特定の相対位置に表示することを感じさせるように設置される。
【０００５】
さらなる実施例において、操作補助システムは、前記サーバーを連結して、且つ特定の通信協定によって前記被測定装置を連結できるように設置される、前記被測定装置の状態情報を受信して前記使用者装置によって表示する、或は前記使用者装置が発送する制御指示を前記被測定装置に転送することに用いられる装置コントローラをさらに含む。また、前記特定の通信協定は、オープンプラットフォーム通信統合アーキテクチャ（ＯｐｅｎＰｌａｔｆｏｒｍＣｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｉｆｉｅｄＡｒｃｈｉｔｅｃｔｕｒｅ、ＯＰＣＵＡ）またはメッセージキューテレメトリトランスポート（ＭｅｓｓａｇｅＱｕｅｕｉｎｇＴｅｌｅｍｅｔｒｙＴｒａｎｓｐｏｒｔ、ＭＱＴＴ）プロトコルを含む。
【０００６】
さらなる実施例において、前記使用者装置は、さらに前記現場ビデオを前記サーバーに送信できるように設置される。前記サーバーは、映像識別機能が設置され、前記現場ビデオ中の前記被測定装置の映像を識別することによって前記被測定装置の型番または前記故障状態を判断することができる。
【０００７】
さらなる実施例において、前記使用者装置が前記サポートビデオを表示する際に、インタラクティブに段階的に再生、リプレイ、巻き戻し、ジャンプ、関連ドキュメントの起動、表示位置または深さの変更、拡大縮小、または異なるサポートビデオを選択することができる。
【０００８】
さらなる実施例において、前記知能監視装置は、さらに前記被測定装置の電流、振動、温度、湿度及び構造物理状態を監視できるように設置される。前記知能監視装置は、さらに前記被測定装置の監視結果に基づいて機械学習を行うことによって前記故障状態を判断することができるように設置される。
【０００９】
さらなる実施例において、操作補助システムは、オブジェクトデータベースと、文書データベースと、プロセスデータベースと、をさらに含む。オブジェクトデータベースは、複数種類のデバイスモデルを格納でき、前記被測定装置のデバイスモデルを含む。文書データベースは、特定のフォーマットの文字ファイルを格納でき、前記被測定装置の操作説明を含む。プロセスデータベースは、複数のプロセススクリプトを格納でき、複数の操作状況において複数の被測定装置が対応する操作プロセスと操作プロセスごとのデバイスモデル及び文書ファイルとを定義する。
【００１０】
さらなる実施例において、前記サーバーは、前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースを連結し、前記故障状態に基づいて前記プロセスデータベース中のプロセススクリプトを実行し、前記オブジェクトデータベースと前記文書データベースを参照して前記サポートビデオを生成する処理モジュールを含む。
さらなる実施例において、前記操作補助システム前記オブジェクトデータベース、前記文書データベース、及び前記プロセスデータベースに連結する混合現実編集システムをさらに含む。前記混合現実編集システムは、オブジェクト描画モジュールと、ファイル編集モジュールと、プロセス設計モジュール、とを含む。オブジェクト描画モジュールは、デバイスモデルを描画できるマンマシンインタフェースを含む。ファイル編集モジュールは、文字ファイルが編集可能なマンマシンインタフェースを含む。プロセス設計モジュールは、プロセススクリプトが設計可能なマンマシンインタフェースを含む。
（【００１１】以降は省略されています）

関連特許