特許ウォッチ

公開番号2025165318
公報種別公開特許公報(A)
公開日2025-11-04
出願番号2024069365
出願日2024-04-22
発明の名称携帯端末装置及び保守支援プログラム
出願人株式会社正興電機製作所
代理人個人
主分類G05B 23/02 20060101AFI20251027BHJP(制御;調整)
要約【課題】プラントにおける機器の保守・点検作業の誤操作を防止する携帯端末装置等を提供する。
【解決手段】携帯端末装置は、機器及び部品を撮像する撮像部10と、撮像情報を表示する表示部20と、機器識別情報及び部品識別情報を含む操作マニュアル情報を記憶する記憶部30と、部品の形状及び部品識別情報を学習済みの学習モデル42と、操作対象機器の部品又はその近傍に記載された部品識別情報を認識する画像認識部41と、画像認識部により認識された機器識別情報と、操作マニュアル情報に登録された操作対象となる機器の名称とに基づいて、操作対象機器を特定するとともに、操作対象となる操作対象部品の名称と、撮像部により撮像された操作対象機器における部品の形状を学習モデルで判定した結果により、操作対象部品を特定する対象特定部43と、対象特定部による特定結果を表示部に少なくとも表示する表示制御部44とを備える。
【選択図】図2
特許請求の範囲【請求項１】
機器及び部品を撮像する撮像手段と、
前記撮像手段で撮像された、静止画像及び動画像を含む撮像情報を表示する表示手段と、
前記機器を識別する機器識別情報及び前記機器に搭載された部品の部品識別情報を含む、操作対象となる操作対象機器の操作マニュアル情報を記憶する記憶手段と、
前記部品の形状及び前記部品識別情報を学習済みの学習モデルと、
前記撮像情報に基づいて、前記機器識別情報を認識するとともに、前記操作対象機器の部品又はその近傍に記載された前記部品識別情報を認識する画像認識手段と、
前記画像認識手段により認識された前記機器識別情報と、前記操作マニュアル情報に登録された操作対象となる前記機器の名称とに基づいて、前記操作対象機器を特定するとともに、前記画像認識手段により認識された前記部品識別情報及び前記操作マニュアル情報に登録された操作対象となる操作対象部品の名称と、前記撮像手段により撮像された前記操作対象機器における前記部品の形状を学習モデルで判定した結果と、に基づいて、前記操作対象部品を特定する対象特定手段と、
前記対象特定手段による特定結果を前記表示手段に少なくとも表示する表示制御手段とを備えることを
特徴とする携帯端末装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載の携帯端末装置において、
前記対象特定手段により特定された前記操作対象機器の３次元仮想空間における位置座標を特定する位置特定手段を備え、
前記画像認識手段が、前記撮像手段により撮像された機器の前記３次元仮想空間における位置座標と、前記操作対象機器の３次元仮想空間における位置座標とが一致した場合に、前記撮像手段により撮像された機器に搭載された前記部品のみを認識することを
特徴とする携帯端末装置。
【請求項３】
請求項１に記載の携帯端末装置において、
前記表示制御手段が、前記対象特定手段により特定された前記操作対象部品の形状の外縁を少なくとも含む部品領域を表す仮想オブジェクトを表示し、
前記画像認識手段が、前記撮像情報に基づいて、操作者の身体形状を含むジェスチャ情報を取得し、
前記ジェスチャ情報に基づいて、前記操作者の身体外縁の少なくとも一部が前記仮想オブジェクト内又はその近傍にある場合に、前記操作者が前記操作対象部品を正当に特定したとして、前記操作対象部品の特定を完了する完了確認手段を備えることを
特徴とする携帯端末装置。
【請求項４】
請求項３に記載の携帯端末装置において、
前記完了確認手段が、前記操作者による前記操作対象部品への操作後に撮像された撮像情報について、前記操作者の身体外縁の少なくとも一部が前記仮想オブジェクト内又はその近傍にある場合に、前記操作者が前記操作対象部品を正当に操作したとして、前記操作マニュアル情報に基づく操作を完了させることを
特徴とする携帯端末装置。
【請求項５】
請求項１に記載の携帯端末装置において、
前記記憶手段が、前記操作者による前記操作対象部品の操作前後の撮像情報を記憶し、
前記操作対象部品の操作前後の撮像情報に基づいて、前記操作対象部品の前記操作マニュアル情報に基づく操作が完了したか否かを判定する操作判定手段を備えることを
特徴とする携帯端末装置。
【請求項６】
機器に搭載された部品の形状及び当該部品を識別する部品識別情報を学習済みの学習モデル、
撮像手段による撮像情報に基づいて、前記機器を識別する前記機器識別情報を認識するとともに、操作対象となる操作対象機器の部品又はその近傍に記載された前記部品識別情報を認識する画像認識手段、
前記画像認識手段により認識された前記機器識別情報と、記憶手段に記憶された前記機器を識別する機器識別情報及び前記機器に搭載された部品の部品識別情報を含む、前記操作対象機器の前記操作マニュアル情報に登録された操作対象となる前記機器の名称とに基づいて、前記操作対象機器を特定するとともに、前記画像認識手段により認識された前記部品識別情報及び前記操作マニュアル情報に登録された操作対象となる前記操作対象部品の名称と、前記撮像手段により撮像された前記操作対象機器における前記部品の形状を学習モデルで判定した結果と、に基づいて、前記操作対象部品を特定する対象特定手段、
前記対象特定手段による特定結果を前記表示手段に少なくとも表示する表示制御手段としてコンピュータを機能させることを
特徴とする保守支援プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、プラントにおける機器の保守・点検作業の誤操作を防止する携帯端末装置等に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
例えば電力所の変電設備等は、継続的で安定した稼働が求められている。そのため、変電設備等の機器は、信頼性の高い状態を維持するために、保守員（作業者）により定期的に保守・点検が実施されている。
【０００３】
近年では、変電設備等の高度化により、扱う機器の種類も増え、また、作業も複雑化しているため、保守員による操作対象となる機器や部品の誤認識といった人的ミス（ヒューマンエラー）を未然に防ぐことが重要になっている。そのため、現状では、作業を行う場合に２人以上の作業者が同行し、一方が作業を行う場合に他方が監視したり、一方の指先確認を他方が認定するといった規定の元で作業を行うことで極力ミスが起こらないように対策されている。しかし、人的ミスを防止するために作業者の数を増やしたり、作業を慎重にしすぎると、作業効率が低下してしまう。以上のことから、保守・点検作業において、作業者による人的ミスを防止しつつ、作業効率を上げる支援システムが望まれている。
【０００４】
例えば、従来の運用保守システムは、操作指示手段が、点検対象部品の位置を、前記機器特定手段により認識された点検対象機器に付された識別体の位置からの二次元座標に基づいて相対的に求めることにより点検対象部品を特定し、かつ、当該特定された点検対象部品に対して、撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、当該認識された点検対象部品の名称と操作手順マニュアルに示される点検対象部品の名称とに基づいて、操作が行われる点検対象部品が操作手順マニュアルに示される正しい点検対象部品であるか否かを判定する、ものである（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
特許第６８８４９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に開示される運用保守システムは、点検対象部品の位置を点検対象機器に付された識別体の位置からの二次元座標に基づいて相対的に求めるため、あらかじめ識別体に対する全ての点検対象部品の位置を登録する必要があり、膨大な作業時間を要し、効率的ではない。
【０００７】
本発明は、上記課題を解消するためになされたものであり、プラントにおける機器に搭載された部品の配置を事前に登録する必要がなく、また、機器の保守・点検作業の効率化を図るとともに、操作者による部品の誤認識を防止する携帯端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る携帯端末装置は、機器及び部品を撮像する撮像手段と、前記撮像手段で撮像された、静止画像及び動画像を含む撮像情報を表示する表示手段と、前記機器を識別する機器識別情報及び前記機器に搭載された部品の部品識別情報を含む、操作対象となる操作対象機器の操作マニュアル情報を記憶する記憶手段と、前記部品の形状及び前記部品識別情報を学習済みの学習モデルと、前記撮像情報に基づいて、前記機器識別情報を認識するとともに、前記操作対象機器の部品又はその近傍に記載された前記部品識別情報を認識する画像認識手段と、前記画像認識手段により認識された前記機器識別情報と、前記操作マニュアル情報に登録された操作対象となる前記機器の名称とに基づいて、前記操作対象機器を特定するとともに、前記画像認識手段により認識された前記部品識別情報及び前記操作マニュアル情報に登録された操作対象となる操作対象部品の名称と、前記撮像手段により撮像された前記操作対象機器における前記部品の形状を学習モデルで判定した結果と、に基づいて、前記操作対象部品を特定する対象特定手段と、前記対象特定手段による特定結果を前記表示手段に少なくとも表示する表示制御手段とを備えるものである。
【０００９】
このように本発明においては、操作対象となる前記操作対象部品を、前記対象特定手段が、前記画像認識手段により認識された前記部品識別情報及び前記操作マニュアル情報に登録された操作対象となる操作対象部品の名称と、前記撮像手段により撮像された前記操作対象機器における前記部品の形状を学習モデルで判定した結果と、に基づいて特定することから、前記部品の名称と形状のみから前記操作対象部品を特定できることとなり、事前に機器ごとの部品の配置を登録する必要がなく、導入コストを抑えることができる。また、作業における操作及び確認を一人で行うことが可能となるため、人員を増やすことなくヒューマンエラーの防止を実現することができる。
【図面の簡単な説明】
【００１０】
本発明の第１の実施形態に係る携帯端末装置を用いた操作支援システムの概念を示す図である。
本発明の第１の実施形態に係る携帯端末装置の構成を示す機能ブロック図である。
本発明の第１の実施形態に係る携帯端末装置において、操作マニュアル情報を表示した場合の表示態様の一例を示す図である。
本発明の第１の実施形態に係る携帯端末装置において、操作対象部品が特定された場合の表示態様の一例を示す図である。
本発明の第１の実施形態に係る携帯端末装置の動作を示すフローチャートである。
本発明の第２の実施形態に係る携帯端末装置の構成を示す機能ブロック図である。
本発明の第２の実施形態に係る携帯端末装置の動作を示すフローチャートである。
本発明の第３の実施形態に係る携帯端末装置の構成を示す機能ブロック図である。
本発明の第３の実施形態に係る携帯端末装置において、ジェスチャ判定処理を行う場合の表示の一例を示す図である。
本発明の第３の実施形態に係る携帯端末装置の動作を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許