TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2021090348
公報種別公開特許公報(A)
公開日20210610
出願番号2021015785
出願日20210203
発明の名称点検システム、情報処理装置、点検制御プログラム
出願人株式会社東芝,東芝デジタルソリューションズ株式会社
代理人個人,個人,個人,個人,個人
主分類H02G 1/02 20060101AFI20210514BHJP(電力の発電,変換,配電)
要約【課題】送電設備に生じた異常箇所を画像処理によって安定して検出できるようにする。
【解決手段】実施形態によれば、巡視点検システムは、航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検する。巡視点検システムは、管理装置と情報処理装置とを含む。前記管理装置は、前記被点検物に生じた異常を画像中から検出するための学習モデルを生成する学習モデル生成手段を有する。前記情報処理装置は、記憶手段と、入力手段と、異常箇所検出手段と、異常箇所表示手段とを含む。記憶手段は、前記管理装置により生成された学習モデルを記憶する。入力手段は、前記画像データを入力する。異常箇所検出手段は、前記学習モデルをもとに前記画像データから前記被点検物に異常が生じた異常箇所の画像データを検出する。異常箇所表示手段は、前記異常箇所の画像データをもとに異常箇所の画像を表示する。
【選択図】図1
特許請求の範囲【請求項1】
画像データをもとに被点検物について点検するための点検システムであって、
管理装置と情報処理装置とを含み、
前記管理装置は、
前記被点検物に生じた異常を画像データ中から検出するための学習モデルを生成する学習モデル生成手段を有し、
前記情報処理装置は、
前記学習モデル生成手段により生成された前記学習モデルをもとに、前記画像データから前記被点検物に異常が生じた異常箇所に対応する異常画像を検出する異常箇所検出手段とを有し、
前記学習モデル生成手段は、前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する、点検システム。
続きを表示(約 980 文字)【請求項2】
前記情報処理装置は、
前記被点検物に応じた検出対象とする異常種類を示す指示を入力する指示入力手段をさらに有し、
前記異常箇所検出手段は、前記異常種類に応じた前記学習モデルをもとに、前記異常種類に相当する異常画像を検出する請求項1記載の点検システム。
【請求項3】
前記学習モデル生成手段は、前記異常画像と前記正常画像とを複数の異なる比により組み合わせ、前記被点検物に生じる異常種類毎に、何れかの比により組み合わせた類似画像をもとに生成した前記学習モデルを選択する請求項1記載の点検システム。
【請求項4】
前記異常箇所検出手段により検出された前記異常画像をもとに異常箇所候補の画像と異常種類とを表示する確認画面を表示させ、前記確認画面に対する確認指示を入力する異常箇所表示手段をさらに有する請求項1記載の点検システム。
【請求項5】
前記学習モデル生成手段は、前記確認指示により確認された前記異常箇所候補の画像を、前記類似画像の生成に用いる請求項4記載の点検システム。
【請求項6】
画像データをもとに被点検物について点検するための情報処理装置であって、
前記被点検物に生じた異常を画像データ中から検出するための学習モデルを記憶する記憶手段と、
前記学習モデルをもとに、前記画像データから前記被点検物に異常が生じた異常箇所に対応する異常画像を検出する異常箇所検出手段と、
前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する学習モデル生成手段と
を有する情報処理装置。
【請求項7】
コンピュータを
被点検物に生じた異常を画像データ中から検出するための学習モデルを記憶させる記憶手段と、
前記学習モデルをもとに、画像データから前記被点検物に異常が生じた異常箇所に対応する異常画像を検出する異常箇所検出手段と、
前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する学習モデル生成手段として機能させるための点検制御プログラム。

発明の詳細な説明【技術分野】
【0001】
本発明は、飛行体などを用いた点検システム、情報処理装置、点検制御プログラムに関する。
続きを表示(約 6,600 文字)【背景技術】
【0002】
従来、架空送電線(以下、送電線と称する)などの送電設備に対する定期点検や事故発生時の巡視は、巡視員がヘリコプターに同乗して送電線に沿って飛行して双眼鏡で送電線を見ながら異常個所の有無を確認したり、送電設備を徒歩で移動しながら確認したりしていた。
【0003】
また、ヘリコプターから送電線の画像撮影を行って、撮影した画像を巡視員が見て送電線の素線切れやアーク痕(雷痕)の有無の点検などをすることもなされている。
【先行技術文献】
【特許文献】
【0004】
特開2005−57956号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、巡視員による双眼鏡を持っての点検/巡視は、巡視員の負担となっており、また、異常個所を見過ごすおそれがあった。
【0006】
また、ヘリコプターを使用した送電設備の点検/巡視は、ヘリコプターを利用するための費用の他、ヘリコプターの操縦士の他に複数の巡視員を搭乗させるため、点検/巡視のための費用が高くなるほか、急に点検/巡視が必要になった場合に簡易かつ迅速に対応することができない。
【0007】
また、画像撮影による送電線の点検作業も、撮影された全ての画像を巡視員が見ながら異常個所を検出しているため、迅速かつ正確な点検が行えないという問題がある。さらに、画像に対して画像処理の技術を利用して素線切れやアーク痕を検出する技術も考えられているが、撮影される画像の品質が撮影環境の変動のため一定では無く、また検出対象とする素線切れやアーク痕などの異常箇所の状態も様々であり、安定して異常箇所を検出することが困難となっている。
【0008】
本発明が解決しようとする課題は、送電設備に生じた異常箇所を画像処理によって安定して検出することが可能な点検システム、情報処理装置、点検制御プログラムを提供することである。
【課題を解決するための手段】
【0009】
実施形態によれば、点検システムは、画像データをもとに被点検物について点検する。点検システムは、管理装置と情報処理装置とを含む。前記管理装置は、前記被点検物に生じた異常を画像データ中から検出するための学習モデルを生成する学習モデル生成手段を有する。前記情報処理装置は、異常箇所検出手段を有する。異常箇所検出手段は、前記学習モデル生成手段により生成された前記学習モデルをもとに前記画像データから前記被点検物に異常が生じた異常箇所に対応する異常画像を検出する。前記学習モデル生成手段は、前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する。
【図面の簡単な説明】
【0010】
本実施形態における点検システムの構成を示すブロック図。
本実施形態における点検システムの構成を示すブロック図。
本実施形態における情報処理装置の構成を示すブロック図。
本実施形態における情報処理装置における機能構成を示すブロック図。
本実施形態におけるドローンの外観の一例を示す図。
本実施形態におけるドローンの主要な構成を示すブロック図。
本実施形態における管理装置における機能構成を示すブロック図。
本実施形態における管理装置により実行される学習モデル生成処理を説明するためのフローチャート。
本実施形態における異常画像の領域と正常画像の領域の一例を示す図。
本実施形態における異常画像の領域と正常画像の領域の一例を示す図。
本実施形態における異常画像の領域と正常画像の領域の一例を示す図。
本実施形態における正常画像/異常画像組み合わせ制御部による異常画像と正常画像の組み合わせを概念的に示す図。
本実施形態における指標/条件関連記憶部により記憶される生成画像条件と再現率の関連性を示す図。
本実施形態における指標/条件関連記憶部により記憶される生成画像条件と適合率の関連性を示す図。
本実施形態における巡回/点検ルート選択画面の一例を示す図。
本実施形態におけるドローンのフライトプランを説明するための図。
本実施形態におけるドローンのフライトプランを説明するための図。
本実施形態における送電設備に設けられる被点検物の一例を示す図。
本実施形態における送電設備に設けられる被点検物の一例を示す図。
本実施形態における送電設備に設けられる被点検物の一例を示す図。
本実施形態におけるフライトプラン処理部によって生成されるフライトプラン(飛行制御データ)の一例を示す図。
本実施形態における取得データ生成部により生成される取得データの一例を示す図。
本実施形態における取得データ生成部により生成される取得データの一例を示す図。
本実施形態における検査対象項目選択画面の一例を示す図。
本実施形態における情報処理装置における取得データ管理処理を示すフローチャート。
本実施形態における異常箇所検出処理を説明するフローチャート。
本実施形態における異常候補画像表示画面の一例を示す図。
本実施形態における異常箇所確認画面の一例を示す図。
【発明を実施するための形態】
【0011】
以下、実施形態について図面を参照して説明する。
図1及び図2は、本実施形態における点検システム1の構成を示すブロック図である。本実施形態における点検システム1は、例えば発電所や変電所から送電するための送電設備(送電線、鉄塔)17について、通常時あるいは事故発生時において航空機、例えば無人航空機(以下、ドローン14と称する)を利用して、巡視点検するためのシステムである。点検システム1は、ドローン14と、ドローン14に搭載されたカメラにより撮影された画像データをもとに、送電設備17に含まれる複数の異なる被点検物(例えば、架空地線、送電線、碍子、閃絡表示器、アークホーン、鉄塔、鉄塔基礎コンクリートなど)に生じた異常箇所を検出し、この検出結果を巡視点検結果報告として記録する巡視点検制御システム2により構成される。本実施形態では、巡視点検制御システム2は、例えば情報処理装置10とネットワーク15を介して接続される管理装置12により構成する。ただし、巡視点検制御システム2を1つの装置として実現することも可能である。また、管理装置12は、クラウドコンピューティングにより実現されるものとし、ネットワーク15(インターネット)を介して接続された1台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。
【0012】
図1及び図2に示すように、点検システム1は、巡視点検制御システム2(情報処理装置10、管理装置12)、及びドローン14を含む。
情報処理装置10は、ドローン14の航行の管理/制御、ドローン14から取得される取得データ(画像データ(動画像、静止画像)、位置データ等を含む)の整理/管理、ドローン14からの取得データに対する処理結果をまとめる巡視/点検管理などの処理を実行する。情報処理装置10は、例えばドローン14と共に巡視点検対象とする送電設備17の近くまで搬送されて使用され、ドローン14により撮影された画像データをもとにした被点検物に生じた異常箇所の検出、異常箇所の画像の確認処理などが実行される。
【0013】
管理装置12は、情報処理装置10における画像データをもとに、被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルの生成、情報処理装置10において作成された処理結果の記録等を実行する。
【0014】
ドローン14は、情報処理装置10により設定される送電設備17を巡回するためのフライトプラン(飛行制御データ)をもとに、GNSS(Global Navigation Satellite System))を利用して生成される位置データ等、例えばGPS(Global Positioning System)衛星16から受信されるGPS信号から生成する位置データ等を利用して自律飛行し、巡視点検対象とする送電設備17を撮影して画像データを記憶する。なお、ドローン14は、飛行中にリアルタイムで飛行制御データを情報処理装置10から受信して、情報処理装置10に対する作業者による操作に応じて、マニュアル制御により飛行することも可能である。
【0015】
図3は、本実施形態における情報処理装置10の構成を示すブロック図である。情報処理装置10は、例えばパーソナルコンピュータによって実現される。情報処理装置10は、プロセッサ10a、メモリ10b、記憶装置10c、入出力インタフェース(I/F)10d、表示装置10e、入力装置10f、無線通信装置10g、通信装置10hを有する。
【0016】
プロセッサ10aは、メモリ10bに記憶された基本プログラム(OS)やアプリケーションプログラムを実行して、各種の機能を実現する。例えば、プロセッサ10aは、巡視点検制御プログラムを実行することで、ドローン14の飛行を管理し、ドローン14により撮影された画像をもとに、送電施設の被点検物に生じた異常箇所を検出し、その検出結果をもとに巡視点検結果をまとめる処理を実行する(図4参照)。
【0017】
メモリ10bは、プロセッサ10aにより実行されるプログラムや一時的なデータ等を記憶する。
【0018】
記憶装置10cは、各種のプログラムや各種データが記憶される。記憶装置10cに記憶されるデータには、ドローン14の航行を制御するための飛行制御データ、ドローン14から受信される取得データ(画像データ、位置データ)、画像データから被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルデータ、異常箇所の画像データ、巡視点検結果をまとめた巡視点検データなどを含む。
【0019】
入出力I/F10dは、外部機器とデータを送受信するためのインタフェースである。入出力I/F10dは、例えば可搬型のメモリ媒体を介してデータを入出力することができる。
【0020】
表示装置10eは、LCD(Liquid Crystal Display)などであり、プロセッサ10aの処理に応じた画面を表示させる。入力装置10fは、キーボードやポインティングデバイスなどであり、作業者等により操作される。
【0021】
無線通信装置10gは、無線通信を制御するもので、ドローン14との間、あるいは無線公衆網に収容された基地局との間の無線通信を制御する。
【0022】
通信装置10hは、ネットワーク15を通じた外部装置、例えば管理装置12、ドローン14、他の情報処理装置10との通信を制御する。ネットワーク15は、無線あるいは有線によるWAN(Wide Area Network)、LAN(Local Area Network)等を含む。
【0023】
図4は、本実施形態における情報処理装置10において、プロセッサ10aにより巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。
【0024】
情報処理装置10は、巡視点検制御プログラムに基づいて、例えば航行管理部20、取得データ整理管理部21、巡視点検管理部22の機能を実現する。
【0025】
航行管理部20は、ドローン14の航行の管理/制御をするもので、巡視点検指示入力部20a、フライトプラン処理部20bを含む。
【0026】
巡視点検指示入力部20aは、例えば作業員による入力装置10fに対する入力操作によって、例えば表示装置10eに表示させた選択メニューに対する選択に応じて巡視点検の内容についての指示を入力する。巡視点検の内容として
は、例えば巡視点検の対象とする送電設備17の指定、検査対象とする送電設備17に含まれる被点検物の指定、検査対象とする異常種類(アーク痕など)がある。
【0027】
フライトプラン処理部20bは、巡視点検指示入力部20aにおいて入力された巡視点検の内容に応じたフライトプラン、すなわち巡視点検の対象とする被点検物を撮影することができる経路をドローン14に航行させる飛行制御データを生成する。なお、巡視点検指示入力部20aは、ネットワーク15を通じて外部から取得される情報、例えば気象情報や地図情報などを利用してフライトプランを生成することができる。
【0028】
取得データ整理管理部21は、ドローン14から取得される取得データ(画像データ(動画像、静止画像)、位置データ等を含む)の整理/管理をするもので、学習モデル記憶部21a、検出対象指示入力部21b、異常箇所検出部21c、取得データ記憶部21d、画像確認部21e、異常箇所表示部21f、異常箇所記憶部21g、確認指示入力部21h、確認データ記憶部21k、及び異常箇所画像データ記憶部21mを含む。
【0029】
学習モデル記憶部21aは、管理装置12により生成された学習モデルを記憶する。学習モデルは、ドローン14から取得された画像データから被点検物に生じた異常を画像中から検出するためのもので、被点検物に生じる異常状態の特徴を表す。管理装置12では、ドローン14により撮影される撮影環境の変動等により画像データが一定でない、あるいは検出対象とする異常箇所が様々な状態である状況に対応できるように、被点検物に生じた異常箇所を確実に検出することができる学習モデルが生成される(学習モデルの生成の詳細については後述する)。被点検物に生じた異常としては、例えば送電線の場合にはアーク痕がある。アーク痕は、送電線に落雷があった場合に生じる異常であるため、頻繁に生じる事象ではなく、実際に生じた状態を撮影した画像データのサンプルが少ない。従って、実際に生じた異常箇所(アーク痕)の画像データをもとにした学習モデルのみでは、ドローン14により撮影された画像データから確実に異常箇所を検出することが困難となる。本実施形態では、管理装置12において、実際に生じた異常箇所の画像データだけでなく、被点検物に生じる異常/劣化の状態を表す擬似的な画像(類似画像)をニューラルネットワークを活用したディープラーニング(深層学習)の技術を利用して生成する。本実施形態では、ディープラーニング(深層学習)の技術を利用して、異常箇所の画像(異常画像)と異常箇所の周辺にある正常画像の組み合わせと、正常画像と異常画像とを組み合わせる比を変更しながら類似画像を生成することで、大量の類似画像に基づいた学習モデルを学習(生成)する。よって、管理装置12により生成された学習モデルを学習モデル21aに記憶させて、学習モデル21aに記憶された学習モデルを用いて画像データから異常箇所を探索することで、確実に被点検物に生じた異常箇所を検出できるようにすることができる。
【0030】
検出対象指示入力部21bは、巡視点検の対象とする送電設備17に含まれる被点検物、検出対象とする異常種類などの検出対象についての指示を巡視員の入力操作に応じて入力する。
(【0031】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

株式会社東芝
電池
株式会社東芝
センサ
株式会社東芝
回転子
株式会社東芝
センサ
株式会社東芝
センサ
株式会社東芝
回転子
株式会社東芝
センサ
株式会社東芝
運搬装置
株式会社東芝
電源回路
株式会社東芝
計算装置
株式会社東芝
駆動回路
株式会社東芝
電気機器
株式会社東芝
通信機器
株式会社東芝
送信装置
株式会社東芝
発振装置
株式会社東芝
回転電機
株式会社東芝
電子回路
株式会社東芝
測定装置
株式会社東芝
測距装置
株式会社東芝
荷役装置
株式会社東芝
記録媒体
株式会社東芝
保護回路
株式会社東芝
電子回路
株式会社東芝
動翼翼列
株式会社東芝
入力回路
株式会社東芝
電子機器
株式会社東芝
演算回路
株式会社東芝
受信装置
株式会社東芝
ダンパー
株式会社東芝
駅務機器
株式会社東芝
増幅回路
株式会社東芝
白色光源
株式会社東芝
補強敷板
株式会社東芝
伝送装置
株式会社東芝
プラント
株式会社東芝
電源装置
続きを見る