特許ウォッチ

公開番号2025157926
公報種別公開特許公報(A)
公開日2025-10-16
出願番号2024060283
出願日2024-04-03
発明の名称情報処理方法、情報処理システム及びプログラム
出願人株式会社センシンロボティクス,中部電力パワーグリッド株式会社,中部電力株式会社
代理人One ip弁理士法人
主分類G06T 7/60 20170101AFI20251008BHJP(計算;計数)
要約【課題】画像内から特定の点検対象物を抽出することが可能な情報処理方法、情報処理システム及びプログラムを提供すること。
【解決手段】無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理をコンピュータが実行する情報処理方法である。コンピュータが、検査対象物に対応する特定幅を有する線に対して選択性を有する第1フィルタに基づく空間フィルタリング処理により、撮影画像から特定幅の線が強調されたフィルタ処理画像を生成する処理と、生成されたフィルタ処理画像に対するハフ変換処理に基づき、フィルタ処理画像内の複数の直線から検査対象物に対応する直線を抽出する処理と、を実行する。
【選択図】図1

特許請求の範囲【請求項１】
無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理をコンピュータが実行する情報処理方法であって、
前記検査対象物に対応する特定幅を有する線に対して選択性を有する第１フィルタに基づく空間フィルタリング処理により、前記撮影画像から前記特定幅の線が強調されたフィルタ処理画像を生成する処理と、
生成された前記フィルタ処理画像に対するハフ変換処理により取得される直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する処理と、を前記コンピュータが実行する情報処理方法。
続きを表示（約 1,900 文字）【請求項２】
前記フィルタ処理画像を生成する前記処理において、前記第１フィルタ、及び、前記特定幅とは異なる幅を有する異径線に対して選択性を有する第２フィルタに基づく、前記空間フィルタリング処理を実行し、前記特定幅の線が強調された前記フィルタ処理画像を生成する請求項１に記載の情報処理方法。
【請求項３】
前記フィルタ処理画像を生成する前記処理において、前記第１フィルタ、及び、前記特定幅の線が有する２つのエッジのうちのいずれか片方のエッジにのみ反応する第３フィルタに基づく、前記空間フィルタリング処理を実行し、前記特定幅の線が強調された前記フィルタ処理画像を生成する請求項１に記載の情報処理方法。
【請求項４】
前記第３フィルタは、前記特定幅の線が有する前記２つのエッジのうちの一方にのみ反応するフィルタと、前記２つのエッジのうちの他方にのみ反応するフィルタと、を有し、
前記第１フィルタ、前記２つのエッジのうちの一方にのみ反応する前記第３フィルタ、及び、前記２つのエッジのうちの他方にのみ反応する前記第３フィルタに基づく、前記空間フィルタリング処理により、前記フィルタ処理画像を生成する請求項３に記載の情報処理方法。
【請求項５】
前記フィルタ処理画像を生成する前記処理において、前記第１フィルタ、及び、テスト画像における前記検査対象物の輝度分布に基づいて重みづけられたフィルタ係数を有する第４フィルタに基づく、前記空間フィルタリング処理により、前記特定幅の線が強調された前記フィルタ処理画像を生成する請求項１に記載の情報処理方法。
【請求項６】
前記空間フィルタリング処理の実行前に、少なくとも１種の他のフィルタと、前記第１フィルタと、を組み合わせた複合フィルタを生成する処理をさらに含み、
前記他のフィルタが、
前記特定幅とは異なる幅を有する異径線に対して選択性を有する第２フィルタ、
前記特定幅の線が有する２つのエッジのうちのいずれか片方のエッジにのみ反応する第３フィルタ、及び、
テスト画像における前記検査対象物の輝度分布に基づいて重みづけられたフィルタ係数を有する第４フィルタ、から選択される１種以上のフィルタであり、
前記フィルタ処理画像を生成する前記処理において、前記複合フィルタを用いた畳み込み演算により前記空間フィルタリング処理を実行し、前記特定幅の線が強調された前記フィルタ処理画像を生成する請求項１～５のいずれかに記載の情報処理方法。
【請求項７】
前記複合フィルタを、前記第１フィルタ、前記第２フィルタ、前記第３フィルタ、及び、前記第４フィルタを組み合わせて生成する請求項６に記載の情報処理方法。
【請求項８】
前記ハフ変換処理は加重ハフ変換（ＷｅｉｇｈｔｅｄＨｏｕｇｈＴｒａｎｓｆｏｒｍ）であり、
該加重ハフ変換により取得され、前記フィルタ処理画像内の強度値によって重み付けられた直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する請求項１～５のいずれかに記載の情報処理方法。
【請求項９】
無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理システムであって、
前記検査対象物に対応する特定幅を有する線に対して選択性を有する第１フィルタに基づく空間フィルタリング処理により、前記撮影画像から前記特定幅の線が強調されたフィルタ処理画像を生成するフィルタリング処理部と、
生成された前記フィルタ処理画像に対するハフ変換処理により取得される直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する特定直線抽出部と、を備える情報処理システム。
【請求項１０】
無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理をコンピュータに実行させるプログラムであって、
前記検査対象物に対応する特定幅を有する線に対して選択性を有する第１フィルタに基づく空間フィルタリング処理により、前記撮影画像から前記特定幅の線が強調されたフィルタ処理画像を生成する処理と、
生成された前記フィルタ処理画像に対するハフ変換処理により取得される直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する処理と、を前記コンピュータに実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理方法、情報処理システム及びプログラムに関する。
続きを表示（約 4,700 文字）【背景技術】
【０００２】
近年、ドローン（Ｄｒｏｎｅ）、無人航空機（ＵＡＶ：ＵｎｍａｎｎｅｄＡｅｒｉａｌＶｅｈｉｃｌｅ）、無人地上車両（ＵＧＶ：ＵｎｍａｎｎｅｄＧｒｏｕｎｄＶｅｈｉｃｌｅ）などの移動体（以下、「移動体」と総称する）が産業に利用され始めている。例えば、特許文献１には、飛行体により電力線を撮影して検査するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１９６３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、架渉線（電力線）などの長尺状の点検対象物の追跡のために該点検対象物を特定する一つの手法として、無人移動体が取得した撮影画像に対してエッジ検出を行うことで、点検対象物のエッジを抽出し、点検対象物の位置を特定するという手法が考え得る。しかしながら、撮影した画像には様々な建物、及び、道路等の点検対象物以外の直線的な構造物が背景に映りこむことから、撮影画像に対してエッジ検出を行った場合には、ノイズとなるエッジが多数抽出され得る。そのため、対象点検物のエッジを特定することが難しい場合がある。特に、背景にある点検対象外の直線的な物体（特に細長い物体）のエッジを抽出した場合には、無人移動体がそのような点検対象外の物体の方を追跡してしまい、点検対象物を見失い適切な点検を行うことが難しい場合がある。
【０００５】
上記のようなエッジ検出を行う手法の他にも、ディープラーニングにより撮影画像中の点検対象物をセグメンテーションして抽出する手法が考え得る。しかしながら、このようなディープラーニングによるセグメンテーションを実行するためには、ハイスペックな演算処理装置が必要となり、該セグメンテーション手法を汎用的に利用することが困難な場合がある。また、点検対象物と同種類の非点検対象物が映り込んでいる場合（例えば、点検対象の電力線以外に非点検対象の電力線が撮影画像の背景に映り込んでいる場合など）には、セグメンテーションの手法では、点検対象物と非点検対象物とを識別することが難しい。
【０００６】
本開示は上記のような背景を鑑みてなされたものであり、本開示の例示的な実施形態の目的の一つは、画像内から特定の点検対象物を抽出することが可能な情報処理方法、情報処理システム及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本開示の一態様に係わる情報処理方法は、無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理をコンピュータが実行する情報処理方法であって、
前記検査対象物に対応する特定幅を有する線に対して選択性を有する第１フィルタに基づく空間フィルタリング処理により、前記撮影画像から前記特定幅の線が強調されたフィルタ処理画像を生成する処理と、
生成された前記フィルタ処理画像に対するハフ変換処理により取得される直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する処理と、を前記コンピュータが実行する。
【０００８】
情報処理方法が上記の特徴を有することで、撮影画像内に、点検対象物以外に、建物、道路、又は、その他長尺状の物体などの直線状の非点検対象物が映り込んでいる場合であっても、目的の点検対象物に対応する直線を該撮影画像から抽出することができる。
【図面の簡単な説明】
【０００９】
図１は、本開示における一実施形態の全体構成を例示する図である。
図２は、本開示の一実施形態に係わる情報処理システムのシステム構成を例示する図である。
図３は、図２に示す端末１のハードウェア構成を示すブロック図である。
図４は、図２に示すサーバ２のハードウェア構成を示すブロック図である。
図５は、図２に示す無人飛行体４のハードウェア構成を示すブロック図である。
図６は、図２に示す端末１、及び、サーバの２の機能を例示するブロック図である。
図７は、無人飛行体４の撮影部から取得した画像の一例である。
図８は、図７の画像から生成されたフィルタ処理画像の一例である。
図９は、一般的なエッジ強調フィルタによる畳み込み演算処理を説明するための図である。
図１０は、特定幅強調フィルタ（第１フィルタ）の一例を示す模式図である。
図１１は、図１０に示す特定幅強調フィルタによる畳み込み演算処理を例示的に説明するための図である。
図１２は、特定幅強調フィルタの変形例を示す模式図である。
図１３は、異径線抽出フィルタ（第２フィルタ）の一例を示す模式図である。
図１４は、片側エッジフィルタ（第３フィルタ）を例示する模式図である。
図１５は、テスト画像における点検対象物の輝度分布を説明するための図である。
図１６は、反射対策フィルタ（第４フィルタ）の一例を示す模式図である。
図１７は、撮影画像の一例を模擬的に示す図である。
図１８は、図１７から変換されたフィルタ処理画像を模擬的に示す図である。
図１９は、図１７から変換されたフィルタ処理画像を模擬的に示す図である。
図２０は、図１７から変換されたフィルタ処理画像を模擬的に示す図である。
図２１は、追跡対象位置が可視化された画像の一例を模擬的に示す図である。
図２２は、本実施形態に係わる情報処理システムによる処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本開示の情報処理方法、情報処理システム及びプログラムは、以下のような構成を備える。
［項目１］
無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理をコンピュータが実行する情報処理方法であって、
前記検査対象物に対応する特定幅を有する線に対して選択性を有する第１フィルタに基づく空間フィルタリング処理により、前記撮影画像から前記特定幅の線が強調されたフィルタ処理画像を生成する処理と、
生成された前記フィルタ処理画像に対するハフ変換処理により取得される直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する処理と、を前記コンピュータが実行する情報処理方法。
［項目２］
前記フィルタ処理画像を生成する前記処理において、前記第１フィルタ、及び、前記特定幅とは異なる幅を有する異径線に対して選択性を有する第２フィルタに基づく、前記空間フィルタリング処理を実行し、前記特定幅の線が強調された前記フィルタ処理画像を生成する項目１に記載の情報処理方法。
［項目３］
前記フィルタ処理画像を生成する前記処理において、前記第１フィルタ、及び、前記特定幅の線が有する２つのエッジのうちのいずれか片方のエッジにのみ反応する第３フィルタに基づく、前記空間フィルタリング処理を実行し、前記特定幅の線が強調された前記フィルタ処理画像を生成する項目１に記載の情報処理方法。
［項目４］
前記第３フィルタは、前記特定幅の線が有する前記２つのエッジのうちの一方にのみ反応するフィルタと、前記２つのエッジのうちの他方にのみ反応するフィルタと、を有し、
前記第１フィルタ、前記２つのエッジのうちの一方にのみ反応する前記第３フィルタ、及び、前記２つのエッジのうちの他方にのみ反応する前記第３フィルタに基づく、前記空間フィルタリング処理により、前記フィルタ処理画像を生成する項目３に記載の情報処理方法。
［項目５］
前記フィルタ処理画像を生成する前記処理において、前記第１フィルタ、及び、テスト画像における前記検査対象物の輝度分布に基づいて重みづけられたフィルタ係数を有する第４フィルタに基づく、前記空間フィルタリング処理により、前記特定幅の線が強調された前記フィルタ処理画像を生成する項目１に記載の情報処理方法。
［項目６］
前記空間フィルタリング処理の実行前に、少なくとも１種の他のフィルタと、前記第１フィルタと、を組み合わせた複合フィルタを生成する処理をさらに含み、
前記他のフィルタが、
前記特定幅とは異なる幅を有する異径線に対して選択性を有する第２フィルタ、
前記特定幅の線が有する２つのエッジのうちのいずれか片方のエッジにのみ反応する第３フィルタ、及び、
テスト画像における前記検査対象物の輝度分布に基づいて重みづけられたフィルタ係数を有する第４フィルタ、から選択される１種以上のフィルタであり、
前記フィルタ処理画像を生成する前記処理において、前記複合フィルタを用いた畳み込み演算により前記空間フィルタリング処理を実行し、前記特定幅の線が強調された前記フィルタ処理画像を生成する項目１～５のいずれかに記載の情報処理方法。
［項目７］
前記複合フィルタを、前記第１フィルタ、前記第２フィルタ、前記第３フィルタ、及び、前記第４フィルタを組み合わせて生成する項目６に記載の情報処理方法。
［項目８］
前記ハフ変換処理は加重ハフ変換（ＷｅｉｇｈｔｅｄＨｏｕｇｈＴｒａｎｓｆｏｒｍ）であり、
該加重ハフ変換により取得され、前記フィルタ処理画像内の強度値によって重み付けられた直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する項目１～５のいずれかに記載の情報処理方法。
［項目９］
無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理システムであって、
前記検査対象物に対応する特定幅を有する線に対して選択性を有する第１フィルタに基づく空間フィルタリング処理により、前記撮影画像から前記特定幅の線が強調されたフィルタ処理画像を生成するフィルタリング処理部と、
生成された前記フィルタ処理画像に対するハフ変換処理により取得される直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する特定直線抽出部と、を備える情報処理システム。
［項目１０］
無人移動体により撮影した撮影画像から長尺状の検査対象物に対応する直線を抽出する情報処理をコンピュータに実行させるプログラムであって、
前記検査対象物に対応する特定幅を有する線に対して選択性を有する第１フィルタに基づく空間フィルタリング処理により、前記撮影画像から前記特定幅の線が強調されたフィルタ処理画像を生成する処理と、
生成された前記フィルタ処理画像に対するハフ変換処理により取得される直線投票数情報に基づき、前記フィルタ処理画像内の複数の直線から前記検査対象物に対応する直線を抽出する処理と、を前記コンピュータに実行させるためのプログラム。
（【００１１】以降は省略されています）

関連特許