特許ウォッチ

公開番号2025005159
公報種別公開特許公報(A)
公開日2025-01-16
出願番号2023105216
出願日2023-06-27
発明の名称路面状態判別システム、および路面状態判別方法
出願人株式会社小松製作所,国立大学法人大阪大学
代理人弁理士法人深見特許事務所
主分類G06T 7/174 20170101AFI20250108BHJP(計算;計数)
要約【課題】路面の状態を精度よく判別する路面状態判別システム、および路面状態判別方法を提供する。
【解決手段】路面状態判別システムは、撮像装置10、LiDAR20、および処理装置30を備える。撮像装置10は、地面を撮像する。LiDAR20は、撮像装置10の撮像範囲を含む範囲の地面に向けてレーザ光を照射する。処理装置30は、撮像装置10の撮像画像に対応するグレースケール画像を取得する。処理装置30は、レーザ光の反射強度を取得する。処理装置30は、グレースケール画像と反射強度とに基づいて、地面の状態を判別する。
【選択図】図19
特許請求の範囲【請求項１】
地面を撮像する撮像装置と、
前記撮像装置の撮像範囲を含む範囲の前記地面に向けてレーザ光を照射するレーザセンサと、
前記撮像装置の撮像画像に対応するグレースケール画像を取得し、前記レーザ光の反射強度を取得し、前記グレースケール画像と前記反射強度とに基づいて前記地面の状態を判別する、処理装置と、を備える、路面状態判別システム。
続きを表示（約 990 文字）【請求項２】
前記処理装置は、前記グレースケール画像内の複数の領域を抽出し、前記地面の状態を前記領域毎に判別する、請求項１に記載の路面状態判別システム。
【請求項３】
前記処理装置は、前記グレースケール画像の明度と、前記反射強度とに基づいて、前記領域を抽出する、請求項２に記載の路面状態判別システム。
【請求項４】
前記レーザセンサは、三次元の位置情報と前記反射強度とを持つ点の集合である点群データを取得し、
前記処理装置は、前記点群データを前記グレースケール画像と同じ平面に投影することで反射強度画像を生成し、前記グレースケール画像において前記明度の値が等しく、かつ前記反射強度画像において前記反射強度の値が等しい画素を、同じ領域とする、請求項３に記載の路面状態判別システム。
【請求項５】
前記処理装置は、前記地面の状態を判別するための学習済み分類モデルを有し、前記学習済み分類モデルを用いて、前記領域の前記明度と前記反射強度とから前記領域の前記地面の状態を判別する、請求項３または請求項４に記載の路面状態判別システム。
【請求項６】
前記学習済み分類モデルは、学習用データセットを用いた学習処理により生成され、前記学習用データセットは、前記明度と前記反射強度とに対して前記地面の状態をラベル付けした学習用データを複数含む、請求項５に記載の路面状態判別システム。
【請求項７】
前記撮像装置と前記レーザセンサとを搭載する作業機械をさらに備える、請求項１に記載の路面状態判別システム。
【請求項８】
前記撮像装置は、前記作業機械の前方の前記地面を撮像し、
前記レーザセンサは、前記作業機械の前方の前記地面に向けて前記レーザ光を照射する、請求項７に記載の路面状態判別システム。
【請求項９】
地面を撮像することと、
前記地面の撮像範囲を含む範囲の前記地面に向けてレーザ光を照射することと、
前記地面の撮像画像に対応するグレースケール画像を取得することと、
前記レーザ光の反射強度を取得することと、
前記グレースケール画像と前記反射強度とに基づいて前記地面の状態を判別することと、を備える、路面状態判別方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、路面状態判別システム、および路面状態判別方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
特開２００４－１９１２７６号公報（特許文献１）には、路面状態判別装置が開示されている。カメラは、路面の所定領域を含む領域のカラー画像を撮像する。画像信号変換部は、カメラからの画像をＲＧＢ画像に変換する。処理部は、カメラから画像信号変換部を介して得られたカラー画像のうちの所定領域に対応する画像領域の各画素のＲＧＢの濃淡値に基づいて、画像領域のＲＧＢごとの分散値を得る。処理部は、画像領域の各画素を当該画素の各色の濃淡値に従ってＲＧＢ三次元空間内にプロットしたときの、画像領域の各画素の空間内における分布の広がり状態を示す指標を得る。処理部は、画像領域のＲＧＢごとの分散値、および、上記指標に基づいて、路面上の水分の有無を判別する。
【先行技術文献】
【特許文献】
【０００３】
特開２００４－１９１２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
作業現場の路面に轍、ぬかるみ、乾燥などの損傷が存在すると、作業効率が低下することがある。作業機械に損傷を回避して走行させたり、損傷を早期に補修したりするために、路面状態を精度よく判別することが求められている。
【０００５】
本開示では、路面の状態を精度よく判別するための技術が提案される。
【課題を解決するための手段】
【０００６】
本開示のある局面に係る路面状態判別システムは、撮像装置と、レーザセンサと、処理装置とを備えている。撮像装置は、地面を撮像する。レーザセンサは、撮像装置の撮像範囲を含む範囲の地面に向けてレーザ光を照射する。処理装置は、撮像装置の撮像画像に対応するグレースケール画像を取得する。処理装置は、レーザ光の反射強度を取得する。処理装置は、グレースケール画像と反射強度とに基づいて、地面の状態を判別する。
【０００７】
本開示のある局面に係る路面状態判別方法は、以下のステップを備えている。第１のステップは、地面を撮像することである。第２のステップは、地面の撮像範囲を含む範囲の地面に向けてレーザ光を照射することである。第３のステップは、地面の撮像画像に対応するグレースケール画像を取得することである。第４のステップは、レーザ光の反射強度を取得することである。第５のステップは、グレースケール画像と反射強度とに基づいて地面の状態を判別することである。
【発明の効果】
【０００８】
本開示に従うと、路面の状態を精度よく判別することができる。
【図面の簡単な説明】
【０００９】
ダンプトラックの構成を示す模式図である。
撮像画像の一例を示す図である。
三次元点群データの一例を示す図である。
学習済み分類モデルを生成する処理の流れを示すフローチャートである。
三次元点群データを画像平面に投影する処理を示す模式図である。
反射強度画像の一例を示す図である。
切り出し処理後のグレースケール画像を示す図である。
領域を抽出する処理の流れを示すフローチャートである。
明度の平均値と反射強度の平均値とをプロットした図である。
図９に示されるプロットのグループ化の第１の例を示す樹形図である。
グループ化されたプロットの第１の例を示す図である。
図９に示されるプロットのグループ化の第２の例を示す樹形図である。
グループ化されたプロットの第２の例を示す図である。
グループ分けした画像の一例を示す図である。
連続領域を抽出した画像の一例を示す図である。
路面状態のラベリングについて示す図である。
学習用データを示す図である。
学習済み分類モデルを示す図である。
路面状態判別システムのシステム構成を示すブロック図である。
路面状態を判別する処理の流れを示すフローチャートである。
撮像画像の一例を示す図である。
路面状態が判別されたグレースケール画像を示す図である。
路面状態が判別された反射強度画像を示す図である。
【発明を実施するための形態】
【００１０】
以下、実施形態について図に基づいて説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。実施形態から任意の構成が抽出され、それらが任意に組み合わされることも、当初から予定されている。
（【００１１】以降は省略されています）

関連特許