特許ウォッチ

公開番号2025002669
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2023102988
出願日2023-06-23
発明の名称深層学習装置及び走行体
出願人株式会社明電舎
代理人園田・小林弁理士法人
主分類G06T 7/11 20170101AFI20241226BHJP(計算;計数)
要約【課題】走行体の進行方向の前方にある障害物の有無を安定的に検知することを可能とした深層学習装置及び走行体を提供する。
【解決手段】周囲環境認識部30において、植生指標計算部31は、全方位カメラ13からの全方位画像データと3D-LiDAR12からの三次元計測データとに基づいて植生指標データを計算する。三次元点群領域分割部32は、3D-LiDAR12からの三次元計測データと植生指標計算部31からの植生指標データとに基づいて、三次元点群の領域分割処理を行い、点群領域分割データを出力する。制御処理部33は、3D-LiDAR12からの三次元計測データと、周囲環境認識部30からの点群領域分割データとに基づいて、自己位置の推定、コストマップ計算、経路計画など処理し、移動ロボット1を走行制御するための制御信号を出力する。
【選択図】図3
特許請求の範囲【請求項１】
走行体の周囲環境における三次元情報を含む三次元計測データと、前記周囲環境の全方位の画像を含む全方位画像データと、前記三次元計測データを基に作成された点群領域ラベルデータとを記憶する記憶部と、
前記三次元計測データと、前記全方位画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、
前記三次元計測データと、前記植生指標データと、前記点群領域ラベルデータとを学習データセットとして用いて深層学習を行い、学習結果データを作成する三次元点群領域分割学習部と、
を備えることを特徴とする深層学習装置。
続きを表示（約 1,000 文字）【請求項２】
前記記憶部は、前記三次元計測データと、前記全方位画像データと、前記点群領域ラベルデータに代えて前記全方位画像データに基づいて作成した画像領域ラベルデータとを記憶し、
前記三次元計測データと、前記画像領域ラベルデータとに基づいて、前記点群領域ラベルデータを作成する点群領域ラベル作成部をさらに備えることを特徴とする請求項１に記載の深層学習装置。
【請求項３】
周囲環境を認識して走行手段により走行する走行体であって、
前記周囲環境における三次元情報を含む三次元計測データを取得する三次元計測部と、
前記周囲環境を撮影した画像データを取得する撮像部と、
前記三次元計測データと、前記画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、
前記三次元計測データと、前記植生指標データとに基づいて、点群領域分割データを生成する三次元点群領域分割部と、
前記三次元計測データと、前記点群領域分割データとに基づいて、前記周囲環境のコストマップを計算し、前記コストマップに基づいて前記走行手段による走行を制御する制御処理部と、
を備えることを特徴とする走行体。
【請求項４】
前記撮像部は、前記周囲環境の全方位を撮影する全方位カメラであり、
前記画像データは、前記全方位カメラによって撮影された全方位画像データである、
ことを特徴とする請求項３に記載の走行体。
【請求項５】
前記全方位カメラは、前記走行体の進行方向に対して前後双方に設置された魚眼カメラである、
ことを特徴とする請求項４に記載の走行体。
【請求項６】
前記撮像部は、前記走行体の進行方向に対して前方を撮影するカラーカメラであり、
前記画像データは、前記カラーカメラによって撮影されたカラー画像データである、
ことを特徴とする請求項３に記載の走行体。
【請求項７】
前記撮像部は、レンズ前面に赤色透過フィルタを備え、前記走行体の進行方向に対して前方を撮影するモノクロカメラであり、
前記画像データは、前記モノクロカメラによって撮影されたグレー画像データである、
ことを特徴とする請求項３に記載の走行体。

発明の詳細な説明【技術分野】
【０００１】
本発明は、深層学習装置及び走行体に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
移動ロボット（走行体）は、３Ｄ－ＬｉＤＡＲ（Three-Dimensional-Light Detection And Ranging）を搭載して周囲の全方位の三次元点群を計測し、その三次元点群の形状を予め計測しておいた三次元点群地図と比較して自己位置推定を行いながら走行する。移動ロボットの走行中に、進行方向の前方に障害物があれば、３Ｄ－ＬｉＤＡＲで計測した情報を基に障害物検知を行い、障害物を回避する。
【０００３】
例えば、３Ｄ－ＬｉＤＡＲで計測した情報を基に障害物を検知する方法としてコストマップがある（非特許文献１を参照）。非特許文献１のように、計測した三次元点群の位置情報から占有格子地図を作り、二次元コストマップを生成する。これにより、走行路面よりも高い位置に物体がある箇所のコストが高くなり、コストの高い箇所を障害物として検知することができる。
【０００４】
また、３Ｄ－ＬｉＤＡＲで計測した三次元点群に対して領域分割を行い、各三次元点がどの領域に属するかを認識することで障害物を検知する方法がある（非特許文献２を参照）。三次元点群領域分割では、各点毎に、自動車・自転車・道路・駐車場・建物・植生・幹・地形などの領域に分類する。移動ロボット側では、道路・駐車場などの走行可能な領域以外の領域を障害物として検出する。また、障害物検出結果を非特許文献１のコストマップに反映することで、障害物として検出した領域をコストが高い箇所とすることも容易にできる。非特許文献２の方法は、深層学習により三次元点群領域分割を行う方法の一つで、２０２０年に発表されて以来、研究開発競争の激しい点群領域分割分野において上位の性能を保ち続けている。非特許文献２は、自動車の自動運転を対象としており、移動ロボットへの応用として相性の良い技術である。
【０００５】
また、三次元点群に対する方法ではないが、移動ロボットの前方をカラーカメラで撮影した画像に対して領域分割を行い、障害物を検知する方法がある（非特許文献３を参照）。画像領域分割では、画像上の画素毎に、自動車・自転車・道路・駐車場・建物・植生・幹・地形などの領域に分類する。移動ロボット側では、道路・駐車場などの走行可能な領域以外の領域を障害物とし、障害物の三次元位置をカメラ座標から三次元空間へ変換して求め、障害物の位置を検出する。非特許文献３の方法は、深層学習により画像領域分割を行う方法の一つで、２０１７年に発表されて以降、この分野では代表的な方法である。非特許文献３では自動車の自動運転を対象としており、移動ロボットへの応用として相性の良い技術である。
【先行技術文献】
【非特許文献】
【０００６】
原祥尭: "ROSを用いた自律走行", 日本ロボット学会誌, vol. 35, no. 4, pp286-290, 2017,ＵＲＬ＜https://www.jstage.jst.go.jp/article/jrsj/35/4/35_35_286/_pdf/-char/ja＞
C.Tiago, et al., "SalsaNext: Fast, Uncertainty-aware Semantic Segmentation of LiDAR Point Cloudes for Autonomous Driving", arViv, 2020，ＵＲＬ＜https://arxiv.org/pdf/2003.03653.pdf＞
H.Zhao, et al., "Pyramid Scene Parsing Network", arViv, 2017，ＵＲＬ＜https://arxiv.org/pdf/1612.01105.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の方法では、高さのある物体を障害物として検出することができるが、公園内にある歩道のように、歩道の周囲に芝生がある場合など、高低差が少ない芝生などの植生を障害物として検出することができないという問題がある。高低差の少ない芝生などの植生を障害物として検出できない場合、移動ロボットは、低い障害物を回避することができず、例えば、公園などを走行した際には、侵入が禁止されている芝生へ入ってしまうという問題がある。
【０００８】
また、非特許文献２では、歩道と芝生を見分けることがある程度可能であるが、三次元点群だけでは領域分割に対する情報量が少なく、道路や駐車場の一部を植生と誤検知することがしばしば発生するという問題がある。
【０００９】
また、非特許文献３の方法では、色情報を基に周囲環境を認識するため、非特許文献２の方法よりも領域分割の性能が高いが、明るさ変動の影響や、歩道が緑色や青色などの様々な色に着色されている場合は、別の物体として誤検知する場合があるという問題がある。
【００１０】
また、非特許文献２又は非特許文献３では、前方に有りもしない障害物を誤検知した場合、移動ロボットは、障害物を回避しようとして、異常な回避行動をとったり、回避経路が見つからずに走行不能に陥ったりする可能性がある。
（【００１１】以降は省略されています）

関連特許