特許ウォッチ

公開番号2024157158
公報種別公開特許公報(A)
公開日2024-11-07
出願番号2023071324
出願日2023-04-25
発明の名称学習システム、移動体自律運転システム、学習方法、移動体自律運転方法
出願人清水建設株式会社
代理人個人,個人,個人
主分類G05D 1/43 20240101AFI20241030BHJP(制御;調整)
要約【課題】移動体が不整地を自律運転が可能な制御モデルを生成する。
【解決手段】出発地から目的地までの間に不整地が含まれる領域を走行する移動体の移動経路と運転の制御内容とを求める学習システムであって、前記領域の凹凸が測定された3次元点群データと、前記領域における測定位置から周囲の物体までの距離が測定された測定データと、前記領域に設定される基準点をもとに移動体の位置を表す自己位置データとを表す環境データと、前記領域の面に沿って移動する移動体の車輪の速度と車輪の向きを表す行動データと、の関係を学習する学習部を有し、前記学習部は、前記移動体が前記行動データに基づいて前記出発地から移動し、前記目的地に到着した場合に高い報酬を、前記移動中に前記移動体が横転または衝突した場合に低い報酬を与える強化学習を行う。
【選択図】図1
特許請求の範囲【請求項１】
出発地から目的地までの間に不整地が含まれる領域を走行する移動体の移動経路と運転の制御内容とを求める学習システムであって、
前記領域の凹凸が測定された３次元点群データと、前記領域における測定位置から周囲の物体までの距離が測定された測定データと、前記領域に設定される基準点をもとに移動体の位置を表す自己位置データとを表す環境データと、
前記領域の面に沿って移動する移動体の車輪の速度と車輪の向きを表す行動データと、
の関係を学習する学習部を有し、
前記学習部は、
前記移動体が前記行動データに基づいて前記出発地から移動し、前記目的地に到着した場合に高い報酬を、前記移動中に前記移動体が横転または衝突した場合に低い報酬を与える強化学習を行う
学習システム。
続きを表示（約 850 文字）【請求項２】
前記学習部は、前記移動体が前記出発地から出発してからの経過時間が長くなるほど低い報酬を与える
請求項１に記載の学習システム。
【請求項３】
前記３次元点群データの示す情報について平面上をグリッド状に割り、当該グリッドに該当する位置の点群データに基づいて、前記平面の第１方向を行によって表し、前記平面の当該第１方向に直交する第２方向を列によって表し、高さの値を成分とした行列を生成する前処理部を有する
請求項１または２に記載の学習システム。
【請求項４】
前記前処理部は、前記３次元点群データに基づく地形モデルを正規化する処理を行う
請求項３に記載の学習システム。
【請求項５】
請求項１に記載の学習システムによって学習された学習済みモデルを用いて移動体を制御することで自律運転させる移動体自律運転システム。
【請求項６】
出発地から目的地までの間に不整地が含まれる領域を走行する移動体の移動経路と運転の制御内容とを求める学習方法であって、
学習部が、
前記領域の凹凸が測定された３次元点群データと、前記領域における測定位置から周囲の物体までの距離が測定された測定データと、前記領域に設定される基準点をもとに移動体の位置を表す自己位置データとを表す環境データと、
前記領域の面に沿って移動する移動体の車輪の速度と車輪の向きを表す行動データと、
の関係を学習し、
前記学習することは、
前記移動体が前記行動データに基づいて前記出発地から移動し、前記目的地に到着した場合に高い報酬を、前記移動中に前記移動体が横転または衝突した場合に低い報酬を与える強化学習を行うこと
を含む学習方法。
【請求項７】
請求項６の学習方法によって学習された学習済みモデルを用いて移動体を制御することで自律運転させる
移動体自律運転方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、移動体のための学習システム、移動体自律運転システム、学習方法、移動体自律運転方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
建設現場において掘削工事や造成工事を行う場合、一般的に不整地走行車両としてキャタピラ型のバックホウなどが熟練技術者により操縦される。近年は、土砂ピット内に堆積した土砂を掘削し、ダンプトラックに積み込む自律運転システムを搭載し、自律運転するバックホウも利用されている。このような自律運転する建機は、不整地を走行する場合がある。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１４５７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、不整地を建機に走行させるためには、操縦が難しく、バランスを崩した場合には、転倒する事故を引き起こす可能性がある。不整地において建機を走行させる場合、移動経路の選択は、操縦者の経験的判断にゆだねられており、安全かつ効率的な移動経路を検討する余地がある。
また、バックホウの自律運転システムでは、土砂の採掘とダンプトラックへの積み込み等の作業を行うことができるが、このような作業を行うだけでなく、その作業を行う場所へ移動するまでの間に、不整地があったとしても、自律運転によって移動できることが望ましい。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、移動体による不整地での自律運転が可能な制御モデルを生成することが可能な学習システム、移動体自律運転システム、学習方法、移動体自律運転方法を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の一態様は、出発地から目的地までの間に不整地が含まれる領域を走行する移動体の移動経路と運転の制御内容とを求める学習システムであって、前記領域の凹凸が測定された３次元点群データと、前記領域における測定位置から周囲の物体までの距離が測定された測定データと、前記領域に設定される基準点をもとに移動体の位置を表す自己位置データとを表す環境データと、前記領域の面に沿って移動する移動体の車輪の速度と車輪の向きを表す行動データと、の関係を学習する学習部を有し、前記学習部は、前記移動体が前記行動データに基づいて前記出発地から移動し、前記目的地に到着した場合に高い報酬を、前記移動中に前記移動体が横転または衝突した場合に低い報酬を与える強化学習を行う学習システムである。
【０００７】
また、本発明の一態様は、出発地から目的地までの間に不整地が含まれる領域を走行する移動体の移動経路と運転の制御内容とを求める学習方法であって、学習部が、前記領域の凹凸が測定された３次元点群データと、前記領域における測定位置から周囲の物体までの距離が測定された測定データと、前記領域に設定される基準点をもとに移動体の位置を表す自己位置データとを表す環境データと、前記領域の面に沿って移動する移動体の車輪の速度と車輪の向きを表す行動データと、の関係を学習し、前記学習することは、前記移動体が前記行動データに基づいて前記出発地から移動し、前記目的地に到着した場合に高い報酬を、前記移動中に前記移動体が横転または衝突した場合に低い報酬を与える強化学習を行うことを含む学習方法である。
【発明の効果】
【０００８】
以上説明したように、この発明によれば、移動体による不整地での自律運転が可能な制御モデルを生成することが可能となる。
【図面の簡単な説明】
【０００９】
この発明の一実施形態による学習システムＳの構成を示す概略ブロック図である。
学習システムＳの処理の流れを説明する図である。
３次元点群データの一例を示す図である。
３次元点群データの一例を示す図である。
高さ行列の一例を説明する図である。
正規化の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態による学習システムについて図面を参照して説明する。
図１は、この発明の一実施形態による学習システムＳの構成を示す概略ブロック図である。
学習システムＳは、地形測定部１１、３次元点群データ取得部１２、距離測定部１３、距離データ取得部１４、前処理部１５、シミュレーション部１６、学習部１７、記憶部
１８を有する。学習システムＳは、１台のコンピュータによって実現してもよいし、学習システムＳの機能を複数台のコンピュータに分散させ、これら複数のコンピュータが連携して処理をするようにしてもよい。また、学習システムＳの少なくとも一部の機能がクラウドサーバのようにクラウド上に設けられたコンピュータに搭載されてもよい。
（【００１１】以降は省略されています）

関連特許