特許ウォッチ

公開番号2025160569
公報種別公開特許公報(A)
公開日2025-10-23
出願番号2024063164
出願日2024-04-10
発明の名称運搬車両認識システム及び作業機械
出願人日立建機株式会社
代理人弁理士法人開知
主分類E02F 9/26 20060101AFI20251016BHJP(水工;基礎;土砂の移送)
要約【課題】運搬車両の位置及び姿勢を高精度に認識可能な運搬車両認識システムを提供する。
【解決手段】運搬車両認識システムは、情報処理装置を含み、作業機械の周囲の点群データを用いて、運搬車両の位置及び姿勢を認識し、認識結果を作業機械の制御装置に出力する。情報処理装置は、計測装置から点群データを取得するとともに作業機械の姿勢検出装置から作業機械の姿勢に関する情報を取得して運搬車両の認識処理を行う。情報処理装置は、点群データと、該点群データを取得したときの運搬車両の位置及び姿勢とを対応付けた組合せデータに基づいて、運搬車両の認識モデルを構築する。情報処理装置は、認識モデルが構築されていない場合には、点群データ及び作業機械の姿勢に基づいて運搬車両の位置及び姿勢を認識し、認識モデルが構築された場合には、認識モデル及び点群データに基づいて運搬車両の位置及び姿勢を認識する。
【選択図】図8
特許請求の範囲【請求項１】
計測装置により取得された作業機械の周囲の計測結果である点群データを用いて、前記作業機械の周囲の運搬車両の位置及び姿勢を認識する情報処理装置を含み、前記情報処理装置による前記運搬車両の認識処理の結果を前記作業機械の制御装置に出力する運搬車両認識システムであって、
前記情報処理装置は、
前記計測装置から前記点群データを取得するとともに前記作業機械の姿勢検出装置から前記作業機械の姿勢に関する情報を取得して前記運搬車両の認識処理を行い、
前記点群データと、該点群データを取得したときの前記運搬車両の位置及び姿勢とを対応付けた組合せデータを蓄積し、当該蓄積された前記組合せデータに基づいて、前記運搬車両の認識モデルを構築し、
当該運搬車両の認識処理においては、
前記作業機械による作業の対象となる前記運搬車両に対応する前記認識モデルが構築されていない場合には、前記点群データ及び前記作業機械の姿勢に基づいて前記運搬車両の位置及び姿勢を認識する第１認識モードで認識処理を行い、
前記作業機械による作業の対象となる前記運搬車両に対応する前記認識モデルが構築されている場合には、前記認識モデル及び前記点群データに基づいて前記運搬車両の位置及び姿勢を認識する第２認識モードで認識処理を行う、
ことを特徴とする運搬車両認識システム。
続きを表示（約 1,900 文字）【請求項２】
請求項１に記載の運搬車両認識システムであって、
前記情報処理装置は、前記作業機械に設けられて前記運搬車両の認識処理を行う第１処理装置と、前記運搬車両の認識モデルの構築を行う第２処理装置と、を含む、
ことを特徴とする運搬車両認識システム。
【請求項３】
請求項２に記載の運搬車両認識システムであって、
前記第２処理装置は、
予め指定された指定領域内の前記運搬車両の形状の前記点群データの密度、前記点群データの数、及び前記組合せデータの数のうちの少なくとも一つに基づいて、前記認識モデルの構築が完了したか否かを判定し、
前記認識モデルの構築が完了したと判定した場合には、構築された前記認識モデルを保持する、
ことを特徴とする運搬車両認識システム。
【請求項４】
請求項２に記載の運搬車両認識システムであって、
前記第１処理装置は、
前記運搬車両が空荷状態であるか否かを判定し、
前記運搬車両が空荷状態であると判定した場合に、前記空荷状態の前記運搬車両の形状の前記点群データと、該点群データを取得したときの前記運搬車両の位置及び姿勢とを対応付けた組合せデータを生成し、
前記第２処理装置は、
前記第１処理装置によって生成された前記組合せデータを蓄積し、
蓄積された前記組合せデータには、積荷状態の前記運搬車両の形状の前記点群データは含まれない、
ことを特徴とする運搬車両認識システム。
【請求項５】
請求項２に記載の運搬車両認識システムであって、
前記第１処理装置は、設定されている前記認識処理のモードを表示装置に表示させる、
ことを特徴とする運搬車両認識システム。
【請求項６】
請求項２に記載の運搬車両認識システムであって、
前記第２処理装置は、
車種毎の前記組合せデータを蓄積し、
蓄積された前記車種毎の前記組合せデータに基づいて、前記車種毎の前記運搬車両の認識モデルを構築し、
前記第１処理装置は、
前記作業機械による作業の対象となる前記運搬車両の車種を取得し、
取得した前記車種に対応する前記認識モデルが前記第２処理装置に保持されているか否かを判定し、
取得した前記車種に対応する前記認識モデルが前記第２処理装置に保持されていると判定した場合には、前記認識処理のモードを、前記車種に対応する前記認識モデルを利用する前記第２認識モードに設定する、
ことを特徴とする運搬車両認識システム。
【請求項７】
請求項６に記載の運搬車両認識システムであって、
前記第１処理装置は、前記作業機械に設けられた情報処理装置により構成され、
前記第２処理装置は、前記作業機械の外部に設けられたサーバにより構成され、
前記第２処理装置は、複数の前記作業機械のそれぞれに設けられた前記第１処理装置から前記車種毎の前記組合せデータを収集して蓄積する、
ことを特徴とする運搬車両認識システム。
【請求項８】
請求項３に記載の運搬車両認識システムであって、
前記指定領域を入力する入力装置を備え、
前記第２処理装置は、前記入力装置により入力された前記指定領域内の前記運搬車両の形状の前記点群データの密度に基づいて、前記認識モデルの構築が完了したか否かを判定する、
ことを特徴とする運搬車両認識システム。
【請求項９】
請求項３に記載の運搬車両認識システムであって、
前記作業機械に対する前記運搬車両の配置パターンを入力する入力装置を備え、
前記第１処理装置又は前記第２処理装置には、前記配置パターンと前記指定領域との関係を規定するデータテーブルが記憶され、
前記第１処理装置又は前記第２処理装置は、前記データテーブルを参照し、前記入力装置により入力された前記配置パターンに基づいて、前記指定領域を決定する、
ことを特徴とする運搬車両認識システム。
【請求項１０】
請求項１に記載の運搬車両認識システムを備えた前記作業機械であって、
前記制御装置は、前記第２認識モードが設定されている場合には、前記作業機械の作業装置と前記運搬車両との干渉を回避するためのマージンを、前記第１認識モードが設定されている場合に比べて小さくする、
ことを特徴とする作業機械。

発明の詳細な説明【技術分野】
【０００１】
本発明は、油圧ショベル等の作業機械の周囲の運搬車両を認識する運搬車両認識システム、及び運搬車両認識システムを備えた作業機械に関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
多関節型の作業装置を備えた油圧ショベル等の作業機械が知られている。これらの作業機械は、掘削した土砂等の掘削物をダンプトラック等の運搬車両に積み込む積込作業に用いられる。積込作業には、走行体に対して旋回体を旋回させて運搬車両まで掘削物を運搬する運搬動作と、作業装置を動作させて運搬した運搬物を運搬車両に放出する放出動作（例えば放土動作）とが含まれる。
【０００３】
積込作業を行う際、作業装置の高さ（例えばバケットの先端の高さ）が運搬車両のトレイ（ベッセル）より低い状態で旋回体が旋回すると、運搬動作の過程で作業装置が運搬車両に干渉する可能性がある。そこで、積込作業の際にオペレータによる作業機械の操作を支援する機能や、作業機械が積込作業を自動で行う技術が求められている。作業機械の積込作業を自動又は半自動で行うためには、作業機械に対する運搬車両の位置及び姿勢（角度）を認識する必要がある。
【０００４】
作業機械の積込作業の対象となる運搬車両を認識する従来技術として、例えば特許文献１に記載された技術がある。特許文献１には、運搬車両のトレイ（ベッセル）が写る画像からトレイを含む領域を特定し、特定した領域からトレイの少なくとも一つの面を特定する画像処理システムが開示されている。この画像処理システムは、入力画像を入力することで、複数の画素それぞれの値が当該画素に対応する入力画像の画素に写る物体の種類を表す値をとる出力画像を出力する学習済みモデルであるセグメンテーションモデルと、撮像画像とに基づいて、トレイを含む領域を特定する。
【先行技術文献】
【特許文献】
【０００５】
特開２０２０－１２６３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された画像処理システムのように、学習済みモデルを用いるシステムでは、一般的に、予め作業現場に計測装置を設置し、計測装置により作業現場のデータを所定期間収集し、その後収集したデータの中から正解のデータのみを抽出してモデルが作成される。しかしながら、この作業には、人手作業が含まれておりコストがかかる。また、作業現場が変わったりするなどして、新たな車種、すなわち学習済みモデルには登録されていないトレイを備えた運搬車両が作業に組み込まれると、運搬車両の位置及び姿勢の認識精度が低下する。その結果、作業機械による作業効率が低下するおそれがある。
【０００７】
本発明は、認識モデルの作成のための作業を抑制可能であって、運搬車両の位置及び姿勢を高精度に認識可能な運搬車両認識システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による運搬車両認識システムは、計測装置により取得された作業機械の周囲の計測結果である点群データを用いて、前記作業機械の周囲の運搬車両の位置及び姿勢を認識する情報処理装置を含み、前記情報処理装置による前記運搬車両の認識処理の結果を前記作業機械の制御装置に出力する。前記情報処理装置は、前記計測装置から前記点群データを取得するとともに前記作業機械の姿勢検出装置から前記作業機械の姿勢に関する情報を取得して前記運搬車両の認識処理を行い、前記点群データと、該点群データを取得したときの前記運搬車両の位置及び姿勢とを対応付けた組合せデータを蓄積し、当該蓄積された前記組合せデータに基づいて、前記運搬車両の認識モデルを構築し、当該運搬車両の認識処理においては、前記作業機械による作業の対象となる前記運搬車両に対応する前記認識モデルが構築されていない場合には、前記点群データ及び前記作業機械の姿勢に基づいて前記運搬車両の位置及び姿勢を認識する第１認識モードで認識処理を行い、前記作業機械による作業の対象となる前記運搬車両に対応する前記認識モデルが構築されている場合には、前記認識モデル及び前記点群データに基づいて前記運搬車両の位置及び姿勢を認識する第２認識モードで認識処理を行う。
【発明の効果】
【０００９】
本発明によれば、運搬車両の位置及び姿勢の認識結果と計測装置の計測結果とに基づいて認識モデルが作成されるため、認識モデルの作成のための作業を抑制できる。また、本発明によれば、作業開始の段階で運搬車両の認識モデルが存在しない場合であっても、作業機械の作業中に、その運搬車両の情報を収集して認識モデルの作成が可能であり、認識モデルが作成された後は、認識モデルを用いて運搬車両の位置及び姿勢を高精度に認識することができる。
【図面の簡単な説明】
【００１０】
図１は、本実施形態に係る作業機械の一例である油圧ショベルの側面図である。
図２は、図１に示した油圧ショベルの油圧システム及び制御システムの要部を関連構成とともに抜き出して示すブロック図である。
図３は、油圧ショベルの一作業例を示す平面図である。
図４は、油圧ショベルの一作業例を示す側面図である。
図５は、基準座標系を油圧ショベルとともに示す側面図である。
図６は、基準座標系を油圧ショベルとともに示す平面図である。
図７は、制御装置により実行される積込制御における処理の流れの一例を示すフローチャートである。
図８は、第１実施形態に係る情報処理装置の機能ブロック図である。
図９は、第１実施形態に係る情報処理装置により実行されるモード設定処理及び認識処理を含む処理の流れの一例について示すフローチャートである。
図１０は、運搬車両を基準とした基準座標系である車両座標系を運搬車両とともに示す側面図である。
図１１は、車両座標系を運搬車両とともに示す平面図である。
図１２は、学習モードが設定されている場合に実行されるトレイ認識処理の流れの一例を示すフローチャートである。
図１３は、情報処理装置により実行される認識結果の取得処理の流れの一例について示すフローチャートである。
図１４は、情報処理装置により実行される認識モデル生成処理の流れの一例について示すフローチャートである。
図１５は、認識モデルの構築完了判定処理の具体例について説明する図である。
図１６は、モニタの表示画面の一例を示す図である。
図１７は、積込位置Ｐａに配置された運搬車両と、積込位置Ｐｂに配置された運搬車両と、計測装置の計測範囲との関係を示す図である。
図１８は、制御装置が積込制御を実行したときの油圧ショベルの動作の一例を示す図である。
図１９は、第２実施形態に係る情報処理装置の機能ブロック図である。
図２０は、第２実施形態に係る情報処理装置により実行されるモード設定処理及び認識処理を含む処理の流れの一例について示すフローチャートである。
図２１は、第３実施形態に係るサーバの機能ブロック図である。
図２２は、計測面の選択画面の一例を示す図である。
図２３は、油圧ショベルに対する運搬車両の配置パターンの選択画面の一例を示す図である。
図２４は、配置パターンと選択される計測面との関係を規定する計測面テーブルを示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許