特許ウォッチ

公開番号2025018512
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023122271
出願日2023-07-27
発明の名称識別システム、識別方法および作業車両
出願人株式会社小松製作所
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20250130BHJP(計算;計数)
要約【課題】計算負荷を抑えて、カメラによって撮影した撮影画像から対象を識別可能な識別システム、識別方法および作業車両を提供すること。
【解決手段】識別システム1は、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出する3次元センサ11と、作業車両に取り付けられ、作業車両の周辺を撮影するカメラ12と、コントローラ20と、を備える。コントローラ20は、3次元センサ11から物体検出データである点群データ、および、カメラ12が撮影した撮影画像の画像データを取得し、点群データに基づいて対象を識別し、点群データに基づく識別結果を用いて撮影画像を変換し、変換画像に基づいて対象を識別する。
【選択図】図2
特許請求の範囲【請求項１】
作業車両の周辺に存在する物体から対象を識別するための識別システムであって、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサと、
前記作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラと、
コントローラと、
を備え、
前記コントローラは、
前記物体検出センサから物体検出データである点群データ、および、前記カメラが撮影した撮影画像の画像データを取得し、
前記点群データに基づいて対象を識別し、
前記点群データに基づく識別結果を用いて前記撮影画像を変換し、
変換画像に基づいて前記対象を識別する、
識別システム。
続きを表示（約 1,200 文字）【請求項２】
前記変換画像は、前記点群データに基づく識別結果を用いて前記撮影画像を所定方向から見たように視点変換した画像である、
請求項１に記載の識別システム。
【請求項３】
前記コントローラは、
前記点群データに基づいて識別された対象の位置及び姿勢と、前記物体検出センサと前記カメラとの相対的な位置関係とに基づいて、前記撮影画像を視点変換する、
請求項２に記載の識別システム。
【請求項４】
前記所定方向は、作業車両が対象に対して作業を行う際の正面から見た方向である、
請求項２または３に記載の識別システム。
【請求項５】
前記コントローラは、
前記点群データから対象の外形の少なくとも一部を構成する平面を推定し、
推定した前記平面上に位置する点群を抽出して二値画像を生成し、
前記二値画像から前記対象を識別し、
推定した前記平面上に位置する複数の点を前記撮影画像に投影し、
前記撮影画像に投影した前記複数の点を基準にして視点変換を行う、
請求項２または３に記載の識別システム。
【請求項６】
前記コントローラは、
前記点群データに基づいて識別した前記対象と、前記変換画像に基づいて識別した前記対象との整合性を確認する、
請求項１に記載の識別システム。
【請求項７】
作業車両の周辺に存在する物体から対象を識別するための識別方法であって、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサから、物体検出データである点群データを取得し、
前記作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラから、撮影画像の画像データを取得し、
前記点群データに基づいて対象を識別し、
前記点群データに基づく識別結果を用いて前記撮影画像を変換し、
変換画像に基づいて前記対象を識別する、
識別方法。
【請求項８】
作業車両であって、
車体と、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサと、
前記作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラと、
コントローラと、
を備え、
前記コントローラは、
前記物体検出センサから物体検出データである点群データ、および、前記カメラが撮影した撮影画像の画像データを取得し、
前記点群データに基づいて対象を識別し、
前記点群データに基づく識別結果を用いて前記撮影画像を変換し、
変換画像に基づいて前記対象を識別する、
作業車両。

発明の詳細な説明【技術分野】
【０００１】
本開示は、識別システム、識別方法および作業車両に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
例えば、ダンプトラック、ホイールローダ、ショベル、フォークリフトなどの作業車両により正確な作業を行うためには、作業車両による作業対象の識別性能を向上させる必要がある。特許文献１に開示されているような、対象であるパレットまでの距離を検出するレーザセンサと、レーザセンサの検出データに基づいて、パレットの前面の平面方程式を算出する平面方程式算出部と、平面方程式算出部により算出されたパレットの前面の平面方程式を用いて、パレットの位置及び姿勢を推定する推定演算部とを備え、推定演算部は、パレットの姿勢としてパレットのヨー角、ピッチ角及びロール角を計算する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－４２０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、ダンプトラック、ホイールローダ、ショベル、フォークリフトなどの作業車両による作業対象の位置及び姿勢を高精度に推定するためには、測距精度の高いＬｉＤＡＲのような３次元センサを用いて対象を識別することが有効である。ところが、３次元センサの測定データである点群では、例えば、対象の色情報がないこと、または、分解能が低いことなどが原因となり、対象を誤って識別することがある。識別性能を高めるためには、カメラによって撮影した撮影画像を用いることが有効であるが、計算負荷が高くなるおそれがある。
【０００５】
本開示の態様は、計算負荷を抑えて、カメラによって撮影した撮影画像から対象を識別可能な識別システム、識別方法および作業車両を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の態様に従えば、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出するための物体検出センサと、作業車両に取り付けられ、作業車両の周辺を撮影するためのカメラと、コントローラと、を備える、作業車両の周辺に存在する物体から対象を識別するための識別システムが提供される。コントローラは、物体検出センサから物体検出データである点群データ、および、カメラが撮影した撮影画像の画像データを取得し、点群データに基づいて対象を識別し、点群データに基づく識別結果を用いて撮影画像を変換し、変換画像に基づいて対象を識別する。
【０００７】
本開示の態様に従えば、作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサから、物体検出データである点群データを取得するステップと、作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラから、撮影画像の画像データを取得するステップと、点群データに基づいて対象を識別するステップと、前記点群データに基づく識別結果を用いて前記撮影画像を変換するステップと、変換画像に基づいて前記対象を識別するステップと、を備える、作業車両の周辺に存在する物体から対象を識別するための識別方法が提供される。
【０００８】
本開示の態様に従えば、車体と、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出する物体検出センサと、作業車両に取り付けられ、作業車両の周辺を撮影するカメラと、コントローラと、を備える、作業車両が提供される。コントローラは、物体検出センサから物体検出データである点群データ、および、カメラが撮影した撮影画像の画像データを取得し、点群データに基づいて対象を識別し、点群データに基づく識別結果を用いて撮影画像を変換し、変換画像に基づいて対象を識別する。
【発明の効果】
【０００９】
本開示の態様によれば、計算負荷を抑えて、カメラによって撮影した撮影画像から対象を識別可能な識別システム、識別方法および作業車両が提供される。
【図面の簡単な説明】
【００１０】
図１は、実施形態に係る作業車両を示す側面図である。
図２は、実施形態に係る識別システムを示す機能ブロック図である。
図３は、実施形態に係るコンピュータシステムを示すブロック図である。
図４は、実施形態に係る作業車両の動作を示す模式図である。
図５は、対象を示す点群の一例を示す図である。
図６は、対象の識別処理の一例を説明する模式図である。
図７は、対象の二値画像の一例を示す図である。
図８は、対象の特徴パターンの一例を示す図である。
図９は、３次元センサ、カメラおよび対象の位置関係を示す模式図である。
図１０は、対象を撮影した撮影画像の一例を説明する図である。
図１１は、図１０に示す撮影画像を視点変換した変換画像の一例を説明する図である。
図１２は、点群による対象の識別方法の処理の一例を示すフローチャートである。
図１３は、実施形態に係る対象の識別方法の処理の一例を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許