特許ウォッチ

公開番号2025132863
公報種別公開特許公報(A)
公開日2025-09-10
出願番号2024030712
出願日2024-02-29
発明の名称作業機械のカメラシステムおよびカメラパラメータの校正方法
出願人株式会社小松製作所
代理人弁理士法人志賀国際特許事務所
主分類H04N 23/60 20230101AFI20250903BHJP(電気通信技術)
要約【課題】複数の撮像装置の構成を、目印を用いずに精度よく行う。
【解決手段】コントローラは、第一撮像画像および第二撮像画像を取得する。コントローラは、第一撮像画像および第二撮像画像のそれぞれを、撮像範囲の重複する部分が互いに連続するように一部を変形することで、第一変形画像および第二変形画像を生成する。コントローラは、第一撮像画像および第二撮像画像、並びに第一変形画像および前記第二変形画像において互いの特徴量が対応する特徴点を抽出し、座標系が揃った複数の対応点に基づいて外部パラメータを校正する。
【選択図】図6
特許請求の範囲【請求項１】
作業機械の外部を撮像し、撮像範囲の一部が互いに重複する第一撮像装置および第二撮像装置と、
前記第一撮像装置が撮像した第一撮像画像と前記第二撮像装置が撮像した第二撮像画像と前記第一撮像装置および前記第二撮像装置の外部パラメータに基づいて、表示装置に画像を出力するコントローラと、
を備え、
前記コントローラは、
第一撮像画像および第二撮像画像を取得し、
前記第一撮像画像および前記第二撮像画像が互いに連続するように部分を変形することで、第一変形画像および第二変形画像を生成し、
前記第一撮像画像および前記第二撮像画像から、互いの特徴量が対応する複数の撮像対応点を抽出し、
前記第一変形画像および前記第二変形画像の前記撮像範囲の対応する複数の変形対応点を抽出し、
前記複数の変形対応点の位置を前記第一撮像画像または前記第二撮像画像における位置に変換し、または前記複数の撮像対応点の位置を前記第一変形画像または前記第二撮像画像における位置に変換することで、前記複数の撮像対応点および前記複数の変形対応点の座標系を揃え、
座標系が揃った前記複数の撮像対応点および前記複数の変形対応点に基づいて、前記外部パラメータを校正する
作業機械のカメラシステム。
続きを表示（約 1,400 文字）【請求項２】
前記変形は、前記撮像範囲の重複する部分を引き伸ばす処理を含み、
前記コントローラは、引き延ばされた部分から前記複数の変形対応点を抽出する
請求項１に記載の作業機械のカメラシステム。
【請求項３】
前記引き延ばされた部分は、前記作業機械の周囲の地面が写る部分である
請求項２に記載の作業機械のカメラシステム。
【請求項４】
前記コントローラは、
前記第一撮像装置の外部パラメータが確定した後に、座標系が揃った前記複数の撮像対応点および前記複数の変形対応点に基づいて前記第一撮像装置に対する前記第二撮像装置の位置関係を特定し、前記第一撮像装置の外部パラメータと前記第一撮像装置に対する前記第二撮像装置の位置関係とに基づいて前記第二撮像装置の外部パラメータを校正する
請求項１に記載の作業機械のカメラシステム。
【請求項５】
前記第二撮像装置と撮像範囲の一部が重複する第三撮像装置を備え、
前記コントローラは、
前記第三撮像装置が撮像した第三撮像画像を取得し、
前記第三撮像画像を、前記第二変形画像と連続するように部分を変形することで、第三変形画像を生成し、
前記第二撮像画像および前記第三撮像画像から、前記撮像範囲の対応する複数の撮像対応点を抽出し、
前記第二変形画像および前記第三変形画像の前記撮像範囲の重複する部分において互いの特徴量が対応する特徴点である複数の変形対応点を抽出し、
前記複数の変形対応点の位置を前記第三撮像画像における位置に変換し、または前記複数の撮像対応点の位置を前記第三変形画像における位置に変換することで、前記複数の撮像対応点および前記複数の変形対応点の座標系を揃え、
前記第二撮像装置の外部パラメータが確定した後に、座標系が揃った前記複数の撮像対応点および前記複数の変形対応点に基づいて前記第二撮像装置に対する前記第三撮像装置の位置関係を特定し、前記第二撮像装置の外部パラメータと前記第二撮像装置に対する前記第三撮像装置の位置関係とに基づいて前記第三撮像装置の外部パラメータを校正する
請求項１または請求項４に記載の作業機械のカメラシステム。
【請求項６】
作業機械の外部を撮像する複数の撮像装置と、コントローラとを備える作業機械のカメラパラメータの校正方法であって、
前記コントローラは、
前記複数の撮像装置が撮像した複数の撮像画像を取得し、
前記複数の撮像画像が互いに連続するように一部を変形することで、複数の変形画像を生成し、
前記複数の撮像画像から互いの特徴量が対応する複数の撮像対応点を抽出し、
前記複数の変形画像から互いの特徴量が対応する複数の変形対応点を抽出し、
前記複数の変形対応点の位置を前記複数の撮像画像の何れか１つにおける位置に変換し、または前記複数の撮像対応点の位置を前記複数の変形画像の何れか１つにおける位置に変換することで、前記複数の撮像対応点および前記複数の変形対応点の座標系を揃え、
座標系が揃った前記複数の撮像対応点および前記複数の変形対応点に基づいて、前記複数の撮像装置の少なくとも１つの外部パラメータを校正する
作業機械のカメラパラメータの校正方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、作業機械のカメラシステムおよびカメラパラメータの校正方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
特許文献１には、車両に搭載された複数のカメラについて構成を行う技術が開示されている。特許文献１に記載の技術によれば、地表に描画された格子の上に車両を停車させ、複数のカメラで撮像された格子の画像に基づいて、各カメラのキャリブレーションがなされる。
【先行技術文献】
【特許文献】
【０００３】
特開２０１３－２１１７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、予め格子状のマーカーを用意しておく必要があるため、任意の場所にて校正を行うことが困難であり、校正の精度が低くなる。
本開示の目的は、複数の撮像装置の構成を、目印を用いずに精度よく行うことができる作業機械のカメラシステムおよびカメラパラメータの校正方法を提供することにある。
【課題を解決するための手段】
【０００５】
本開示の一態様によれば、作業機械のカメラシステムは、作業機械の外部を撮像し、撮像範囲の一部が互いに重複する第一撮像装置および第二撮像装置と、前記第一撮像装置が撮像した第一撮像画像と前記第二撮像装置が撮像した第二撮像画像と前記第一撮像装置および前記第二撮像装置の外部パラメータに基づいて、表示装置に画像を出力するコントローラと、を備え、前記コントローラは、第一撮像画像および第二撮像画像を取得し、前記第一撮像画像および前記第二撮像画像のそれぞれを、前記撮像範囲の重複する部分が互いに連続するように歪み変形することで、第一変形画像および第二変形画像を生成し、前記第一撮像画像および前記第二撮像画像から、前記撮像範囲の重複する部分において互いの特徴量が対応する複数の特徴点である複数の撮像対応点を抽出し、前記第一変形画像および前記第二変形画像の前記撮像範囲の重複する部分において互いの特徴量が対応する特徴点である複数の変形対応点を抽出し、前記複数の変形対応点の位置を前記第一撮像画像または前記第二撮像画像における位置に変換し、または前記複数の撮像対応点の位置を前記第一変形画像または前記第二撮像画像における位置に変換することで、前記複数の撮像対応点および前記複数の変形対応点の座標系を揃え、座標系が揃った前記複数の撮像対応点および前記複数の変形対応点に基づいて、前記外部パラメータを校正する。
【発明の効果】
【０００６】
上記態様によれば、カメラシステムは、複数の撮像装置の構成を、目印を用いずに精度よく行うことができる。
【図面の簡単な説明】
【０００７】
第１の実施形態に係る作業機械の外観を示す斜視図である。
第１の実施形態に係る作業機械の内部構成を示す概略図である。
第１の実施形態に係る作業機械が備える複数の撮像装置の撮像範囲を示す図である。
第１の実施形態に係るコントローラの構成を示す概略ブロック図である。
第１の実施形態に係る撮像画像の変形の例を示す図である。
第１の実施形態に係る撮像対応点および変形対応点の例を示す図である。
第１の実施形態に係るコントローラによる撮像装置の外部パラメータの校正処理を示すフローチャート（パート１）である。
第１の実施形態に係るコントローラによる撮像装置の外部パラメータの校正処理を示すフローチャート（パート２）である。
他の実施形態に係る作業機械が備える複数の撮像装置の撮像範囲を示す図である。
【発明を実施するための形態】
【０００８】
〈第１の実施形態〉
《作業機械１００の構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る作業機械の外観を示す斜視図である。
第１の実施形態に係る作業機械１００は、例えばブルドーザである。作業機械１００は、車体１１０、走行装置１２０、作業機１３０、運転室１４０を備える。
【０００９】
走行装置１２０は、車体１１０の下部に設けられる。走行装置１２０は、一対のクローラ１２１を備える。左右のクローラ１２１がそれぞれ回転することで、作業機械１００が走行する。
作業機１３０は、土砂等の掘削対象の掘削および運搬に用いられる。作業機１３０は、土砂を押すためのブレード１３１と、ブレード１３１を上下に駆動させるリフトシリンダ１３２とを有する。ブレードは車体１１０の前方に配置される。
【００１０】
図２は、第１の実施形態に係る作業機械の内部構成を示す概略図である。
作業機械１００の車体１１０は、エンジン１１１、油圧ポンプ１１２、制御弁１１３、変速機１１４を備える。
エンジン１１１は、油圧ポンプ１１２を駆動する原動機である。油圧ポンプ１１２は、エンジン１１１により駆動され、作動油を吐出する可変容量ポンプである。制御弁１１３は、油圧ポンプ１１２から供給される作動油の流量を制御する。リフトシリンダ１３２は、油圧ポンプ１１２から供給され、制御弁１１３によって流量が制御された作動油によって駆動する。
変速機１１４は、エンジン１１１の駆動力を走行装置１２０に伝達する。変速機１１４の例としては、ＨＳＴ（Hydraulic Static Transmission）やトルクコンバータが挙げられる。変速機１１４は、走行装置１２０の左右のクローラ１２１を独立して回転させる。例えば、作業機械１００は、左右のクローラ１２１それぞれに別個の変速機１１４を備えてもよいし、１つの変速機１１４から伝達される動力を差動装置によって左右のクローラ１２１それぞれに振り分けてもよい。
（【００１１】以降は省略されています）

関連特許