特許ウォッチ

公開番号2025077077
公報種別公開特許公報(A)
公開日2025-05-19
出願番号2023189001
出願日2023-11-06
発明の名称建設機械のカメラ調整システム、建設機械、建設機械のカメラ調整方法及びプログラム
出願人日本車輌製造株式会社
代理人弁理士法人IPX
主分類G06T 7/70 20170101AFI20250512BHJP(計算;計数)
要約【課題】複数のカメラのキャリブレーションを高い精度で実行できる建設機械のカメラ調整システムを提供する。
【解決手段】本発明の一態様によれば、建設機械のカメラ調整システムが提供される。このカメラ調整システムは、プロセッサを備える。プロセッサは、傾斜情報取得ステップと、補正値算出ステップと、カメラ補正ステップと、を実行するように構成される。傾斜情報取得ステップでは、建設機械が備える傾斜センサから傾斜情報を取得する。補正値算出ステップでは、傾斜情報に基づいて建設機械の傾斜に対する補正値を算出する。カメラ補正ステップでは、第1カメラから取得した第1補正用画像と第2カメラから取得した第2補正用画像とのオーバーラップ量が一定値以上になるように、補正値を参照しつつ第1カメラ又は第2カメラの向きを補正する。第1カメラ及び第2カメラは、建設機械の本体に設置されると共に、互いの撮影範囲が重複している。
【選択図】図1
特許請求の範囲【請求項１】
建設機械のカメラ調整システムであって、
プロセッサを備え、
前記プロセッサは、傾斜情報取得ステップと、補正値算出ステップと、カメラ補正ステップと、を実行するように構成され、
前記傾斜情報取得ステップでは、建設機械が備える傾斜センサから傾斜情報を取得し、
前記補正値算出ステップでは、前記傾斜情報に基づいて前記建設機械の傾斜に対する補正値を算出し、
前記カメラ補正ステップでは、第１カメラから取得した第１補正用画像と第２カメラから取得した第２補正用画像とのオーバーラップ量が一定値以上になるように、前記補正値を参照しつつ前記第１カメラ又は前記第２カメラの向きを補正し、ここで、前記第１カメラ及び前記第２カメラは、前記建設機械の本体に設置されると共に、互いの撮影範囲が重複している、建設機械のカメラ調整システム。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載の建設機械のカメラ調整システムにおいて、
前記カメラ補正ステップでは、さらに、前記第２補正用画像と第３カメラから取得した第３補正用画像とのオーバーラップ量が一定値以上になるように、前記補正値を参照しつつ前記第３カメラの向きを補正し、ここで、前記第３カメラは、前記建設機械に設置されると共に、前記第２カメラと撮影範囲が重複している、建設機械のカメラ調整システム。
【請求項３】
請求項２に記載の建設機械のカメラ調整システムにおいて、
前記カメラ補正ステップで取得される前記第１補正用画像及び前記第２補正用画像には、共通のマーカが含まれ、
前記カメラ補正ステップでは、前記第２カメラの向きの補正後、かつ、前記第３補正用画像の取得前に、前記建設機械のうち前記第１カメラ、前記第２カメラ及び前記第３カメラが設置された旋回体を、取得される前記第２補正用画像及び前記第３補正用画像に前記マーカが含まれるように旋回させる、建設機械のカメラ調整システム。
【請求項４】
請求項１に記載の建設機械のカメラ調整システムにおいて、
前記カメラ補正ステップでは、前記第１補正用画像と前記第２補正用画像とを合成した合成画像を生成すると共に、前記第１補正用画像及び前記第２補正用画像の双方に含まれるマーカを特徴点として、前記第１補正用画像又は前記第２補正用画像を前記合成画像に変換する変換行列を求め、前記変換行列に基づいて前記第１カメラ又は前記第２カメラの方向を変更させる、建設機械のカメラ調整システム。
【請求項５】
請求項４に記載の建設機械のカメラ調整システムにおいて、
前記カメラ補正ステップでは、前記合成画像に対する前記第１補正用画像と前記第２補正用画像との再投影誤差を算出すると共に、前記再投影誤差が一定範囲を超えており、かつ、前記オーバーラップ量が一定値未満の場合、前記変換行列に基づいて前記第１カメラ又は前記第２カメラの方向を変更させる、建設機械のカメラ調整システム。
【請求項６】
請求項５に記載の建設機械のカメラ調整システムにおいて、
前記カメラ補正ステップでは、前記再投影誤差が一定範囲を超えており、かつ、前記オーバーラップ量が一定値以上の場合、前記変換行列で前記第１補正用画像及び前記第２補正用画像を変換した後に、変換後の前記第１補正用画像及び前記第２補正用画像を用いて、再び前記再投影誤差を算出する、建設機械のカメラ調整システム。
【請求項７】
請求項５に記載の建設機械のカメラ調整システムにおいて、
前記カメラ補正ステップでは、前記第１カメラ又は前記第２カメラの向きの補正後に、前記第１補正用画像及び前記第２補正用画像を改めて取得し、前記再投影誤差を再度算出する、建設機械のカメラ調整システム。
【請求項８】
請求項１に記載の建設機械のカメラ調整システムとしての情報処理装置を備える、建設機械。
【請求項９】
建設機械のカメラ調整方法であって、
請求項１から請求項７のいずれか１項に記載の建設機械のカメラ調整システムの各ステップを備える、建設機械のカメラ調整方法。
【請求項１０】
プログラムであって、
コンピュータを、請求項１から請求項７のいずれか１項に記載の建設機械のカメラ調整システムとして機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、建設機械のカメラ調整システム、建設機械、建設機械のカメラ調整方法及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
建設機械には、周囲の状況を把握するために複数のカメラが設置される。カメラの新設時や取替時には、複数のカメラがそれぞれ正しい方向を向いているかキャリブレーションを行う必要がある。これに対し、下記の文献に開示されるように、複数のカメラの画像を合成する際に、補正を行って合成画像を形成する技術が公知である。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－０４５６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の従来技術は、画像の合成時に補正を行うものであり、カメラの方向の補正は行われない。そのため、キャリブレーションの精度に限界がある。
【０００５】
本発明では上記事情に鑑み、複数のカメラのキャリブレーションを高い精度で実行できる建設機械のカメラ調整システムを提供することとした。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、建設機械のカメラ調整システムが提供される。このカメラ調整システムは、プロセッサを備える。プロセッサは、傾斜情報取得ステップと、補正値算出ステップと、カメラ補正ステップと、を実行するように構成される。傾斜情報取得ステップでは、建設機械が備える傾斜センサから傾斜情報を取得する。補正値算出ステップでは、傾斜情報に基づいて建設機械の傾斜に対する補正値を算出する。カメラ補正ステップでは、第１カメラから取得した第１補正用画像と第２カメラから取得した第２補正用画像とのオーバーラップ量が一定値以上になるように、補正値を参照しつつ第１カメラ又は第２カメラの向きを補正する。第１カメラ及び第２カメラは、建設機械の本体に設置されると共に、互いの撮影範囲が重複している。
【０００７】
このような態様によれば、第１補正用画像と第２補正用画像とのオーバーラップ量を用いて、第１カメラ又は第２カメラの向きを自動で補正することができる。また、カメラの向きの補正時に、建設機械の傾斜が考慮されるため、複数のカメラのキャリブレーションを高い精度で実行できる。
【図面の簡単な説明】
【０００８】
建設機械１を示す模式図である。
カメラ群４の配置の一例を示す平面図である。
第１カメラ４１の向きの調整機構の模式図である。
カメラ調整システム２のハードウェア構成を示すブロック図である。
カメラ調整システム２（プロセッサ２３）によって実現される機能を示すブロック図である。
カメラ調整システム２が実行するカメラ調整処理の流れを示すフロー図である。
カメラの向き補正処理の流れを示すフロー図である。
【発明を実施するための形態】
【０００９】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【００１０】
まず、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－ＴｒａｎｓｉｔｏｒｙＣｏｍｐｕｔｅｒ－ＲｅａｄａｂｌｅＭｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
（【００１１】以降は省略されています）

関連特許