TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2020187664
公報種別公開特許公報(A)
公開日20201119
出願番号2019093241
出願日20190516
発明の名称移動体
出願人株式会社日立製作所
代理人特許業務法人サンネクスト国際特許事務所
主分類G05D 1/02 20200101AFI20201023BHJP(制御;調整)
要約【課題】閉空間の画像から水平線分が抽出できずにジャイロセンサの累積誤差を補正ができない場合でも、自己位置推定を精度よく行うことができる移動体を提供する。
【解決手段】移動面上を移動する移動体100は、センサ12(12a、・・・、12n)と、センサ処理部と、制御部とを備える。センサ12は、移動面よりも上方の移動体100の周囲の画像301を取得する。センサ処理部は、センサ12により取得された画像301から線分303A〜N、304A’〜N’を検出する。制御部は、センサ処理部により検出された線分303、304に基づいて移動体100の移動を制御する。
【選択図】図3
特許請求の範囲【請求項1】
移動面上を移動する移動体であって、
前記移動面よりも上方の前記移動体の周囲の画像を取得する撮像部と、
前記撮像部により取得された画像から線分を検出する処理部と、
前記処理部により検出された線分に基づいて前記移動体の移動を制御する制御部と
を備えたことを特徴とする移動体。
続きを表示(約 1,100 文字)【請求項2】
前記処理部は、
前記撮像部により取得された画像から検出された線分から特定した基準線分に基づいて、前記撮像部により取得された画像から前記移動体の移動方向と平行な平行線分を特定するとともに、該特定した平行線分を、次に前記撮像部により取得された画像から前記移動体の移動方向と平行な平行線分を特定する際の前記基準線分とし、
前記制御部は、
前記処理部によって特定された前記平行線分の延伸方向へ前記移動体の移動を制御する
ことを特徴とする請求項1に記載の移動体。
【請求項3】
前記移動体は、屋内もしくは半屋内の移動面上を移動し、
前記撮像部は、屋内もしくは半屋内の壁または天井の画像を取得し、
前記処理部は、前記撮像部により取得された壁または天井の画像から線分を検出する
ことを特徴とする請求項1または2に記載の移動体。
【請求項4】
前記壁および前記天井には、平行な複数の線分を含む二次元のパターンが計画的に設けられ、
前記撮像部は、前記パターンを含んだ画像を取得し、
前記処理部は、前記撮像部により取得された画像から前記パターンに含まれる線分を検出する
ことを特徴とする請求項3に記載の移動体。
【請求項5】
前記壁および前記天井には、ランドマークが設けられ、
前記撮像部は、前記ランドマークを含んだ画像を取得し、
前記処理部は、前記撮像部により取得された画像上の前記ランドマークの位置に基づいて前記移動体の現在位置を推定する
ことを特徴とする請求項4に記載の移動体。
【請求項6】
前記処理部は、前記撮像部により取得された画像上の前記ランドマークの位置に基づいて前記移動体の現在方位を推定する
ことを特徴とする請求項5に記載の移動体。
【請求項7】
前記処理部は、
前記撮像部により取得された画像から、延伸方向が異なる複数の線分を検出し、
前記延伸方向が異なる複数の線分の多数決により前記基準線分を特定する
ことを特徴とする請求項2に記載の移動体。
【請求項8】
前記処理部は、
前記延伸方向が異なる複数の線分の多数決により前記基準線分を特定するとともに、
前記延伸方向が異なる複数の線分から、前記基準線分とは異なる延伸方向の線分を、第2の基準線分と特定し、
前記撮像部により取得された画像から、前記基準線分に基づいて前記平行線分が特定できない場合に、前記第2の基準線分に基づいて前記平行線分を特定する
ことを特徴とする請求項7に記載の移動体。

発明の詳細な説明【技術分野】
【0001】
本発明は、移動体に関する。
続きを表示(約 8,600 文字)【背景技術】
【0002】
ロボットや自動車などの移動体が、その周囲の情報を収集し、移動体の現在位置および走行状態を推定した結果に基づいて、自身の移動を制御する自律走行技術あるいは運転支援技術が開発されている。
【0003】
例えば、特許文献1には、移動体の正確な現在位置を推定するために、ジャイロセンサとカメラを用いる自己位置推定方法が開示されている。特許文献1に開示の自己位置推定方法では、閉空間の画像から水平線分を抽出し、抽出された水平線分と、水平線分が抽出される閉空間の画像を撮像した際におけるカメラユニットの回動角に基づいて、ジャイロセンサの累積誤差を補正する。
【先行技術文献】
【特許文献】
【0004】
特開2008−33837号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術では、閉空間の画像から水平線分が抽出できない場合、ジャイロセンサの累積誤差を補正できず、自己位置推定を精度よく行うことができないという問題がある。
【0006】
本発明は以上の点を考慮してなされたもので、自己位置推定を精度よく行うことを1つの目的とする。
【課題を解決するための手段】
【0007】
かかる課題を解決するため本発明においては、1つの目的を達成する一手段として、移動面上を移動する移動体は、前記移動面よりも上方の前記移動体の周囲の画像を取得する撮像部と、前記撮像部により取得された画像から線分を検出する処理部と、前記処理部により検出された線分に基づいて前記移動体の移動を制御する制御部とを備えるようにした。
【発明の効果】
【0008】
本発明によれば、例えば、自己位置推定を精度よく行うことができる。
【図面の簡単な説明】
【0009】
実施形態1に係る位置推定装置の構成例を示す図。
センサ処理部が行う情報処理手順を示すフローチャート。
基準特定処理の詳細を説明するための図。
線特定処理の詳細を説明するための図。
位置推定処理の詳細を説明するための図。
実施形態1の処理例を説明するための図。
実施形態1の処理例を説明するための図。
実施形態2を説明するための図。
実施形態2を説明するための図。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態に係る移動体の位置推定装置について、図面を用いて説明する。
【0011】
実施形態を説明するための各図面において、同一番号で同一または類似の構成または処理を示し、後出の説明を省略する。また、各実施形態および各変形例は、本発明の技術思想の範囲内および整合する範囲内でその一部または全部を組み合せることができる。
【0012】
[実施形態1]
<実施形態1の位置推定装置の構成>
図1は、実施形態1に係る位置推定装置1の構成例を示す図である。位置推定装置1は、自動車またはロボットなどの移動体100に搭載されている。位置推定装置1は、信号受付部2と、1または複数のセンサ12(12a,12b,・・・,12n)と、情報処理装置13とを有する。
【0013】
信号受付部2は、外部から受付けた信号に基づいて自己位置推定などを行う。信号受付部2は、例えば、世界座標で現在位置を推定するGPS(Global Positioning System)受信機である。なお、信号受付部2は、GPS受信機に限らず、より精度よく現在位置を推定するRTK−GPS受信機でもよい。また、信号受付部2は、準天頂衛星システムの受信機でもよい。また、信号受付部2は、既知の所定位置に設置されたビーコン発信機から発信されたビーコン信号を受信するビーコン受信機でもよい。
【0014】
あるいは、信号受付部2は、車輪エンコーダやIMU(Inertial Measurement Unit)やジャイロなどのセンサから受信した情報に基づいて、相対座標で現在位置を推定してもよい。また、信号受付部2は、移動体100が移動する走行環境の車線、標識、交通状態、立体物の形状や大きさ、高さなどの情報を受信してもよい。すなわち、信号受付部2が受信する信号や情報は、移動体100の現在位置推定や、移動体100の移動制御、走行環境の認識などに用いることができるものであれば、何れでもよい。
【0015】
センサ12は、例えばスチルカメラまたはビデオカメラである。また、センサ12は、単眼カメラまたは複眼カメラでもよい。また、センサ12は、レーザセンサでもよい。センサ12は、移動体100の周囲の画像を取得する撮像部の一例である。
【0016】
情報処理装置13は、センサ12で取得された情報を処理して移動体100の現在位置または移動量を算出する。情報処理装置13は、算出された現在位置または移動量に応じた表示を行ってもよく、または移動体100の制御に関する信号を出力してもよい。
【0017】
情報処理装置13は、例えば一般的なコンピュータであって、センサ12によって取得された情報を処理するセンサ処理部14と、センサ処理結果に基づく処理を行う制御部15と、メモリ16と、ディスプレイなどの表示部17と、これら構成要素を相互に接続するバス18とを有する。情報処理装置13は、CPUなどの処理装置であるセンサ処理部14および制御部15において所定のコンピュータプログラムを実行することにより、様々な処理を行う。
【0018】
センサ12aは、例えば、移動体100の前方に設置されている。センサ12aのレンズは、例えば移動体100の前方に向けられている。センサ12aは、例えば、移動体100の前方の遠景情報を取得する。他のセンサ12b,・・・,12nは、センサ12aと異なる位置に設置され、センサ12aと異なる撮像方向または領域を撮像する。センサ12bは、例えば、移動体100の後方で下方に向けて設置されていてもよい。センサ12bは、移動体100後方の近景情報を取得するものでよい。なお、本実施形態で説明するセンサ12a,12b,・・・,12nの設置位置、撮像方向、および撮像距離は、一例を示すに過ぎない。
【0019】
センサ12が単眼カメラの場合、路面が平らであれば、撮像した画像上のピクセル位置と実際の地上位置(x,y)との関係が一定になるため、センサ12から画像の特徴点までの距離を幾何学的に計算できる。センサ12がステレオカメラの場合、撮像した画像上の特徴点までの距離をより正確に計測できる。また、センサ12がレーザの場合、より遠方の情報をより正確に取得できる。
【0020】
以下の説明では、単眼カメラやステレオカメラを採用した例について説明するが、移動体100の周囲の立体物までの距離を算出できれば、他のセンサ(例えば広角レンズを有するカメラ、TOF(Time Of Flight)カメラまたはレーザセンサなど)でもよい。
【0021】
また、センサ12a,12b,・・・,12nが、ある時刻において撮像画像を取得する対象物は、それぞれ互いに異なるものでよい。例えば、センサ12aは、移動体100の前方の遠景情報を取得するものでよい。この場合、遠景から取得した情報は、立体物、または位置推定のためのランドマークなどの特徴が抽出されるようにしてもよい。センサ12bは、移動体100周辺の路面などの近景情報を取得するようにしてもよい。この場合、近景から取得した情報から、移動体100の周囲の白線、または路面ペイントなどが検出されるようにしてもよい。
【0022】
また、センサ12a,12b,・・・,12nは、雨や日差しなどの環境外乱の影響を同時に受けないように移動体100に設置されてもよい。例えば、センサ12aは、移動体100の前方で前向きに設置されるのに対して、センサ12bは、移動体100の後方で後ろ向きまたは下向きに設置されてもよい。これにより、例えば、降雨時にセンサ12aのレンズに雨滴が付着した場合でも、進行方向の逆向きまたは下向きのセンサ12bのレンズには雨滴が付着しにくい。このため、センサ12aが取得した情報が雨滴の影響で不鮮明であっても、センサ12bが取得した情報は雨滴の影響を受けずに鮮明である場合がある。あるいは、日差しの影響でセンサ12aが取得した情報が不鮮明であっても、センサ12bが取得した情報は日差しの影響を受けずに鮮明である場合がある。
【0023】
また、センサ12a,12b,・・・,12nは、互いに異なる取得条件(絞り値、ホワイトバランス、周期などのパラメータ)で情報を取得してもよい。移動体100に、例えば、明るい環境に適応するようにパラメータを調整したセンサ12と、暗い環境に適応するようにパラメータを調整したセンサ12とを搭載することで、環境の明暗によらず、何れかのセンサ12で移動体100の周囲を撮像可能とできる。
【0024】
センサ12a,12b,・・・,12nは、制御部15から情報取得開始の指令を受けると、または一定の時間間隔で、移動体100の周辺情報を取得する。取得された情報のデータおよび取得時刻は、メモリ16に格納される。メモリ16は、情報処理装置13の主記憶装置(メインメモリ)およびストレージなどの補助記憶装置を含む。
【0025】
センサ処理部14は、メモリ16に格納された情報のデータおよび取得時刻に基づいて、各種の情報処理を行う。この各種の情報処理では、例えば、中間情報が作成されてメモリ16に保存される。中間情報は、センサ処理部14による処理の他、制御部15などの判断や処理に利用されてもよい。センサ処理部14は、センサ12により取得された画像から線分を検出する処理部の一例である。
【0026】
センサ処理部14は、センサ12により取得された情報を処理する。センサ処理部14は、例えば、移動体100の走行中にセンサ12が取得した情報を処理して、移動体100の走行環境中の線を抽出する。また、センサ処理部14は、例えば、移動体100の走行中にセンサ12が取得した情報を処理して、事前に定められたランドマークを認識する。
【0027】
センサ処理部14は、例えば、移動体100の走行中にセンサ12が取得した情報を処理して、移動体100の現在方位および現在位置を推定する。例えば、センサ処理部14は、センサ12が時系列に取得した情報で移動体100の移動量を算出し、過去の位置に移動量を加算して現在位置を推定する。
【0028】
また、センサ処理部14は、時系列に取得した情報から特徴を抽出してもよい。センサ処理部14は、さらに、次以降の情報から同一の特徴を抽出する。そして、センサ処理部14は、特徴のトラッキングにより移動体100の移動量を算出する。また、センサ処理部14は、SLAM(Simultaneous Localization And Mapping)やStructure from Motion技術を用いて、移動体100の走行環境の形状を算出する。
【0029】
制御部15は、センサ処理部14の情報処理の結果に基づいて、移動体100に対して移動速度や移動方向に関する指令を出力してもよい。例えば、制御部15は、情報内の立体物の解像度や情報内の特徴のうちの外れ値の数または情報処理の種類等に応じて、移動体100の移動速度を増加、減少、または維持させる何れかの指令を出力してもよい。制御部15は、センサ12により取得された画像から検出された線分から特定した基準線分(後述の基準α
ref
305,501で向きが特定される線分)に基づいてセンサ12により取得された画像から特定された移動体100の移動方向と平行な平行線分の延伸方向へ移動体100の移動を制御する制御部の一例である。
【0030】
バス18は、IEBUS(Inter Equipment Bus)やLIN(Local Interconnect Network)やCAN(Controller Area Network)などで構成できる。
【0031】
外部記憶装置19は、移動体100が走行する環境の情報を記憶している。外部記憶装置19が記憶する情報は、例えば、移動体100の走行環境にある静止物(木、建物、道路、車線、信号、標識、路面ペイント、路端など)の形状や位置である。
【0032】
外部記憶装置19に記憶される、走行環境にある静止物の形状や位置の情報は、数式で表わされてもよい。例えば、線情報を複数の点で構成せず、直線の傾きと切片で表してもよい。
【0033】
また、外部記憶装置19に記憶される、走行環境にある静止物の形状や位置の情報は、情報を区別せずに、点群で表してもよい。点群は、3次元(x,y,z)あるいは4次元(x,y,z,色)などで表してもよい。すなわち、移動体100の現在位置から走行環境を検出し、マップマッチングができる情報であれば、外部記憶装置19の情報は、いずれの形式であってもよい。
【0034】
外部記憶装置19は、制御部15から取得開始の指令を受けると、記憶している情報をメモリ16に送信する。外部記憶装置19は、移動体100に搭載される場合には、バス18を介して情報を送受信する。一方、外部記憶装置19は、移動体100に搭載されない場合には、図示しない通信インターフェースを介して、LAN(Local Area Network)もしくはWAN(Wide Area Network)、または近距離無線通信等を経由して情報を送受信する。
【0035】
図2は、センサ処理部14が行う情報処理手順を示すフローチャートである。
【0036】
先ず、ステップS201では、センサ処理部14は、移動体100に搭載されているセンサ12a,12b,・・・,12nにより移動体100の周囲の環境が撮像されたそれぞれの画像から線分を検出する(線検出処理)。センサ処理部14は、例えば、Hough TransformやCanny Edge Detector技術を用いて線を検出する。
【0037】
次に、ステップS202では、センサ処理部14は、ステップS201で検出された線の中から基準となる線分を特定する(基準特定処理)。ステップS202の基準特定処理の詳細は、後述する。
【0038】
次に、ステップS203では、センサ処理部14は、ステップS202で特定された基準に基づいて、ステップS201での処理対象フレームの次フレームについて、線検出処理でセンサ12a,12b,・・・,12nで撮像したそれぞれの画像から抽出した線分の中から線分を特定する(線特定処理)。ステップS203の線特定処理の詳細は、後述する。
【0039】
次に、ステップS204では、センサ処理部14は、ステップS203で特定した線に基づいて、位置推定を実施する(位置推定処理)。位置推定処理は、ステップS202の基準特定処理で特定された基準となる線分に対する、ステップS203の線特定処理で特定された線分の角度変化の推定と、移動体100の現在位置の推定とを含む。
【0040】
そして、ステップS204では、センサ処理部14は、ステップS203で特定した線を、次の位置推定処理に用いる基準とする。以後、移動体100において位置推定を終了するまで、フレームごとにステップS203およびステップS204が繰り返される。ステップS204の位置推定処理の詳細は、後述する。
【0041】
以下、基準特定処理(ステップS202)、線特定処理(ステップS203)、位置推定処理(ステップS204)の詳細を説明するが、簡単のため、移動体100の走行環境は、屋内もしくは室内であるとする。しかし、屋内に限らず、屋外、あるいは半屋内や半屋外でもよい。
【0042】
また、以下の説明では、センサ12a,12b,・・・,12nの撮像方向を移動体100の上方とし、天井300を撮像するとする。しかし、センサ12a,12b,・・・,12nの撮像方向は、上方に限らず、移動体100の走行面に対する垂直面もしくは仮想的な垂直面へ向かう方向であってもよい。すなわち、センサ12a,12b,・・・,12nの撮像方向は、移動体100が移動する移動面よりも上方であってもよい。例えば、センサ12a,12b,・・・,12nの撮像方向が移動体100の移動面よりも上方である場合、屋内などの閉空間において移動面に自己位置推定を行うための情報が存在しない場合であっても移動体100の位置推定を行うことができる。
【0043】
<基準特定処理の詳細>
図3は、基準特定処理(ステップS202)の詳細を説明するための図である。
【0044】
画像301は、移動体100の走行開始位置でセンサ12a,12b,・・・,12nで撮像した画像のうちの1つであり、画像301の座標系を座標系(u,v)とする。
【0045】
パターン302は、画像301に写った天井300のパターンである。パターン302は、例えば、模様や線などの二次元パターンである。なお、パターン302は、タイル、電球、看板、壁板、天井板、窓、ポスターなど、線を抽出可能な、屋内あるいは屋外に既存の立体物で構成されてもよい。また、パターン302は、複数種類の既存の立体物を組み合わせて構成されてもよい。例えば、パターン302が壁板および天井板で構成される場合には、床と壁の境界線、壁と壁の境界線(コーナー)、壁と天井の境界線が線分として検出される。
【0046】
線303A,・・・,303Nは、線検出処理(ステップS201)で検出された線であり、座標系(u,v)に対して角度αの向きを有する。以下、「角度xの向き」を単に「向きx」と表記する。また、図3に示す線304A’,・・・,304N’は、同じく線検出処理で検出された線であり、座標系(u,v)に対して向きα’を有する。簡単のため、画像上で所定長以上の線を検出対象とする。
【0047】
移動体100の走行環境は、計画的に作成された屋内環境であり、計画的にパターンが配置されていることを前提とする。従って、画像301に写る線の向きは全て一定である。線303A,・・・,303Nと線304A’,・・・,304N’とは、一定の角度θ=|α’−α|で向きが異なる。
【0048】
よって、画像301から線検出処理(ステップS201)で検出した線の向きを多数決で算出すると、座標系(u,v)に対して向きαまたは向きα’が得られる。多数決とは、例えば、線検出処理(ステップS201)で検出された線の向きの平均、中央値、あるいは最頻値を算出することをいう。例えば、多数決で線304A’,・・・,304N’の向きα’が得られ、向きα’が基準α
ref
305として特定される。なお、座標系(u,v)に対する向きが基準α
ref
305で表される線分自体を「基準」と呼ぶこともできる。
【0049】
センサ12a,12b,・・・,12nを上向きとし、かつ走行環境の天井300が平らである場合、天井300に配置されている水平線と垂直線は、画像301上でもそれぞれ水平線と垂直線になる。水平線と垂直線の定義については、後述する。しかし、センサ12a,12b,・・・,12nを上向きとしない、または天井が平らではない場合、線検出処理(ステップS201)で検出された線の実際の向きは、次のように算出できる。
【0050】
すなわち、センサ12a,12b,・・・,12nがステレオカメラの場合、視差画像を用いて、画像301上の線検出処理(ステップS201)で検出された線をピクセルからメートルに変換することで、線の実際の向きを算出できる。
(【0051】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

株式会社日立製作所
移動体
株式会社日立製作所
飛翔体
株式会社日立製作所
除塵機
株式会社日立製作所
軌条車両
株式会社日立製作所
検査装置
株式会社日立製作所
開閉装置
株式会社日立製作所
増幅回路
株式会社日立製作所
開閉装置
株式会社日立製作所
電源装置
株式会社日立製作所
撮像装置
株式会社日立製作所
鉄道車両
株式会社日立製作所
軌条車両
株式会社日立製作所
二次電池
株式会社日立製作所
編成車両
株式会社日立製作所
保安装置
株式会社日立製作所
軌条車両
株式会社日立製作所
制御装置
株式会社日立製作所
電気機器
株式会社日立製作所
鉄道車両
株式会社日立製作所
ガス遮断器
株式会社日立製作所
ガス遮断器
株式会社日立製作所
直動電動機
株式会社日立製作所
ガス遮断器
株式会社日立製作所
光計測装置
株式会社日立製作所
ガス遮断器
株式会社日立製作所
ガス遮断器
株式会社日立製作所
汚泥掻寄機
株式会社日立製作所
ガス遮断器
株式会社日立製作所
ガス遮断器
株式会社日立製作所
位相調整器
株式会社日立製作所
X線撮像装置
株式会社日立製作所
半導体チップ
株式会社日立製作所
エレベーター
株式会社日立製作所
細胞製造装置
株式会社日立製作所
映像生成装置
株式会社日立製作所
静止誘導電器
続きを見る