特許ウォッチ

公開番号2025104197
公報種別公開特許公報(A)
公開日2025-07-09
出願番号2024069789
出願日2024-04-23
発明の名称モビリティ用カメラベースの同時的位置推定および地図作成方法およびシステム
出願人現代自動車株式会社,HYUNDAI MOTOR COMPANY,起亞株式会社,KIA CORPORATION
代理人弁理士法人共生国際特許事務所
主分類G05D 1/246 20240101AFI20250702BHJP(制御;調整)
要約【課題】特徴点を消失しても、継続して進行できるモビリティ用同時的位置推定および地図作成(SLAM)システムを開示する。
【解決手段】本発明は、モビリティの前方イメージを取得するように構成されたカメラと、モビリティの移動データを検出するように構成された移動データセンサと、カメラからモビリティの前方イメージを受信して前方イメージから特徴点を探索し、移動データセンサからモビリティの移動データを受信し、探索された特徴点を追従し、特徴点を追従する状態を格納するように構成された制御器とを含み、前記状態は、前に追従していた第1特徴点を正常に追従していることを示す第1状態と、第1特徴点を消失した後、新たな第2特徴点を追従していることを示す第2状態と、第1特徴点および第2特徴点が消失したことを示す第3状態とを含む。
【選択図】図1
特許請求の範囲【請求項１】
モビリティの前方イメージを取得するように構成されたカメラと、
モビリティの移動データを検出するように構成された移動データセンサと、
カメラからモビリティの前方イメージを受信して前方イメージから特徴点を探索し、移動データセンサからモビリティの移動データを受信し、探索された特徴点を追従し、特徴点を追従する状態を格納するように構成された制御器と、
を含み、
前記状態は、
前に追従していた第１特徴点を正常に追従していることを示す第１状態と、
第１特徴点を消失した後、新たな第２特徴点を追従していることを示す第２状態と、
第１特徴点および第２特徴点が消失したことを示す第３状態と、
を含むことを特徴とするモビリティ用同時的位置推定および地図作成（ＳＬＡＭ）システム。
続きを表示（約 1,900 文字）【請求項２】
前記制御器は、第３状態でモビリティの移動データに基づいてモビリティの位置をアップデートするようにさらに構成されたことを特徴とする請求項１に記載のモビリティ用ＳＬＡＭシステム。
【請求項３】
前記移動データセンサは、
モビリティに備えられた駆動モータまたは車輪の回転に関する情報を測定し、前記情報を制御器に伝送するように構成されたエンコーダ、または
モビリティの速度と方向、重力、そして加速度を含むモビリティの移動状況に関する情報を測定し、前記情報を制御器に伝送するように構成された慣性センサ、
を含むことを特徴とする請求項１に記載のモビリティ用ＳＬＡＭシステム。
【請求項４】
前記制御器は、
第１状態で第１特徴点を追従し、第１特徴点が含まれているフレームを第１キーフレームとして格納し、
第１状態の後、第２状態で第２特徴点を臨時に追従し、第２特徴点が含まれているフレームを第２キーフレームとして格納し、
第１、第２キーフレーム間の距離が設定距離未満なのかを判断し、
第１、第２キーフレーム間の距離が設定距離未満という判断に応答して、状態を第１状態に入力し、現在のフレームを第１キーフレームとして格納するようにさらに構成されたことを特徴とする請求項１に記載のモビリティ用ＳＬＡＭシステム。
【請求項５】
前記制御器は、第１、第２キーフレーム間の距離が設定距離以上という判断に応答して、第２状態に維持された時間が設定時間より大きいかを判断し、
第２状態に維持された時間が設定時間より大きいという判断に応答して、状態を第１状態に入力し、第２特徴点を新たな第１特徴点と見なして追従するようにさらに構成されたことを特徴とする請求項４に記載のモビリティ用ＳＬＡＭシステム。
【請求項６】
前記制御器は、第２状態に維持された時間が設定時間未満という判断に応答して、状態を第２状態に入力し、第２特徴点を臨時に追従するようにさらに構成されたことを特徴とする請求項５に記載のモビリティ用ＳＬＡＭシステム。
【請求項７】
前記制御器は、追従していた第１特徴点を消失し、新たな第２特徴点を探索したことに応答して、状態を第２状態に入力し、第２特徴点が含まれているフレームを第２キーフレームとして格納し、第２キーフレームに基づいてモビリティの位置をアップデートするようにさらに構成されたことを特徴とする請求項１に記載のモビリティ用ＳＬＡＭシステム。
【請求項８】
前記制御器は、探索された特徴点の個数が設定個数以下の場合、状態を第３状態に入力するようにさらに構成されたことを特徴とする請求項１に記載のモビリティ用ＳＬＡＭシステム。
【請求項９】
前に追従していた第１特徴点を正常に追従していることを示す第１状態、第１特徴点を消失した後、新たな第２特徴点を追従していることを示す第２状態、そして第１特徴点および第２特徴点が消失したことを示す第３状態、のうちの１つの状態で特徴点またはモビリティの移動データに基づくモビリティの位置を測位するモビリティ用同時的位置推定および地図作成（ＳＬＡＭ）方法において、
制御器によって、第１状態でモビリティの前方イメージをカメラから受信して前方イメージから特徴点を探索する段階と、
制御器によって、設定された個数より多い特徴点が探索されたという判断に応答して、現在探索された第１特徴点を含むフレームを第１キーフレームとして格納し、第１特徴点に基づいてモビリティの位置を測位する段階と、
制御器によって、設定された個数以下の特徴点が探索されたという判断に応答して、状態に第３状態を入力する段階と、
制御器によって、モビリティの移動データに基づいてモビリティの位置を測位する段階と、
を含むことを特徴とするモビリティ用ＳＬＡＭ方法。
【請求項１０】
前記制御器によって、第３状態でモビリティの前方イメージをカメラから受信して前方イメージから特徴点を探索する段階と、
前記制御器によって、設定された個数より多い特徴点が探索されたという判断に応答して、状態に第２状態を入力する段階と、
前記制御器によって、現在探索された第２特徴点に基づいてモビリティの位置を測位する段階と、
をさらに含むことを特徴とする請求項９に記載のモビリティ用ＳＬＡＭ方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、モビリティ用カメラベースの同時的位置推定および地図作成方法およびシステムに関し、より詳しくは、オブジェクト追従による同時的位置推定および地図作成（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ、ＳＬＡＭ）の途中に特徴点を消失しても、移動データセンサに基づく位置測位でＳＬＡＭを継続して進行するモビリティ用カメラベースの同時的位置推定および地図作成方法およびシステムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
同時的位置推定および地図作成（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ、ＳＬＡＭ）は、モビリティが未知の環境を探索しながら現在の自身の位置を計測し、同時に周辺環境の地図を作成する技術をいう。このようなＳＬＡＭは、主にライダーベースで行われる。しかし、ライダーベースのＳＬＡＭは、モビリティにライダーを別途に装着しなければならないので価格が高く、人間の輸送ではなく室内でのみ使用するモビリティには適用されることが珍しく、カメラベースのＳＬＡＭが主に適用されていた。
【０００３】
しかし、カメラベースの室内環境ＳＬＡＭは、白い壁、特徴がない平面、光が強い場合の外乱によってカメラが検出したイメージから特徴点を正確に抽出しにくいことがあり、特徴点を長時間消失する場合、ＳＬＡＭが終了しうる。この背景技術の部分に記載された事項は発明の背景に対する理解を増すために作成されたものであって、この技術の属する分野における通常の知識を有する者にすでに知られた従来技術でない事項を含むことができる。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－１３５５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、オブジェクト追従による同時的位置推定および地図作成（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ、ＳＬＡＭ）の途中に特徴点を消失しても、移動データセンサに基づく位置測位でＳＬＡＭを継続して進行するモビリティ用カメラベースの同時的位置推定および地図作成方法およびシステムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明によるモビリティ用同時的位置推定および地図作成（ＳＬＡＭ）システムは、モビリティの前方イメージを取得するように構成されたカメラと、モビリティの移動データを検出するように構成された移動データセンサと、カメラからモビリティの前方イメージを受信して前方イメージから特徴点を探索し、移動データセンサからモビリティの移動データを受信し、探索された特徴点を追従し、特徴点を追従する状態を格納するように構成された制御器とを含み、前記状態は、前に追従していた第１特徴点を正常に追従していることを示す第１状態と、第１特徴点を消失した後、新たな第２特徴点を追従していることを示す第２状態と、第１特徴点および第２特徴点が消失したことを示す第３状態とを含むことを特徴とする。
【０００７】
前記制御器は、第３状態でモビリティの移動データに基づいてモビリティの位置をアップデートするようにさらに構成される。
【０００８】
移動データセンサは、モビリティに備えられた駆動モータまたは車輪の回転に関する情報を測定し、前記情報を制御器に伝送するように構成されたエンコーダ、またはモビリティの速度と方向、重力、そして加速度を含むモビリティの移動状況に関する情報を測定し、前記情報を制御器に伝送するように構成された慣性センサを含むことができる。
【０００９】
制御器は、第１状態で第１特徴点を追従し、第１特徴点が含まれているフレームを第１キーフレームとして格納し、第１状態の後、第２状態で第２特徴点を臨時に追従し、第２特徴点が含まれているフレームを第２キーフレームとして格納し、第１、第２キーフレーム間の距離が設定距離未満なのかを判断し、第１、第２キーフレーム間の距離が設定距離未満という判断に応答して、状態を第１状態に入力し、現在のフレームを第１キーフレームとして格納するようにさらに構成される。
【００１０】
前記制御器は、第１、第２キーフレーム間の距離が設定距離以上という判断に応答して、第２状態に維持された時間が設定時間より大きいかを判断し、第２状態に維持された時間が設定時間より大きいという判断に応答して、状態を第１状態に入力し、第２特徴点を新たな第１特徴点と見なして追従するようにさらに構成される。
（【００１１】以降は省略されています）

関連特許