特許ウォッチ

公開番号2025174855
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2025033406
出願日2025-03-04
発明の名称車両の走行を制御する方法と装置及び車両
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人弁理士法人ITOH
主分類G01C 21/32 20060101AFI20251120BHJP(測定;試験)
要約【課題】車両の走行を制御する方法と装置及び車両が開示される。
【解決手段】一実施形態に係る車両の走行を制御する方法は、車両の走行環境に対応する連続する時点における映像フレームを含むマルチビュー映像を受信し、映像フレームごとに連続する時点それぞれに対応するBEV特徴及びマップクエリを抽出し、映像フレームの以前映像フレームのクエリに対応してメモリに格納された第1メモリトークン、BEV特徴及びマップクエリに基づいて、映像フレームに含まれたマップ要素を予測してベクトル化したベクトル化マップを生成し、ベクトル化マップに基づいて車両の走行を制御する。
【選択図】図1

特許請求の範囲【請求項１】
車両の走行環境に対応する連続する時点における映像フレームを含むマルチビュー映像を受信するステップと、
前記映像フレームごとに前記連続する時点それぞれに対応するＢＥＶ特徴及びマップクエリを抽出するステップと、
前記映像フレームの以前映像フレームのクエリに対応してメモリに格納された第１メモリトークン、前記ＢＥＶ特徴及び前記マップクエリに基づいて、前記映像フレームに含まれたマップ要素を予測してベクトル化したベクトル化マップを生成するステップと、
前記ベクトル化マップに基づいて前記車両の走行を制御するステップと、
を含む、車両の走行を制御する方法。
続きを表示（約 2,000 文字）【請求項２】
前記ＢＥＶ特徴及びマップクエリを抽出するステップは、
バックボーンネットワークを用いて前記映像フレームに対応する透視図（ｐｅｒｓｐｅｃｔｉｖｅ：ＰＶ）の映像特徴を抽出するステップと、
前記透視図（ＰＶ）の映像特徴を前記ＢＥＶ特徴に変換するステップと、
前記ＢＥＶ特徴及び前記映像フレームに対応するクエリに基づいて、前記ベクトル化マップを構成するために使用されるフレームレベルの前記マップクエリを抽出するステップと、
前記ＢＥＶ特徴と前記マップクエリを出力するステップと、
を含む、請求項１に記載の車両の走行を制御する方法。
【請求項３】
前記ベクトル化マップを生成するステップは、
前記第１メモリトークンを判読するステップと、
前記マップクエリ、前記ＢＥＶ特徴、及び前記第１メモリトークンに基づいて、前記ベクトル化マップを構成する前記マップ要素を含むマップトークン、及び前記映像フレームに対応するベクトル化された特徴を含むクリップトークンの少なくとも１つを生成するステップと、
前記マップトークンに基づいて、前記ベクトル化マップを生成するステップと、
を含む、請求項１に記載の車両の走行を制御する方法。
【請求項４】
前記マップトークン及び前記クリップトークンのうち少なくとも１つを生成するステップは、
前記マップクエリ及び前記第１メモリトークンから前記映像フレームに対応する特徴空間で前記マップ要素に対する手がかりを含む前記クリップトークンを生成するステップと、
前記ＢＥＶ特徴が隠されたマップ要素を含むよう前記クリップトークンを用いて前記ＢＥＶ特徴をアップデートするステップと、
前記アップデートされたＢＥＶ特徴及び前記マップクエリを用いて前記マップトークンを生成するステップと、
を含む、請求項３に記載の車両の走行を制御する方法。
【請求項５】
前記マップクエリの大きさは、前記クリップトークンの大きさ、前記マップ要素の個数、及び前記マップ要素ごとのポイントの個数のうち少なくとも１つに基づいて決定される、請求項３に記載の車両の走行を制御する方法。
【請求項６】
前記ＢＥＶ特徴をアップデートするステップは、
前記ＢＥＶ特徴からクエリを抽出するステップと、
前記クリップトークンからキー及びバリューを抽出するステップと、
前記クエリ、前記キー、及び前記バリューを用いて交差アテンションネットワーク及びフィードフォワードネットワークを介して前記ＢＥＶ特徴をアップデートするステップと、
を含む、請求項４に記載の車両の走行を制御する方法。
【請求項７】
前記マップトークンを生成するステップは、変形可能なアテンションネットワーク、分離されたセルフアテンションネットワーク、及びフィードフォワードネットワークを用いて、前記マップクエリ及び前記アップデートされたＢＥＶ特徴から前記マップトークンを生成するステップを含む、請求項４に記載の車両の走行を制御する方法。
【請求項８】
前記マップトークンを生成するステップは、前記変形可能なアテンションネットワークを用いて前記マップクエリから前記クエリを抽出し、前記アップデートされたＢＥＶ特徴から値を取得することで前記マップトークンを生成するステップを含む、請求項７に記載の車両の走行を制御する方法。
【請求項９】
前記ベクトル化マップを生成するステップは、予め学習された神経網によって前記映像フレームに含まれた前記マップ要素を予測し、インスタンスごとにベクトル化した前記ベクトル化マップを生成するステップを含み、
前記予め学習された神経網は、
前記メモリで前記第１メモリトークンを判読するか、前記メモリに第２メモリトークンを記録する第２－１神経網と、
前記マップクエリ、前記ＢＥＶ特徴、及び前記第１メモリトークンに基づいて、前記映像フレームのうち現在フレームに対応する前記ベクトル化マップを生成する第２－２神経網と、
のうち少なくとも１つを含む、請求項３に記載の車両の走行を制御する方法。
【請求項１０】
前記ベクトル化マップを生成するステップは、
前記第２－１神経網によって、前記メモリに前記マップトークンを記録するステップと、
前記マップトークンのうち、現在フレームに対応するマップトークンが予測ヘッドを通過することにより前記ベクトル化マップを生成するステップと、
を含む、請求項９に記載の車両の走行を制御する方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【背景技術】
【０００１】
以下の実施形態は、車両の走行を制御する方法と装置及び車両に関する。
続きを表示（約 1,800 文字）【技術分野】
【０００２】
神経網（ニューラルネットワーク）が発展することにより、様々な分野の電子装置が神経網に基づいたモデルによって入力データを分析し、有効情報を抽出及び／又は生成することができる。例えば、神経網を用いて道路の幾何学的な情報（例えば、車線、道路標識）を予測して高画質マップを構成することは、安全な自律走行のための重要な作業である。高画質マップを構成する静的マップ要素は、例えば、車線維持、経路計画、軌道予測のようなアプリケーションを含む自律走行車両に重要な情報である。しかし、静的マップ要素は、道路上の様々な動的オブジェクトによって繰り返し遮られることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の課題は、車両の走行を制御する方法と装置及び車両を提供することにある。
【課題を解決するための手段】
【０００４】
一実施形態によれば、車両の走行を制御する方法は、車両の走行環境に対応する連続する時点における映像フレームを含むマルチビュー映像を受信するステップと、前記映像フレームごとに前記連続する時点それぞれに対応するＢＥＶ特徴及びマップクエリを抽出するステップと、前記映像フレームの以前映像フレームのクエリに対応してメモリに格納された第１メモリトークン、前記ＢＥＶ特徴及び前記マップクエリに基づいて、前記映像フレームに含まれたマップ要素を予測してベクトル化したベクトル化マップを生成するステップと、前記ベクトル化マップに基づいて前記車両の走行を制御するステップとを含む。
【０００５】
前記ＢＥＶ特徴及びマップクエリを抽出するステップは、バックボーンネットワークを用いて前記映像フレームに対応する透視図（ｐｅｒｓｐｅｃｔｉｖｅ：ＰＶ）の映像特徴を抽出するステップと、前記透視図（ＰＶ）の映像特徴を前記ＢＥＶ特徴に変換するステップと、前記ＢＥＶ特徴及び前記映像フレームに対応するクエリに基づいて、前記ベクトル化マップを構成するために使用されるフレームレベルの前記マップクエリを抽出するステップと、前記ＢＥＶ特徴と前記マップクエリを出力するステップとを含むことができる。
【０００６】
前記ベクトル化マップを生成するステップは、前記第１メモリトークンを判読するステップと、前記マップクエリ、前記ＢＥＶ特徴、及び前記第１メモリトークンに基づいて、前記ベクトル化マップを構成する前記マップ要素を含むマップトークン、及び前記画像フレームに対応するベクトル化された特徴を含むクリップトークンの少なくとも１つを生成するステップと、前記マップトークンに基づいて、前記ベクトル化マップを生成するステップとを含むことができる。
【０００７】
前記マップトークン及び前記クリップトークンのうち少なくとも１つを生成するステップは、前記マップクエリ及び前記第１メモリトークンから前記映像フレームに対応する特徴空間で前記マップ要素に対する手がかりを含む前記クリップトークンを生成するステップと、前記ＢＥＶ特徴が隠されたマップ要素を含むよう前記クリップトークンを用いて前記ＢＥＶ特徴をアップデートするステップと、前記アップデートされたＢＥＶ特徴及び前記マップクエリを用いて前記マップトークンを生成するステップとを含むことができる。
【０００８】
前記マップクエリの大きさは、前記クリップトークンの大きさ、前記マップ要素の個数、及び前記マップ要素ごとのポイントの個数のうち少なくとも１つに基づいて決定されることができる。
【０００９】
前記ＢＥＶ特徴をアップデートするステップは、前記ＢＥＶ特徴からクエリを抽出するステップと、前記クリップトークンからキー及びバリューを抽出するステップと、前記クエリ、前記キー、及び前記バリューを用いて交差アテンションネットワーク及びフィードフォワードネットワークを介して前記ＢＥＶ特徴をアップデートするステップとを含むことができる。
【００１０】
前記マップトークンを生成するステップは、変形可能なアテンションネットワーク、分離されたセルフアテンションネットワーク、及びフィードフォワードネットワークを用いて、前記マップクエリ及び前記アップデートされたＢＥＶ特徴から前記マップトークンを生成するステップを含むことができる。
（【００１１】以降は省略されています）

関連特許