特許ウォッチ

公開番号2025093302
公報種別公開特許公報(A)
公開日2025-06-23
出願番号2024206050
出願日2024-11-27
発明の名称緊急車両音声の存在下での自律車両運転経路の選択
出願人ウェイモエルエルシー
代理人個人,個人
主分類B60W 30/095 20120101AFI20250616BHJP(車両一般)
要約【課題】記載される態様および実装は、自律車両および運転支援システムのための音声ベースの緊急車両検出、位置特定、および追跡を支援する。
【解決手段】本技術は、車両の1つ以上の音声検出器を使用して、緊急車両(EV)によって発せられる音声を含む音声記録を取得することを含む。本技術は、車両の運転環境内のEVの可能性のある位置の第一のマップを含み、EVの可能な速度の第二のマップをさらに含みうる、SL出力を取得するために、音声記録に音声位置特定(SL)モデルを適用することをさらに含む。本技術は、SL出力を使用して、車両の運転環境内のシミュレーションされたEV(複数可)の軌道をシミュレーションすることと、シミュレーションされた軌道の車両の運転経路への近接に応答して、車両の運転経路の修正することとをさらに含む。
【選択図】図4
特許請求の範囲【請求項１】
方法であって、
車両の１つ以上の音声検出器を使用して、緊急車両（ＥＶ）によって発せられる音声を含む音声記録を取得することと、
処理装置を使用して、前記音声記録に音声位置特定（ＳＬ）モデルを適用して、ＳＬ出力を生成することであって、前記ＳＬ出力が、前記車両の運転環境内の前記ＥＶの可能性のある位置の第一のマップを含むことと、
前記処理装置によって、前記ＳＬ出力を使用して、前記車両の前記運転環境内の１つ以上のシミュレーションされたＥＶの軌道をシミュレーションすることと、
前記シミュレーションされた軌道の１つ以上の、前記車両の運転経路への近接に応答して、前記車両の前記運転経路を修正させることと、
を含む、方法。
続きを表示（約 1,800 文字）【請求項２】
前記第一のマップが、前記ＥＶによる、前記車両の前記運転環境の複数の位置の確率的占有を含む、請求項１に記載の方法。
【請求項３】
前記ＳＬ出力が、前記ＥＶの可能な速度の第二のマップを含む、請求項２に記載の方法。
【請求項４】
前記第二のマップが、複数の確率を含み、前記複数の確率の各々が、前記ＥＶが複数の速度の各々速度で移動している可能性を特徴付け、前記１つ以上のシミュレーションされたＥＶの軌道をシミュレーションすることが、
前記第一のマップを使用して、前記１つ以上のシミュレーションされたＥＶの位置を選択することと、
前記第二のマップを使用して、前記１つ以上のシミュレーションされたＥＶの速度を選択することと、
前記選択された位置および前記選択された速度を使用して、前記シミュレーションされた軌道を計算することと、
を含む、請求項３に記載の方法。
【請求項５】
前記ＳＬモデルを前記音声記録に適用することが、
前記音声記録のための第一のスペクトログラムを取得することであって、前記第一のスペクトログラムが、第一のサンプリングウィンドウサイズおよび第一のサンプリングレートを使用して取得されることと、
前記音声記録のための第二のスペクトログラムを取得することであって、前記第二のスペクトログラムが、第二のサンプリングウィンドウサイズおよび第二のサンプリングレートを使用して取得され、前記第一のサンプリングウィンドウサイズが前記第二のサンプリングウィンドウサイズよりも大きく、前記第一のサンプリングレートが前記第二のサンプリングレートよりも小さいことと、
前記ＳＬモデルを使用して、前記第一のスペクトログラムおよび前記第二のスペクトログラムを処理することと、
を含む、請求項１に記載の方法。
【請求項６】
前記第一のスペクトログラムおよび前記第二のスペクトログラムを処理することが、
第一のニューラルネットワークを使用して、前記第一のスペクトログラムを処理して、第一の埋め込みを取得することと、
第二のニューラルネットワークを使用して、前記第二のスペクトログラムを処理して、第二の埋め込みを取得することと、
前記第一の埋め込みおよび前記第二の埋め込みを融合して、融合埋め込みを取得することと、
第三のニューラルネットワークを使用して、前記融合埋め込みを処理して、前記ＳＬ出力を取得することと、
を含む、請求項５に記載の方法。
【請求項７】
１つ以上のシミュレーションされたＥＶの軌道をシミュレーションすることが、
前記車両の感知システムによって収集された電磁センサデータを使用して、前記車両の前記運転環境の１つ以上の閉塞領域を特定することであって、前記電磁センサデータが、
Ｌｉｄａｒデータ、
レーダーデータ、または
カメラデータの１つ以上を含むことと、
前記１つ以上の閉塞領域内で、前記１つ以上のシミュレーションされたＥＶの位置を選択することと、
を含む、請求項１に記載の方法。
【請求項８】
道路レイアウト情報を使用して、前記１つ以上の閉塞領域内の運転可能な領域を特定することをさらに含み、
前記１つ以上のシミュレーションされたＥＶの前記選択された位置が、前記特定された運転可能な領域内で選択される、請求項７に記載の方法。
【請求項９】
前記ＳＬ出力が、信頼性スコアをさらに含み、前記方法が、
前記信頼性スコアが閾値信頼性スコア未満であることに応答して、前記１つ以上のシミュレーションされたＥＶの前記位置を選択することにおいて、前記第一のマップを無視することをさらに含む、請求項７に記載の方法。
【請求項１０】
前記シミュレーションされた軌道の、前記車両の前記運転経路への前記１つ以上の前記近接が、所定の時間にわたって前記運転経路に従うように計画された前記車両から、所定の距離よりも小さい前記シミュレーションされた軌道の前記１つ以上までの距離を含む、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本明細書は、概して、自律車両および運転支援システムに関する。より具体的には、本明細書は、緊急車両音声の存在下での自律車両運転経路の選択に関する。
続きを表示（約 5,300 文字）【背景技術】
【０００２】
自律（完全および部分的な自動運転）車両（ＡＶ）は、様々な電磁（例えば、レーダーおよび光学）ならびに非電磁（例えば、音声および湿度）センサで、外部環境を感知することによって動作する。一部の自律車両は、感知されたデータに基づいて、環境内の運転経路をチャート化する。運転経路は、全地球測位システム（ＧＰＳ）データおよびロードマップデータに基づいて決定しうる。ＧＰＳおよびロードマップデータは、環境の静的な側面（建物、街路のレイアウト、道路閉鎖など）についての情報を提供しうるが、動的情報（他の車両、歩行者、街路灯についての情報など）は、同時に収集された感知データから取得される。運転経路の精度および安全性、ならびに自律車両によって選択されるスピードレジームの精度および安全性は、外部環境に存在する様々な物体の適時かつ正確な特定、ならびに環境についての情報を処理し、車両コントロールおよびドライブトレーンに正しい指示を提供する運転アルゴリズムの能力に依存する。
【図面の簡単な説明】
【０００３】
本開示は、限定ではなく、例として示されており、図に関連して考慮される時に、以下の詳細な説明を参照することにより、より完全に理解されうる。
図１は、本開示の一部の実装による、音声検出および処理技術を使用してＥＶの位置特定を推定し、自律車両の運転経路を決定する能力を有する、例示的な自律車両の構成要素を示す図である。
図２Ａは、本開示の一部の実装による、自律車両の知覚およびプランニングシステムの一部として使用されうる、例示的な音声ベースの緊急車両検出、位置特定、および追跡パイプラインを示す図である。図２Ｂは、本開示の一部の実装による、図２Ａの検出、位置特定、および追跡パイプラインの一部として展開されうる、緊急音声位置特定モデルの例示的なアーキテクチャを示す図である。
図３は、本開示の一部の実装による、自律運転アプリケーションにおける、運転経路選択のための緊急音声位置特定モデルを使用する、挙動予測のための、音声および感知データ処理の例示的なデータフローを示す。
図４は、本開示の一部の実装による、自律運転アプリケーションにおける、運転経路選択のための緊急音声位置特定モデルを展開しうる、自律車両の例示的な環境を示す。
図５は、本開示の一部の実装による、緊急車両の音声の存在下で、車両の運転経路を制御する方法を示す。
図６は、本開示の一部の実装による、自律車両の知覚システムの一部として使用されうる、音声ベースの緊急車両検出、位置特定、および追跡パイプラインをサポート可能な、例示的なコンピュータデバイスのブロック図を示す。
【発明の概要】
【０００４】
一実装において、車両の１つ以上の音声検出器を使用して、緊急車両（ＥＶ）によって発せられる音声を含む音声記録を取得することを含む、方法が開示される。方法は、さらに、処理装置を使用して、音声記録に音声位置特定（ＳＬ）モデルを適用して、ＳＬ出力を生成することを含む。ＳＬ出力は、車両の運転環境内の、ＥＶの可能性のある位置の第一のマップを含む。方法は、さらに、処理装置によって、ＳＬ出力を使用して、車両の運転環境内の１つ以上のシミュレーションされたＥＶの軌道をシミュレーションすることと、シミュレーションされた軌道の１つ以上の、車両の運転経路への近接に応答して、車両の運転経路を修正させることとを含む。
【０００５】
別の実装において、車両の感知システムおよび車両の知覚システムを含む方法が開示される。感知システムは、ＥＶによって発せられる音声を含む、音声記録を取得するように構成された、１つ以上の音声検出器を含む。知覚システムは、ＳＬモデルを音声記録に適用して、車両の運転環境内の、ＥＶの可能性のある位置の第一のマップを含む、ＳＬ出力を取得するように構成される。知覚システムは、さらに、ＳＬ出力を使用して、車両の運転環境内の、１つ以上のシミュレーションされたＥＶの軌道を、シミュレーションするように構成される。知覚システムは、さらに、シミュレーションされた軌道の１つ以上の、車両の運転経路への近接に応答して、車両の運転経路を修正させるように構成される。
【０００６】
別の実装において、処理装置によって実行される時に、処理装置に、車両の１つ以上の音声検出器を使用して、ＥＶによって発せられる音声を含む音声記録を取得することを含む、動作を実行させる命令を保存する、非一時的コンピュータ可読ストレージ媒体が開示される。動作は、さらに、音声記録にＳＬモデルを適用して、車両の運転環境内の、ＥＶの可能性のある位置の第一のマップを含むＳＬ出力を生成させることを含む。動作は、さらに、ＳＬ出力を使用して、車両の運転環境内の１つ以上のシミュレーションされたＥＶの軌道をシミュレーションすることと、シミュレーションされた軌道の１つ以上の、車両の運転経路への近接に応答して、車両の運転経路を修正させることとを含む。
【発明を実施するための形態】
【０００７】
自律車両（ＡＶ）または様々な運転支援技術を導入する車両は、複数のセンサモダリティを使用して、外部環境中の物体の検出を容易にし、そのような物体の動きの軌道を決定しうる。センサは、無線検出および範囲（レーダー）センサ、光検出および範囲（Ｌｉｄａｒ）センサ、複数のデジタルカメラ、音声センサ（マイクロフォン）、位置センサなどを含みうる。異なるタイプのセンサは、異なる相補的な利益を提供しうる。例えば、レーダーおよびＬｉｄａｒは、物体から反射し、物体までの距離（例えば、信号の飛行時間から）および物体の速度（例えば、反射信号の周波数のドップラーシフトから）についての情報を伝達する、電磁信号（無線信号、または光信号）を放射する。レーダーおよびＬｉｄａｒは、一連の連続的な感知フレームを使用することによって、３６０度ビュー全体をスキャンしうる。感知フレームは、戻り点の高密度グリッド内の外部環境をカバーする、多数の反射を含みうる。各戻り点は、対応する反射オブジェクトまでの距離および反射オブジェクトの半径方向速度（視線に沿った速度の成分）と関連付けられうる。カメラ（例えば、写真またはビデオカメラ）は、短い距離および長い距離で高解像度画像を取得し、Ｌｉｄａｒおよびレーダーデータを補完しうる。マイクロフォンは、サイレン、踏切ベルのクラクション、電車クラクション、および／または同様のものなどの、有意義な音声を検出しうる。
【０００８】
Ｌｉｄａｒ、レーダー、およびカメラ（赤外線カメラを含む）は、比較的小さな波長（センチメートル範囲内、またはそれ以下の最長波長を有する、レーダーを有する）を有する電磁波を使用して動作する。結果として、電磁センサによって取得された感知データは、主に、直接的な視線検出に限定される。一方、人間の運転者は、視線知覚を超えた感覚能力を有する。特に、人間の運転者は、緊急車両が異なる（例えば、垂直な）道路に沿って接近する状況、および／または類似のものを含む、緊急車両が他の車両または建物によって遮られるにもかかわらず、緊急車両に接近するサイレンを聞くことができる。緊急車両（ＥＶ）は、認識可能な形状および外観（例えば、消防車、救急車など）を有してもよく、緊急照明を装備しているが、緊急照明および／または車両外観の検出のみに基づいて、救命ミッション上にある緊急車両のタイムリーな検出は困難であり、多くの状況では不十分でありうる。しかしながら、緊急サイレンの音波は、典型的には、２０～９０センチメートルの範囲の波長を有し、したがって、障害物の周囲の音声を運ぶのに非常に効率的である。人間の聴覚は、音源までの距離および方向（音源が直接視認できない場合でも）、音源の動きの状態（例えば、静止、接近、出発、通過、および／または同類のもの）、この動きの速度の推定（ある程度まで）、ならびに／または同類のものなど、多くの有用な情報を音波から抽出しうる。特に、既存のコンピュータシステムおよび自律運転システムは、依然として、人間の聴覚および知覚に匹敵するか、またはそれらに近い能力を有していない。したがって、緊急音（例えば、サイレン）を検出するＡＶは、最適な運転経路の選択に難儀しうる。例えば、十分な注意を払って、ＡＶは、ＥＶが既に交差点を通過しているか、またはＡＶから離れて移動している場合でも、交差部に入る前に道路または停止部の側面に引き寄せることができる。これは、他の道路参加者（例えば、人間の運転者）にとって混乱する可能性があり、交通渋滞および／または危険な運転条件の生成につながる可能性がある。
【０００９】
本開示の態様および実装は、車両、例えば、ＡＶの環境内の運転可能な道路上の、緊急車両の位置の可能性を決定する方法およびシステムを開示することによって、既存の自律運転技術のこれらのおよび他の課題に対処する。本明細書において位置特定と称される、このような位置を決定することは、可聴ＥＶ信号の音源への、可能性のある方向、および距離、ならびに運転可能な道路レイアウトデータを推定する、機械学習技術の組み合わせを含みうる。より具体的には、ＡＶの環境における音声のデジタル表現、例えば、音声データのスペクトログラム（例えば、マイクロフォンによって収集される）は、ＥＶ音の音源がＡＶに対して何らかの位置に位置付けられる、確率マップを出力する、音声位置特定モデルへの入力として使用されうる。次に、ＡＶのプランナーモジュールは、ＥＶ位置の初期仮説のマップとして考慮される確率マップを、運転可能な道路レイアウト上に重ね合わせて、確率マップの少なくとも一部を排除しうる。例えば、確率マップの一部分は、環境の運転不可能な領域、例えば、建物または構造によって占有される領域、フェンスオフ領域、通行不可能領域、および／または類似のものに対応し得、したがって、確率マップから排除されうる。確率マップの別の部分は、環境の可視的（ＡＶの感知システムに対する）部分として（例えば、運転可能な道路レイアウトおよびオンボード感知データに基づいて）特定されうる。こうした部分はまた、ＥＶが環境の可視領域に位置する場合、（ＥＶ音に付随する）点滅光の存在が感知システムによって検出されるであろうという仮定の下で、確率マップから排除されうる。確率マップのさらに別の部分は、対応する確率が低すぎることに基づいて、例えば、経験的に設定された閾値を下回ることに基づいて排除されうる。
【００１０】
結果として生じる領域（本明細書において、候補領域と称される）は、ＥＶモーションシミュレーションのために、ＡＶのプランナーモジュールによって使用されうる。より具体的には、プランナーモジュールは、シミュレーションされた（仮説化された）ＥＶを、候補領域内に配置しうる。シミュレーションされたＥＶは、位置および速度（動きの速度およびその方向の両方として理解される）の両方を得ることができ、プランナーモジュール（車両の知覚およびプランニングシステムの一部でありうる）は、シミュレーションされたＥＶの動きを予測して、ＥＶがＡＶに近接して（例えば、経験的に設定された最小距離よりも近く）通過するかどうか、および／またはＥＶ経路がＡＶの動きまたは位置によって妨げられうるかどうかを決定しうる。一部の実装において、音声位置特定モデルの出力は、ＥＶ音の可能性のある音源の、様々な速度
JPEG
2025093302000002.jpg
9
7
の可能性をさらに含みうる。音声位置特定モデルによって予測される速度は、シミュレーションされたＥＶの動きを制約するために使用されうる（そうでなければ、広範囲の速度からサンプリングされて、環境内の他の車両の平均速度および／または最大法定速度よりもはるかに速い速度で、ＥＶが移動できる可能性を考慮しうる。プランナーによって取得された様々なシミュレーションされたＥＶの軌道は、ＥＶが特定の時間、例えば、１秒、２秒、３秒、５秒、または何らかの他の時間内に移動しうる環境の領域（本明細書において、ＥＶ活性領域と称される）にわたる。次いで、ＡＶの運転経路は、これらの時間枠にわたってＥＶ活性領域に入ることを回避するために選択または修正されうる。例えば、ＥＶが、閉塞ＥＶ活性領域内に位置するが、ＡＶから離れて移動している（ＡＶに近づくのではなく）と判定される場合、こうしたＥＶ活性領域は、さらなる検討から排除されうる。
（【００１１】以降は省略されています）

関連特許