特許ウォッチ

公開番号2025100311
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2024113657
出願日2024-07-16
発明の名称マルチタスクに基づいて道路の特徴を抽出するためのディープラーニングモデルを学習する方法およびそれを用いたコンピューティング装置
出願人株式会社オートノマスエイ2ゼット,AUTONOMOUS A2Z CO., LTD.
代理人弁理士法人浅村特許事務所
主分類G06V 10/80 20220101AFI20250626BHJP(計算;計数)
要約【課題】マルチタスクに基づいて道路の特徴を抽出するためのディープラーニングモデルを学習する方法を提供する。
【解決手段】方法は、学習のための初期値を設定することと、各学習タスクのそれぞれに対して一つのエポック(epoch)を完了するために必要な学習ステップ数を決定することと、各学習ステップ数を参照して、全エポックに含まれる総ステップ数を決定することと、学習タスクの現在ステップ数の総和と総ステップ数とを比較し、各学習タスクの現在ステップ数の総和が総ステップ数未満であれば、学習タスクのそれぞれに対する選択確率初期値を参照して、各学習タスクの中から学習を行う特定の学習タスクをランダムに選択することと、特定の学習タスクレイヤーで出力された予測結果と、前記特定の学習タスクに対応するGround Truthを参照して、特定のタスクに対するロスを算出することと、を含む。
【選択図】図2
特許請求の範囲【請求項１】
マルチタスクに基づいて道路の特徴を抽出するためのディープラーニングモデルを学習する方法において、
（ａ）コンピューティング装置が、道路上の車線の推定のための第１の学習タスク、前記道路に関連する構造物の線の推定のための第２の学習タスク、前記道路の前記車線および前記構造物に対するセマンティックセグメンテーションのための第３の学習タスクを設定し、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対する選択確率初期値を設定し、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対して１つのエポック（ｅｐｏｃｈ）を完了するために必要な第１の学習ステップ数ないし第３の学習ステップ数を設定し、前記第１の学習ステップ数ないし前記第３の学習ステップ数を参照して、全エポックに含まれる総ステップ数を決定するステップ；
（ｂ）総学習進行率が第１の閾値進行率以下であるか、または第１の閾値ステップ数以下であると判断されると、前記コンピューティング装置は、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対する前記選択確率初期値を参照して、前記第１の学習タスクないし前記第３の学習タスクの中から学習を行う特定の学習タスクをランダムに選択し、前記特定の学習タスクに対するロスを算出するステップ；および
（ｃ）前記コンピューティング装置が、前記特定の学習タスクのロス値を参照して、前記特定の学習タスクに関連するモデルパラメータをアップデートするステップ；
を含む方法。
続きを表示（約 3,500 文字）【請求項２】
前記（ｂ）ステップにおいて、
前記総学習進行率が第１の閾値進行率超過であるか、または第１の閾値ステップ数超過であると判断されると、前記コンピューティング装置は、前記特定の学習タスクの特定の学習最高性能に対する前記特定の学習現在性能の比率を参照して、前記特定の学習タスクに対する特定の性能達成率を算出し、前記特定の性能達成率を参照して、前記特定の学習タスクに対応する特定の学習重みを算出し、前記特定の学習重みおよび前記特定の学習タスクのステップ数を参照して、特定の学習選択確率調整値を算出し、前記第１の学習タスクないし前記第３の学習タスクの中から前記特定の学習タスクが選択される確率を前記特定の学習選択確率調整値として決定することを特徴とする、請求項１に記載の方法。
【請求項３】
前記（ｂ）ステップにおいて、
前記特定の学習重みは、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対する第１の性能達成率ないし第３の性能達成率の和に対する前記特定の学習重みの比率を１から差し引いた値で示し、前記特定の学習選択確率調整値は、前記第１の学習ステップ数ないし前記第３の学習ステップ数のすべてを合算した値に対する前記特定の学習タスクの特定の学習ステップ数の比率に前記特定の学習重みを乗算した値で示すことを特徴とする、請求項２に記載の方法。
【請求項４】
（ｄ）前記モデルパラメータがアップデートされると、前記コンピューティング装置は、前記特定の学習タスクの特定の現在ステップを基準として、前記特定の学習タスクの特定の学習現在性能に対する評価を行い、前記特定の学習タスクの特定の学習最高性能に対する前記特定の学習現在性能の比率を参照して、前記特定の学習タスクに対する特定の性能達成率を算出し、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対する第１の学習性能達成率ないし第３の学習性能達成率（前記第１の学習性能達成率ないし前記第３の学習性能達成率のいずれか一つは前記特定の性能達成率である）を参照して、総学習進行率を算出し、前記特定の学習タスクの前記特定の現在ステップに１を加えた状態の第１の現在ステップ数ないし第３の現在ステップ数の和が前記総ステップ数未満であると、前記特定の現在ステップのステップ数に１を加えた状態で、前記（ｂ）ステップ以降を再度行うように支援するステップ；
をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項５】
前記ディープラーニングモデルは、共有レイヤーとして、自律走行車両に搭載されている少なくとも１つのカメラを通じて取得されたイメージデータが入力されるエンコーダレイヤーおよび前記エンコーダレイヤーから出力されたエンコーダ出力データが入力されるデコーダレイヤーを含み、個別レイヤーとして、前記デコーダレイヤーから出力されたデコーダ出力データが入力される前記第１の学習タスクに対応する第１のタスクヘッダおよび前記第１のタスクヘッダから出力された第１のタスクヘッダ出力データに出力関数演算を適用するための第１の出力関数を含む第１の学習タスクレイヤー、前記デコーダレイヤーから出力された前記デコーダ出力データが入力される前記第２の学習タスクに対応する第２のタスクヘッダおよび前記第２のタスクヘッダから出力された第２のタスクヘッダ出力データに出力関数演算を適用するための第２の出力関数を含む第２の学習タスクレイヤー、ならびに前記デコーダレイヤーから出力された前記デコーダ出力データが入力される前記第３の学習タスクに対応する第３のタスクヘッダおよび前記第３のタスクヘッダから出力された第３のタスクヘッダ出力データに分類演算を適用するための特定のソフトマックス（Ｓｏｆｔｍａｘ）関数を含む第３の学習タスクレイヤーを含むことを特徴とする、請求項１に記載の方法。
【請求項６】
前記（ｃ）ステップにおいて、
前記総学習進行率が第２の閾値進行率以下であるか、または第２の閾値ステップ数以下であると判断されると、前記コンピューティング装置は、前記ディープラーニングモデルに含まれる前記共有レイヤーおよび前記個別レイヤーを学習させ、前記総学習進行率が前記第２の閾値進行率を超過するか、または前記第２の閾値ステップ数を超過すると判断されると、前記共有レイヤーを凍結して学習を中止させた状態で、前記個別レイヤーのうち前記特定の学習タスクに関連する特定の個別レイヤーの特定のモデルパラメータをアップデートすることを特徴とする、請求項５に記載の方法。
【請求項７】
前記ディープラーニングモデルは、共有レイヤーとして、自律走行車両に搭載されている少なくとも１つのカメラを通じて取得されたイメージデータが入力されるエンコーダレイヤーを含み、個別レイヤーとして、前記第１の学習タスクに対応し、前記エンコーダレイヤーから出力されたエンコーダ出力データが入力される第１のデコーダおよび前記第１のデコーダから出力された第１のデコーダ出力データに出力関数演算を適用するための第１の出力関数を含む第１の学習タスクレイヤー、前記第２の学習タスクに対応し、前記エンコーダレイヤーから出力された前記エンコーダ出力データが入力される第２のデコーダおよび前記第２のデコーダから出力された第２のデコーダ出力データに出力関数演算を適用するための第２の出力関数を含む第２の学習タスクレイヤー、ならびに前記第３の学習タスクに対応し、前記エンコーダレイヤーから出力された前記エンコーダ出力データが入力される第３のデコーダおよび前記第３のデコーダから出力された第３のデコーダ出力データに分類演算を適用するための特定のソフトマックス関数を含む第３の学習タスクレイヤーを含むことを特徴とする、請求項１に記載の方法。
【請求項８】
前記（ｃ）ステップにおいて、
前記総学習進行率が第２の閾値進行率以下であるか、または第２の閾値ステップ数以下であると判断されると、前記コンピューティング装置は、前記ディープラーニングモデルに含まれる前記共有レイヤーおよび前記個別レイヤーを学習させ、前記総学習進行率が前記第２の閾値進行率を超過するか、または前記第２の閾値ステップ数を超過すると判断されると、前記共有レイヤーを凍結して学習を中止させた状態で、前記個別レイヤーのうち前記特定の学習タスクに関連する特定の個別レイヤーの特定のモデルパラメータをアップデートすることを特徴とする、請求項７に記載の方法。
【請求項９】
（ｅ）前記ディープラーニングモデルから出力された前記第１の学習タスクに対応する車線候補群データが入力されると、前記コンピューティング装置は、前記車線候補群データに対してチャンネルごとにラベリングし、最も大きい特定のラベルブロブ（ｂＬｏｂ）を選択し、残りのラベルブロブは除去し、前記特定のラベルブロブに対してブロブ中心点の座標を求めた後、前記ブロブ中心点の座標に対して移動平均フィルター（Ｍｏｖｉｎｇａｖｅｒａｇｅｆｉｌｔｅｒ）を適用して、前記車線に関する予測情報を決定するステップ；および
（ｆ）前記コンピューティング装置は、前記車線に関する予測情報およびＨＤマップ（ｍａｐ）を参照してマッチングを行い、それによって自律走行車両の位置および姿勢を推定するステップ；
をさらに含む、請求項１に記載の方法。
【請求項１０】
前記（ｅ）ステップの後に、
前記車線に関する予測情報および前記セマンティックセグメンテーションに関する情報が取得されると、前記コンピューティング装置は、前記車線に関する予測情報と前記セマンティックセグメンテーションに関する情報との間で重なり合う特定の部分を、特定の車線の左側境界線および右側境界線として区別し、前記左側境界線と前記右側境界線との間の重なり合い中心点の座標を露出車線の中心点として決定し、前記露出車線の前記左側境界線および前記右側境界線を参照して、非露出車線に対する領域を復元し、前記車線に関する調整情報を決定するステップをさらに含み、
前記（ｆ）ステップにおいて、前記コンピューティング装置は、前記車線に関する調整情報および前記ＨＤマップを参照してマッチングを行い、それによって前記自律走行車両の位置および姿勢を推定することを特徴とする、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、マルチタスクに基づいて道路の特徴を抽出するためのディープラーニングモデルを学習する方法およびそれを用いたコンピューティング装置に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
自律走行車両が走行する際、現在の位置を推定する技術は非常に重要である。
【０００３】
しかし、既存の自律走行車両が位置を推定する技術は、単に車線検出情報を利用してＨＤマップをマッチングする方法であり、単に映像処理のエッジ（Ｅｄｇｅ）に基づいて車線検出モデルを適用するだけであるため、画質の変化、影、および車線の隠れや破損などのノイズによって車線推定性能に限界があり、ＨＤマップと車線検出情報とをマッチングする際、車線のみを考慮するため、誤った車線推定による性能低下が非常に深刻である。
【０００４】
したがって、本発明の発明者は、道路に車線などがないか、または車線が遮蔽された位置でＨＤマップマッチングを行うための道路特徴推定モデルを提案しようとする。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述の問題点を解決することをその目的とする。
【０００６】
本発明は、道路に車線などがないか、または車線が遮蔽された位置でＨＤマップマッチングを行うことを他の目的とする。
【０００７】
本発明は、道路上の車線の推定のための第１の学習タスク、前記道路に関連する構造物の線の推定のための第２の学習タスク、ならびに前記道路の前記車線および前記構造物に対するセマンティックセグメンテーションのための第３の学習タスクに対する重複演算を最小化するためのマルチタスクモデル構造を適用することをさらに他の目的とする。
【０００８】
本発明は、学習データの構築コストを最小化するための異種データに基づくマルチタスク学習方法を提案することをさらに他の目的とする。
【０００９】
本発明は、画像ノイズに強く、後処理を簡素化できる道路特徴推定モデルを提案することをさらに他の目的とする。
【課題を解決するための手段】
【００１０】
本発明の一実施例によると、マルチタスクに基づいて道路の特徴を抽出するためのディープラーニングモデルを学習する方法において、（ａ）コンピューティング装置が、道路上の車線の推定のための第１の学習タスク、前記道路に関連する構造物の線の推定のための第２の学習タスク、前記道路の前記車線および前記構造物に対するセマンティックセグメンテーションのための第３の学習タスクを設定し、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対する選択確率初期値を設定し、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対して１つのエポック（ｅｐｏｃｈ）を完了するために必要な第１の学習ステップ数ないし第３の学習ステップ数を設定し、前記第１の学習ステップ数ないし前記第３の学習ステップ数を参照して、全エポックに含まれる総ステップ数を決定するステップ；（ｂ）総学習進行率が第１の閾値進行率以下であるか、または第１の閾値ステップ数以下であると判断されると、前記コンピューティング装置は、前記第１の学習タスクないし前記第３の学習タスクのそれぞれに対する前記選択確率初期値を参照して、前記第１の学習タスクないし前記第３の学習タスクの中から学習を行う特定の学習タスクをランダムに選択し、前記特定の学習タスクに対するロスを算出するステップ；および（ｃ）前記コンピューティング装置が、前記特定の学習タスクのロス値を参照して、前記特定の学習タスクに関連するモデルパラメータをアップデートするステップ；を含む方法が提供される。
（【００１１】以降は省略されています）

関連特許