特許ウォッチ

公開番号2025047148
公報種別公開特許公報(A)
公開日2025-04-03
出願番号2023155467
出願日2023-09-21
発明の名称車両制御装置
出願人株式会社アイシン
代理人弁理士法人酒井国際特許事務所
主分類B60W 30/00 20060101AFI20250326BHJP(車両一般)
要約【課題】学習に多大な時間を要することなく、車両制御状態を人間の感覚に合わせて、確実に最適な車両制御状態に達すること。
【解決手段】車両制御装置は、車両の周辺を撮像した撮像画像と、前記車両の状態の検出値と、に基づいて、前記車両の特性を示す車両特性情報を求める車両特性算出部と、強化学習により最適な車両特性情報を求める学習部と、前記最適な車両特性情報に基づいて、前記車両を制御する制御部と、を備え、前記学習部は、前記撮像画像を入力して路面状況を含む出力値を出力する学習済みモデルである大規模言語モデルの出力値に対する所定の方策に基づいた行動に対して、前記車両の運転者または乗員若しくは第三者の感覚に基づいてフィードバックを行うフィードバック部と、前記フィードバックを反映して前記行動に対する報酬を算出して学習する報酬モデルと、前記最適な車両特性情報として前記報酬が最大となる車両特性情報を決定する決定部と、を備える。
【選択図】図4
特許請求の範囲【請求項１】
車両の周辺を撮像した撮像画像と、前記車両の状態の検出値と、に基づいて、前記車両の特性を示す車両特性情報を求める車両特性算出部と、
強化学習により最適な車両特性情報を求める学習部と、
前記最適な車両特性情報に基づいて、前記車両を制御する制御部と、を備え、
前記学習部は、
前記撮像画像を入力して路面状況を含む出力値を出力する学習済みモデルである大規模言語モデルの出力値に対する所定の方策に基づいた行動に対して、前記車両の運転者または乗員若しくは第三者の感覚に基づいてフィードバックを行うフィードバック部と、
前記フィードバックを反映して前記行動に対する報酬を算出して学習する報酬モデルと、
前記最適な車両特性情報として前記報酬が最大となる車両特性情報を決定する決定部と、
を備える車両制御装置。
続きを表示（約 900 文字）【請求項２】
前記フィードバック部は、さらに、前記車両の運転者または乗員若しくは第三者の生体の状態に関する生体情報を取得して、前記生体情報に基づいて、前記フィードバックを行う、
請求項１に記載の車両制御装置。
【請求項３】
前記決定部は、
前記出力値に対する所定の方策に基づいた前記車両特性情報に関する行動を出力するエージェントと、
前記行動を入力して、前記車両特性算出部に前記車両特性情報を算出させ、算出された
車両特性情報を状態として前記エージェントに出力する環境と、を備え、
前記学習部は、
前記フィードバック部からの前記フィードバックと前記エージェントで決定された行動との間の損失を算出する損失算出部、を更に備え、
前記報酬モデルは、前記損失算出部で算出された損失を反映させて前記報酬を算出し、算出した前記報酬を前記エージェントに出力し、
前記エージェントは、前記環境で算出された前記状態と、前記報酬モデルで算出された前記報酬とに基づいて、前記最適な車両特性情報を決定する、
請求項２に記載の車両制御装置。
【請求項４】
前記フィードバック部は、前記運転者または前記乗員若しくは前記第三者から、言葉の入力またはテキスト入力により、前記車両の乗り心地に関する情報を取得する、
請求項３に記載の車両制御装置。
【請求項５】
前記フィードバック部は、前記運転者または前記乗員若しくは前記第三者による所定の入力デバイスに対する操作入力により、前記車両の乗り心地に関する情報を取得する、
請求項３に記載の車両制御装置。
【請求項６】
前記生体情報は、脳波、心拍、脈拍、呼吸、瞬き、発汗の少なく一つに関する情報を含み、
前記フィードバック部は、前記生体情報が脳波を用いる場合に、前記車両の測定中に測定可能な生体情報と前記脳波との予め定めた関係に基づいて、前記脳波に基づく前記フィードバックを行う、
請求項３に記載の車両制御装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、車両制御装置に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
車両の走行中に、上下加速度センサや車高センサ等の種々の車載センサの検出値に基づいて、車両特性が最適となるように乗心地や操縦安定性等の各種デバイスの制御を行う車両制御装置が従来から知られている。このような車両制御装置では、強化学習を利用して、車両状態を最適に制御する技術が知られている。
【０００３】
例えば、特許文献１の技術では、車両状態を最適に制御するために、プランナの行動（方策）を環境へ入力し、環境から得られる状態、報酬をプランナが受取り、次の行動（方策）を見直して、報酬の最適化を行うという強化学習の手法を採用している。また、特許文献２の技術では、乗員の生体信号を利用して強化学習を行って、車両状態を最適に制御するものである。
【先行技術文献】
【特許文献】
【０００４】
特許第７０４８４５６号公報
特許第７０１１５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来技術では、方策（ポリシー）ベースの強化学習により車両状態の最適化を行っているので、車両制御状態を人間の感覚に合わない場合がある。また、複数の制御デバイスを用いて多数のパラメータを必要とする場合には、データ数量が膨大となり、膨大なデータ量を用いた学習に多大な時間を要してしまう可能性がある。このため、従来技術では、車両状態の最適解に収束せずに、目標が未達成となってしまう場合もある。
【０００６】
本発明は、上記に鑑みてなされたものであって、学習に多大な時間を要することなく、車両制御状態を人間の感覚に合わせて、確実に最適な車両制御状態に達することができる車両制御装置を提供することを目的の一つとする。
【課題を解決するための手段】
【０００７】
本発明に係る車両制御装置は、車両の周辺を撮像した撮像画像と、前記車両の状態の検出値と、に基づいて、前記車両の特性を示す車両特性情報を求める車両特性算出部と、強化学習により最適な車両特性情報を求める学習部と、前記最適な車両特性情報に基づいて、前記車両を制御する制御部と、を備え、前記学習部は、前記撮像画像を入力して路面状況を含む出力値を出力する学習済みモデルである大規模言語モデルの出力値に対する所定の方策に基づいた行動に対して、前記車両の運転者または乗員若しくは第三者の感覚に基づいてフィードバックを行うフィードバック部と、前記フィードバックを反映して前記行動に対する報酬を算出して学習する報酬モデルと、前記最適な車両特性情報として前記報酬が最大となる車両特性情報を決定する決定部と、を備える。
【発明の効果】
【０００８】
本発明に係る車両制御装置によれば、学習に多大な時間を要することなく、車両制御状態を人間の感覚に合わせて、確実に最適な車両制御状態に達することができる。
【図面の簡単な説明】
【０００９】
図１は、実施形態にかかる車両制御装置が搭載された車両の上面図である。
図２は、実施形態にかかる車両制御装置が搭載された車両の車室内を上面から見た透視図である。
図３は、実施形態にかかる車両制御システムの全体構成の一例を示すブロック図である。
図４は、実施形態にかかる車両制御装置の機能構成の一例を示すブロック図である。
図５は、実施形態にかかる車両制御装置が、車両に加わる振動と、車両に対する乗員の振動とから、乗員に加わる振動を算出する例を示す図である。
図６は、実施形態にかかるインナカメラの撮像画像から推定可能な乗員の状態の幾つかの例を示す図である。
図７は、実施形態にかかる学習部の機能的構成の一例を示すブロック図である。
図８は、実施形態にかかるエージェントが得られる報酬の一例を示す図である。
図９は、実施形態にかかるヒューマンフィードバックの具体例を示す図である。
図１０は、実施形態にかかる操作ボタンの入力によりヒューマンフィードバックを行う場合の画面の一例を示す図である。
図１１は、実施形態にかかる操作ボタンの入力によりヒューマンフィードバックを行う場合の画面の他の一例を示す図である。
図１２は、実施形態にかかる生体フィードバックの具体例を示す図である。
図１３は、実施形態にかかる脳波の例を示す図である。
図１４は、実施形態にかかる脳波と、走行中に測定可能な生体情報との関係の一例を示すグラフである。
図１５は、実施形態にかかる車両制御処理の手順の一例を示すフローチャートである。
図１６は、実施形態にかかる学習処理の手順の一例を示すフローチャートである。
図１７は、実施形態にかかる学習処理の流れの具体例を示す図である。
図１８は、実施形態における乗心地の指標（パラメータ）と制御電流の関係の一例を示すグラフである。
図１９は、実施形態にかかる報酬モデルと方策の一例を示す図である。
図２０は、実施形態において修正後のランクおよび確率に基づく報酬モデルと行動決定の方策の一例を示す図である。
図２１は、実施形態におけるサスペンション４１のばね上加速度の周波数に対する変化を示すグラフである。
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
（【００１１】以降は省略されています）

関連特許