特許ウォッチ

公開番号2025067568
公報種別公開特許公報(A)
公開日2025-04-24
出願番号2023177653
出願日2023-10-13
発明の名称運転支援装置、車載システム及び運転支援方法
出願人株式会社デンソーテン
代理人弁理士法人秀和特許事務所
主分類G08G 1/16 20060101AFI20250417BHJP(信号)
要約【課題】運転を支援するシステムにおいて、ドライバーに対して過度な干渉を抑制しつつ、必要な通知をするための技術を提供する。
【解決手段】情報処理装置は、状況検知センサから出力されたセンサ情報に基づいて、車両周辺の状況を示す第1検知結果を検知し、センサ情報をドライバーの知覚の特性に応じて変換し、変換した変換データに基づいて車両周辺の状況を示す第2検知結果を検知し、第1検知結果と、第2検知結果との差に基づいて、ドライバーへ通知する通知情報を生成する。
【選択図】図2
特許請求の範囲【請求項１】
状況検知センサから出力されたセンサ情報に基づいて、車両周辺の状況を示す第１検知結果を検知し、
前記センサ情報をドライバーの知覚の特性に応じて変換し、
前記変換した変換データに基づいて車両周辺の状況を示す第２検知結果を検知し、
前記第１検知結果と、前記第２検知結果との差に基づいて、前記ドライバーへ通知する通知情報を生成する、
運転支援装置。
続きを表示（約 1,300 文字）【請求項２】
前記状況検知センサは、画像データを出力するカメラを含み、
前記変換データは、前記画像データの輝度分布、明るさ、及びコントラストの少なくとも何れかを変更したもの、前記画像データにフィルタを適用したもの、並びに前記画像データの解像度を低下させたものの何れか１つ以上の処理をしたものである
請求項１に記載の運転支援装置。
【請求項３】
前記状況検知センサは、音声データを出力するマイクロフォンを含み、
前記変換データは、前記音声データの音量を低下させたもの、前記音声データを遮断したもの、又は前記音声データの周波数特性を変更したものである
請求項１に記載の運転支援装置。
【請求項４】
前記第１検知結果、及び前記第２検知結果は、画像データ及び音声データと車両周辺の状況を表す正解ラベルとの関係を機械学習したマルチモーダルモデルを用いて出力される
請求項１に記載の運転支援装置。
【請求項５】
前記第１検知結果は、画像データ及び音声データと車両周辺の状況を表す正解ラベルとの関係を機械学習したマルチモーダルモデルを用いて出力され、
前記第２検知結果は、画像データと車両周辺の状況を表す正解ラベルとの関係を機械学習したモデルを用いて出力される
請求項１に記載の運転支援装置。
【請求項６】
前記状況検知センサは、測距センサを含み、
前記変換データは、前記測距センサの出力データを遮断したものである
請求項１に記載の運転支援装置。
【請求項７】
前記変換データは、前記ドライバーが自身の知覚の特性に応じて設定した変換設定値に基づいて作成される
請求項２から４の何れか一項に記載の運転支援装置。
【請求項８】
前記センサ情報を用いて、前記車両周辺の状況に応じた危険度を算出し、
前記危険度が所定の閾値を超える場合、前記第１検知結果と、前記第２検知結果との差に関わらず、前記車両周辺の状況を前記ドライバーに通知する
請求項１に記載の運転支援装置。
【請求項９】
状況検知センサと、
前記状況検知センサから出力されたセンサ情報に基づいて、車両周辺の状況を示す第１検知結果を検知し、
前記センサ情報をドライバーの知覚の特性に応じて変換し、
前記変換した変換データに基づいて車両周辺の状況示す第２検知結果を検知し、
前記第１検知結果と、前記第２検知結果との差に基づいて、前記ドライバーへ通知する
通知情報を生成する、
運転支援装置と、
を備える車載システム。
【請求項１０】
状況検知センサから出力されたセンサ情報に基づいて、車両周辺の状況を検出した第１検知結果を出力し、
前記センサ情報をドライバーの知覚の特性に応じて変換し、
前記変換した変換データに基づいて車両周辺の状況を検出した第２検知結果を出力し、
前記第１検知結果と、前記第２検知結果との差に基づいて、前記ドライバーへの通知要否を判断する、
運転支援方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、運転支援装置、車載システム及び運転支援方法に関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
従来、車両の夜間走行時にドライバーの視認支援を行う視認支援装置が提案されていた（例えば、特許文献１）。本装置は、車両の夜間走行時に車両の前方を撮像する暗視用撮像手段と、暗視用撮像手段により取得された車両の前方の撮像画像を表示する画像表示手段と、昼間におけるドライバーの運転状況に基づいてドライバーの視認に関する能力を推定する推定手段と、推定手段により推定されたドライバーの視認に関する能力に基づいて、画像表示手段による撮像画像の表示領域を決定する表示制御手段とを備えるといった、ドライバーの認知能力に応じて表示内容を変更することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特許第５１５７８４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、ドライバーの認知能力に応じて注意が必要な情報をアラート等で通知する場合、認知能力が低いと通常通知される内容に加えて、認知能力が低いことにより認知できないと推定される内容を通知することになる。このため、認知能力を実際より低く判定してしまうと、通知情報量が無駄に多い状態となり、ドライバーは煩わしく感じるという問題があった。逆に、認知能力を実際より高く判定してしまうと、ドライバーが気づいていない情報の通知が漏れるといった問題があった。そこで、本開示は、運転を支援するシステムにおいて、ドライバーに対して過度な干渉を抑制しつつ、必要な通知をするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示に係る情報処理装置は、状況検知センサから出力されたセンサ情報に基づいて、車両周辺の状況を示す第１検知結果を検知し、センサ情報をドライバーの知覚の特性に応じて変換し、変換した変換データに基づいて車両周辺の状況を示す第２検知結果を検知し、第１検知結果と、第２検知結果との差に基づいて、ドライバーへ通知する通知情報を生成する。
【発明の効果】
【０００６】
本技術によれば、運転を支援するシステムにおいて、ドライバーに対して過度な干渉を抑制しつつ、必要な通知をすることができる。
【図面の簡単な説明】
【０００７】
図１は、車両の一例を説明するための図である。
図２は、システムの動作原理を説明するための図である。
図３は、動作原理を説明するための他の例を示す図である。
図４は、動作原理を説明するための他の例を示す図である。
図５は、システムの一例を示す機能ブロック図である。
図６は、学習処理の一例を示す処理フロー図である。
図７は、車運転支援処理の一例を示す処理フロー図である。
図８は、通知の有無の判断基準の一例を示す図である。
【発明を実施するための形態】
【０００８】
＜実施形態＞
以下、図面を参照しつつ実施形態について説明する。なお、実施形態に係る車載システムは、自動車等の車両に搭載され、ドライバーを支援する。ドライバーは、例えば、視覚又は聴覚に障碍を有する者であってもよい。図１は、本開示に係る車両の一例を説明するための図である。車両１は、実施形態に係る処理を行う車載装置１０と、状況検知センサ１３と、ユーザーインターフェース（ＵＩ）１４とを搭載している。状況検知センサ１３は、車両１の周囲の状況を検知するためのセンサであり、カメラ１３Ａを含む。また、状況検知センサ１３は、マイクロフォン１３Ｂ及び測距センサ１３Ｃの少なくともいずれかをさらに含むようにしてもよい。測距センサ１３Ｃは、ＬｉＤＥＲ、ミリ波レーダー、ソナー等であってもよい。ＵＩ１４は、デジタルルームミラー１４Ａ、デジタルサイドミラー１４Ｂ、ステアリングホイールに搭載されたバイブレータ１４Ｃ、シートに搭載されたバイブレータ１４Ｄ、音声信号等の少なくともいずれかであってもよい。車載装置１０は、コンピュータであり、状況検知センサ１３が出力する情報（センサ情報）を用いて車両１の周囲の状況を検知し、所定の条件を満たす場合に、例えばＵＩ１４を介してドライバーへ車両の周囲の状況等の情報を出力する。
【０００９】
車載装置１０は、例えば、複数の種類の周囲の状況について、それぞれの状況に該当する確度を示す値を算出する。確度は、状況検知センサが出力するセンサ情報と、当該センサ情報に対してアノテーションされた周囲の状況を表す情報との関係を機械学習することにより作成された学習済モデルを用いて算出することができる。機械学習は、例えばニューラルネットワークを用いて行うことができ、いわゆる深層学習であってもよい。また、学習済モデルは、センサ情報を、周囲の状況を表す複数のラベルに分類し得る「マルチラベル（多ラベル）分類」が可能であることが望ましい。例えば、ニューラルネットワークにおける出力層の複数のノードがラベルに１対１で対応し、ラベルの各々と推定する確率を出力する。また、センサ情報が、画像データと音声データのように異なるファイル形式のデータを含む場合、学習済モデルは、これらを統合的に処理して学習するマルチモーダルモデルであってもよい。また、画像データと音声データ等の異なる種類のデータ毎の学習済モデルを用いて、夫々アノテーションされた周囲の状況を表す情報により学習を行っても良い。また、検知される周囲の状況とは、運転において注意が必要である周辺の状況のことであり、例えば、所定のシーンや予め定められた注意の対象が周囲に存在することが例示できる。所定のシーンとしては、車両１の走行に際して、より注意して走行が必要なシーンであり、緊急自動車の接近、歩行者、自転車、他の車両、その他障害物の接近や、車外で所定の大きさ以上の音声が生じたこと、半ドアその他の警告灯の表示等が挙げられる。注意の対象としては、車両１の走行に際して注意が必要な対象物であり、車両、自転車、歩行者、信号機、道路標識等が挙げられる。
【００１０】
図２は、本開示に係るシステムの動作原理を説明するための図である。本実施形態では、センサ情報と、センサ情報から品質に差をつけたデータに変換したセンサ情報を入力データとして学習済モデルへそれぞれ入力する。なお、図２に示す２つの学習済モデルは、同一のものである。そして、入力データの各々で検出した複数の出力データ（周囲の状況）の差に応じた処理を行う。図２の左側に示す（Ａ）では、学習済モデルへの入力として、状況検知センサ１３からのセンサ情報をそのまま利用する。図２の右側に示す（Ｂ）では、学習済モデルへの入力データとして、状況検知センサ１３からのセンサ情報を劣化させたデータを入力する。ここで、劣化は、例えばドライバーの知覚を模擬したものであってもよい。具体的には、学習済モデルへの入力データが画像である場合、画像の輝度分布を変更したり、画像に所定のフィルタを適用してぼかしたり、画像の解像度を低下させたりする画像変換の処理をすることにより入力データを劣化させる。図２の（Ｂ）においては、輝度分布の上限を下げて平坦化することにより、元の画像において輝度が比較的高い
箇所を白飛びさせた画像を、入力データとしている。これは、白内障の羞明などを模擬したものであり、ドライバーが光を通常よりもまぶしく感じる状態を表す画像である。言い換えれば、白内障等により通常と見え方が異なるドライバーの特性に応じて、ドライバーの見え方（目の状態）を模擬した画像である。そして、図２の（Ａ）において学習済モデルが出力する車両の周囲の状況の検知結果と、図２の（Ｂ）において学習済モデルが出力する車両の周囲の状況の検知結果との差に応じた処理を行う。例えば、学習済モデルの出力した検知結果であるラベル及びラベルに対応する出力値（確度）が、進行方向に接近する車両や歩行者が存在するという周囲の状況を表すラベルと、ラベルに対応する出力値（確度）が、劣化させていない入力データを用いて算出した場合に０．６であり、劣化させた入力データを用いて算出した場合に０．２であったとする。このような検知結果の差は、光を通常よりもまぶしく感じるドライバーにとって認識すべき周囲の状況を認識しづらい可能性の大きさを表すものといえる。よって、例えば、差が閾値以上の場合にはＵＩ１４を介してドライバーに対し（より積極的に）警告するための出力を行う。
（【００１１】以降は省略されています）

関連特許