特許ウォッチ

公開番号2024140301
公報種別公開特許公報(A)
公開日2024-10-10
出願番号2023051384
出願日2023-03-28
発明の名称興味関心度推定装置
出願人マツダ株式会社
代理人個人,個人
主分類G08G 1/16 20060101AFI20241003BHJP(信号)
要約【課題】運転者の視線に基づいて興味関心度の推定を行う関心度推定装置において、機械学習を必要とせずに、低コストで的確な興味関心度の推定を行い得るものを提供する
【解決手段】興味関心度推定装置において、車両の運転者の視界画像からボトムアップサリエンシーマップを生成するサリエンシーマップ生成手段23と、運転者の視線位置におけるサリエンシー値に基づいて関心度指数を算出する関心度指数算出手段31と、走行シーンの複雑さを表す複雑度指数を算出する複雑度指数算出手段32と、関心度指数と複雑度指数に基づいて運転者の興味関心度を推定する興味関心度推定手段33を備えた。
【選択図】図1
特許請求の範囲【請求項１】
車両の運転者の関心度に関する感情・認知状態である興味関心度を推定する興味関心度推定装置において、
前記運転者の視界に対応する視界画像を取得する視界画像取得手段と、
前記運転者の視線が向かう前記視界画像上の視線位置を算出する視線位置検出手段と、
前記視界画像取得手段により取得された前記視界画像の各地点におけるサリエンシーをマップ化したサリエンシーマップを作成するサリエンシーマップ生成手段と、
前記視線位置における前記サリエンシーマップのサリエンシー値に基づいて、関心度指数を算出する関心度指数算出手段と、
前記視界画像の複雑さの程度を表す複雑度指数を算出する複雑度指数算出手段と、
前記関心度指数算出手段により算出された関心度指数と前記複雑度指数算出手段により算出された複雑度指数に基づいて、前記運転者の興味関心度を推定する興味関心度推定手段と
を備えた興味関心度推定装置。
続きを表示（約 1,800 文字）【請求項２】
請求項１に記載の興味関心度推定装置において、
前記サリエンシーマップは、前記視界画像自体から得られる特徴量のみに基づいて算出されたサリエンシーをマップ化したボトムアップサリエンシーマップである興味関心度推定装置。
【請求項３】
請求項１に記載の興味関心度推定装置において、
前記関心度指数算出手段は、
前記サリエンシーマップを確率密度関数に変換し、
前記運転者の視線位置における前記確率密度関数の値の対数に－１を乗じた値である対数尤度を算出し、
前記対数尤度の測定単位時間における時間平均値を、当該測定単位時間における前記運転者の関心度指数とする興味関心度推定装置。
【請求項４】
請求項１に記載の興味関心度推定装置において、
前記複雑度指数算出手段は、前記視界画像における情報エントロピー、前記視界画像のフラクタル次元、前記視界画像の示す状況を文章化した交通文脈の長さの少なくとも１つに基づいて、前記複雑度指数を算出する興味関心度推定装置。
【請求項５】
請求項１に記載の興味関心度推定装置において、
前記興味関心度推定手段は、
前記関心度指数に関する関心度閾値と、前記複雑度指数に関する複雑度閾値を設定し、
前記関心度指数が前記関心度閾値以上であるか否かと、前記複雑度指数が前記複雑度閾値以上であるか否かに基づいて、前記関心度指数及び前記複雑度指数を４象限に分類し、
検出された関心度指数及び複雑化指数が前記４象限の何れに属するかに基づいて、前記運転者の興味関心度を推定する興味関心度推定装置。
【請求項６】
請求項５に記載の興味関心度推定装置において、
前記関心度指数は、前記視線位置におけるサリエンシー値が高いほど低く設定される一方、前記複雑度指数は、前記視界画像の複雑さが大きいほど高く設定され、
前記関心度推定手段は、前記運転者の興味関心度を、
前記関心度指数が前記関心度閾値以上であり前記複雑度指数が前記複雑度閾値未満である場合には、興味を持って情報を集めている状態であると推定し、
前記関心度指数が前記関心度閾値以上であり前記複雑度指数が前記複雑度閾値以上である場合には、シーンが難しくても興味を持って情報を集めている状態であると推定し、
前記関心度指数が前記関心度閾値未満であり前記複雑度指数が前記複雑度閾値未満である場合には、変化への注意を絶やさずに運転している状態であると推定し、
前記関心度指数が前記関心度閾値未満であり前記複雑度指数が前記複雑度閾値以上である場合には、適切に注意が出来ている状態であると推定する興味関心度推定装置。
【請求項７】
請求項１に記載の興味関心度推定装置において、
前記興味関心度推定手段による興味関心度の推定は、前記車両の走行中に継続して実行され、
前記視界画像取得手段により時間的に連続して取得された一連の視界画像を、共通の特徴を有する連続した視界画像の集合である走行シーンに区分けするシーン区分け手段を備え、
前記興味関心度は、前記走行シーン毎に推定される興味関心度推定装置。
【請求項８】
請求項７に記載の興味関心度推定装置において、
前記関心度指数算出手段は、
前記サリエンシーマップを確率密度関数に変換し、
前記運転者の視線位置における前記確率密度関数の値の対数に－１を乗じた値である対数尤度を算出し、
前記走行シーンの各々における前記対数尤度の時間平均値を、当該走行シーンにおける関心度指数とする興味関心度推定装置。
【請求項９】
請求項７に記載の興味関心度推定装置において、
前記シーン区分け手段は、前記視界画像における情報エントロピー、前記視界画像のフラクタル次元、前記視界画像の示す状況を文章化した交通文脈の少なくとも１つに基づいて、前記走行シーンへの区分けを行う興味関心度推定装置。
【請求項１０】
請求項１に記載の興味関心度推定装置において、
前記興味関心度推定手段により推定された興味関心度に基づいて、運転支援手段を制御する運転支援制御手段を備えた興味関心度推定装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、自動車等の車両における運転者の興味及び関心に関する感情・認知状態を推定する興味関心度推定装置に関するものである。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、交通におけるウェルビーイング（ｗｅｌｌｂｅｉｎｇ）サービス、すなわち、車両の運転者の満足度や幸福度を高めたり、交通における社会的価値（社会貢献）を高めたりするサービスの重要性が増大してきている。具体的には、例えば、車両の運転者から得られる情報（例えば運転者の視線）から、運転者の感情・認知状態を推定し、推定された感情・認知状態に基づいて運転者への運転支援を行ったり、推定された感情・認知状態のデータを記憶したデータベースに基づいて様々な予測や分析を行ったりする技術が、広く求められてきている。
【０００３】
このような技術の一例として、特許文献１（特開２００９－５４０４５９号）には、車両の運転者の視覚的関心場所を定義する評価基準を決定するとともに、この評価基準に基づいて、運転者の視覚的関心場所に関する分析を行い、運転支援に利用する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２００９－５４０４５９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方、被験者の視線に基づいて感情・認知状態を把握する技術としては、サリエンシー技術が広く知られており、車両の運転者に対する運転支援技術においても、サリエンシー技術を用いた様々な手法が提案されてきている。このような技術としては、運転者のトップダウン型の関心度（人の趣味嗜好や、それまでの経験に基づいて生じる関心度）を推定するための研究が数多く存在しており、運転者の視線とトップダウン型の関心度を結びつけるような技術の提案もなされている。
【０００６】
しかしながら、サリエンシー技術を用いてトップダウン型の関心度を推定する場合、個々人の趣味嗜好等の特性を把握する必要があるため、ディープラーニング等の機械学習が必要となり、多大な計算コストがかかってしまう。一方、車両において車載マイコンでこなせる計算量には限界があるので、このような従来の関心度推定技術を車両の運転支援等に適用するのは実用的とは言えない。また、このようなトップダウン型の関心度推定を車両に用いた場合、各運転者の個人特性についての機械学習が終了するまでの期間においては関心度の推定を行えないので、新車を購入した場合、関心度推定に基づく運転支援を直ちに提供できないという問題もある。
【０００７】
本発明は、以上のような事情を勘案してなされたもので、車両の運転者の興味関心度を運転者の視線位置に基づいて推定する興味関心度推定装置において、機械学習を必要とせずに、低コストで的確な興味関心度の推定を行い得る興味関心度推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するため、本発明にあっては、次のような解決方法を採択している。すなわち、請求項１に記載のように、車両の運転者の関心度に関する感情・認知状態である興味関心度を推定する興味関心度推定装置において、前記運転者の視界に対応する視界画像を取得する視界画像取得手段と、前記運転者の視線が向かう前記視界画像上の視線位置を算出する視線位置検出手段と、前記視界画像取得手段により取得された前記視界画像の各地点におけるサリエンシーをマップ化したサリエンシーマップを作成するサリエンシーマップ生成手段と、前記視線位置における前記サリエンシーマップのサリエンシー値に基づいて、関心度指数を算出する関心度指数算出手段と、前記視界画像の複雑さの程度を表す複雑度指数を算出する複雑度指数算出手段と、前記関心度指数算出手段により算出された関心度指数と前記複雑度指数算出手段により算出された複雑度指数に基づいて、前記運転者の興味関心度を推定する興味関心度推定手段とを備えた。
【０００９】
上記解決手法によれば、運転者の視線位置におけるサリエンシー値から算出される関心度指数と、視界画像の複雑さの程度を表す複雑度指数とに基づいて、運転者の興味関心度が推定されるので、関心度指数と複雑度指数の２つの指数の高低により、興味関心度を的確に推定することができる。すなわち、運転者が特別な関心（興味）を持っていない場合には、運転者の視線は、本能的に視界画像のサリエンシー値の高い地点に向かうと考えられるので、運転者の興味関心度は、運転者の視線がサリエンシー値の低い地点にある場合には高い（何らかの興味又は関心を持って意識的にその地点を見ている）と、運転者の視線がサリエンシー値の高い地点にある場合には低い（本能的に目立つ地点を見ているに過ぎない）と考えられる。このような関心度指数を用いた分類を、視界画像の複雑さの程度（複雑度指数）を用いた分類と組み合わせることにより、運転者の興味関心度を、主観値（運転者自身が主観的にどう感じているか）と適切に一致した形で、適切に分類することができる。したがって、運転者の視線位置を用いた興味関心度の推定を、的確に行うことができる。
【００１０】
上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２以下に記載の通りである。すなわち、前記サリエンシーマップは、前記視界画像自体から得られる特徴量のみに基づいて算出されたサリエンシーをマップ化したボトムアップサリエンシーマップである（請求項２対応）。この場合、サリエンシーマップは、ディープラーニング等の機械学習を必要とせずに、視界画像の解析のみで得られるもの（ボトムアップサリエンシーのみを含むもの）であるので、サリエンシーマップの生成に多大な計算コストを要することはなく、興味関心度推定装置を低コストで提供できる。また、興味関心度推定装置は、使用開始に先立つ機械学習の期間を必要としないので、車両への実装後に直ちに使用可能となる。
（【００１１】以降は省略されています）

関連特許