特許ウォッチ

公開番号2024043269
公報種別公開特許公報(A)
公開日2024-03-29
出願番号2022148362
出願日2022-09-16
発明の名称処理装置
出願人株式会社デンソー
代理人個人,個人,個人
主分類B60W 40/02 20060101AFI20240322BHJP(車両一般)
要約【課題】パルス発光型光学センサ起因の高輝度異常の発生に対処可能な処理装置を提供する。
【解決手段】処理装置10は、自動運転を実行可能な車両EVにおいて、所定のシャッタ方式をもつ車載カメラ1で撮影された画像に対する対応処理を運転アクションに反映させるために、プロセッサ10bを備える。プロセッサ10bは、画像を取得することと、画像から、シャッタ方式に対応した抽出アルゴリズムを用いて、車載カメラ1にパルス発光型光学センサとしてのライダ80からの光パルスLPが入射したことによる高輝度異常が発生した異常発生画像を抽出することと、異常発生画像に対する対応処理を、他の画像に対する対応処理とは異ならせることと、を実行するように構成されている。
【選択図】図4
特許請求の範囲【請求項１】
自動運転を実行可能な車両（ＥＶ）において、所定のシャッタ方式をもつ車載カメラ（１，２，４０１）で撮影された画像に対する対応処理を運転アクションに反映させるために、少なくとも１つのプロセッサ（１０ｂ，３１０ｂ）を備える処理装置であって、
前記少なくとも１つのプロセッサは、
前記画像を取得することと、
前記画像から、前記シャッタ方式に対応した抽出アルゴリズムを用いて、前記車載カメラにパルス発光型光学センサ（３，８０）からの光パルス（ＬＰ）が入射したことによる高輝度異常が発生した異常発生画像を抽出することと、
前記異常発生画像に対する前記対応処理を、他の前記画像に対する前記対応処理とは異ならせることと、を実行するように構成されている、処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記シャッタ方式は、ローリングシャッタ方式であり、
前記抽出アルゴリズムは、連続する複数のフレームを含む前記画像の時系列データを用いて、前記複数のフレーム間の特性の差を検出することに基づき、前記異常発生画像を抽出するアルゴリズムを含む、請求項１に記載の処理装置。
【請求項３】
前記シャッタ方式は、ローリングシャッタ方式であり、
前記抽出アルゴリズムは、前記車載カメラの撮像素子において撮影タイミングに時間差が発生する複数のラインと直交する方向の輝度値マップから、高輝度異常を示す輝度値の段差形状を検出することに基づき、前記異常発生画像を抽出するアルゴリズムを含む、請求項１に記載の処理装置。
【請求項４】
前記シャッタ方式は、ローリングシャッタ方式であり、
前記異常発生画像への前記対応処理は、前記異常発生画像に相当するフレームを、全て削除する処理を含む、請求項１に記載の処理装置。
【請求項５】
前記シャッタ方式は、ローリングシャッタ方式であり、
前記異常発生画像への前記対応処理は、前記異常発生画像のフレームのうち、高輝度異常が発生した部分を、その前のフレームに対応する画素から移植する処理を含む、請求項１に記載の処理装置。
【請求項６】
前記シャッタ方式は、ローリングシャッタ方式であり、
前記異常発生画像への前記対応処理は、前記異常発生画像のフレームのうち、高輝度異常が発生した部分を、前記自動運転において利用する対象から除外するようにマスキングする処理を含む、請求項１に記載の処理装置。
【請求項７】
前記少なくとも１つのプロセッサは、
前記画像に前記画像の信頼度の情報を付与することを、さらに実行するように構成されており、
前記シャッタ方式は、ローリングシャッタ方式であり、
前記異常発生画像への前記対応処理は、前記異常発生画像のフレームのうち、高輝度異常が発生した部分の信頼度を、他の部分の信頼度よりも低下させる処理を含む、請求項１に記載の処理装置。
【請求項８】
前記シャッタ方式は、ローリングシャッタ方式であり、
前記異常発生画像への前記対応処理は、前記車載カメラに対して、現状の前記異常発生画像の撮影条件として採用されていた露光時間に対して、次回撮影以降の前記露光時間を変更する要求を出力する処理を含む、請求項１に記載の処理装置。
【請求項９】
前記抽出アルゴリズムは、前記要求に対応した前記露光時間の変更により、前記露光時間に応じた、高輝度異常が発生した部分の幅の変化を検出することに基づき、前記異常発生画像を抽出するアルゴリズムを含む、請求項８に記載の処理装置。
【請求項１０】
前記少なくとも１つのプロセッサは、
前記パルス発光型光学センサの動作を取得することを、さらに実行するように構成されており、
前記シャッタ方式は、ローリングシャッタ方式であり、
前記抽出アルゴリズムは、前記パルス発光型光学センサの動作の情報を用いて、前記車載カメラの露光時間内に前記光パルスが前記車載カメラへ入射しているか否かを判断することに基づき、前記異常発生画像を抽出するアルゴリズムを含む、請求項１に記載の処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
この明細書による開示は、自動運転等の高度な運転を実行する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１には、車両に車載カメラ及び光レーダ等のパルス発光型光学センサを両方搭載することが開示されている。また、太陽光起因のフレアの発生状況を検出し、この結果に基づいて車載カメラの画像の信頼性を判定する車両制御装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特許第６９８１２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、車載カメラ及びパルス発光型光学センサを利用した自動運転の普及に伴い、パルス発光型光学センサが発したパルスが車載カメラに入射し、例えばフレア等の高輝度異常が発生することが頻発する可能性があることを、本発明者は見出した。しかしながら、特許文献１の装置では、このようなパルス発光型光学センサ起因の高輝度異常の発生形態が考慮されていない。
【０００５】
この明細書の開示による目的のひとつは、パルス発光型光学センサ起因の高輝度異常の発生に対処可能な処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
ここに開示された態様のひとつは、自動運転を実行可能な車両（ＥＶ）において、所定のシャッタ方式をもつ車載カメラ（１，２，４０１）で撮影された画像に対する対応処理を運転アクションに反映させるために、少なくとも１つのプロセッサ（１０ｂ，３１０ｂ）を備える処理装置であって、
少なくとも１つのプロセッサは、
画像を取得することと、
画像から、シャッタ方式に対応した抽出アルゴリズムを用いて、車載カメラにパルス発光型光学センサ（３，８０）からの光パルス（ＬＰ）が入射したことによる高輝度異常が発生した異常発生画像を抽出することと、
異常発生画像に対する対応処理を、他の画像に対する対応処理とは異ならせることと、を実行するように構成されている、処理装置。
【０００７】
このような態様によると、パルス発光型光学センサからの光パルス（ＬＰ）が入射したことによる高輝度異常は、車載カメラのシャッタ方式に対応した抽出アルゴリズムを用いて抽出される。故に、車載カメラの特性に応じて、パルス発光型光学センサ起因の高輝度異常を抽出できる。そして、高輝度異常が発生した画像に対する対応処理は、他の画像とは異なるので、パルス発光型光学センサ起因の高輝度異常の発生に適切な対処を実施することができる。
【０００８】
なお、特許請求の範囲等に含まれる括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
【図面の簡単な説明】
【０００９】
自動運転システムの概略構成を示す図。
自動運転システムの機能的構成を示す図。
他車両のライダの光パルスが自車両の車載カメラに入射するシーンの例を示す図。
ローリングシャッタ方式の露光を説明する図。
異常発生画像の例を示す図。
正常な画像の例を示す図。
高輝度異常が発生した場合の輝度値マップの例を示すグラフ。
露光時間の変更と高輝度異常が発生するライン数との関係を説明するための図。
処理方法の例を示すフローチャート。
グローバルシャッタ方式の露光を説明する図。
自車両のライダの光パルスが自車両の車載カメラに入射するシーンの例を示す図。
自動運転システムの機能的構成を示す図。
処理方法の例を示すフローチャート。
自動運転システムの概略構成を示す図。
偏光フィルタを備える車載カメラを示す模式図。
偏光フィルタの機能を説明するための図。
【発明を実施するための形態】
【００１０】
以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
（【００１１】以降は省略されています）

関連特許