TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2021027366
公報種別公開特許公報(A)
公開日20210222
出願番号2019140438
出願日20190731
発明の名称画像生成装置
出願人株式会社デンソーテン
代理人
主分類H04N 7/18 20060101AFI20210125BHJP(電気通信技術)
要約【課題】ユーザが違和感を抱くことの少ない視点変換画像を生成する画像生成装置を提供することを課題とする。
【解決手段】画像生成装置10において、画像取得部11は、車両に搭載されたカメラから撮影画像31〜34を取得する。俯瞰画像生成部12は、画像取得部11により取得された撮影画像31〜34から、各々が車両を俯瞰する俯瞰画像36A〜36Cを生成する。線検出部13は、生成された俯瞰画像36A〜36Cの各々から、路面に描かれた白線を検出する。湾曲度取得部14は、検出された白線の各々の湾曲度を取得する。画像選択部15は、取得された湾曲度に基づいて、俯瞰画像36A〜36Cのうちいずれか1つを選択する。出力部16は、画像選択部15により選択された俯瞰画像を出力する。
【選択図】図3
特許請求の範囲【請求項1】
車両に搭載された複数のカメラから複数の撮影画像を取得する画像取得部と、
前記画像取得部により取得された複数の撮影画像から、各々が前記車両を俯瞰する複数の俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部により生成された複数の俯瞰画像の各々から、所定の条件を満たす線を検出する線検出部と、
前記線検出部により検出された線の各々の湾曲度を取得する湾曲度取得部と、
前記湾曲度取得部により取得された湾曲度に基づいて、前記生成された複数の俯瞰画像のうちいずれか1つを選択する画像選択部と、
前記画像選択部により選択された俯瞰画像を出力する出力部と、を備える画像生成装置。
続きを表示(約 1,600 文字)【請求項2】
請求項1に記載の画像生成装置であって、
前記画像選択部は、前記取得された湾曲度に基づいて前記複数の俯瞰画像の各々において最も湾曲している線を特定し、前記取得された湾曲度に基づいて特定した線の中で最も直線に近い線を有する俯瞰画像を選択する、画像生成装置。
【請求項3】
請求項1又は2に記載の画像生成装置であって、
前記俯瞰画像生成部は、
前記取得された複数の撮影画像を投影面に投影して投影画像を生成する画像投影部と、
前記画像投影部により生成された投影画像から予め設定された複数の対象領域を切り出して前記複数の俯瞰画像を生成する画像切り出し部と、を含む画像生成装置。
【請求項4】
請求項1又は2に記載の画像生成装置であって、
前記俯瞰画像生成部は、
前記取得された複数の撮影画像を第1投影面に投影して第1投影画像を生成し、前記取得された複数の撮影画像を第2投影面に投影して第2投影画像を生成する画像投影部と、
前記画像投影部により生成された第1投影画像から予め設定された第1対象領域を切り出して第1俯瞰画像を生成し、前記画像投影部により生成された第2投影画像から予め設定された第2対象領域を切り出して第2俯瞰画像を生成する画像切り出し部と、を含む画像生成装置。
【請求項5】
車両に搭載された複数のカメラから複数の撮影画像を取得する画像取得部と、
前記画像取得部により取得された複数の撮影画像から、前記車両を俯瞰する第1俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部により生成された第1俯瞰画像から、所定の条件を満たす線を検出する線検出部と、
前記線検出部により検出された線の各々の湾曲度を取得する湾曲度取得部と、
前記湾曲度取得部により取得された湾曲度に基づいて、前記第1俯瞰画像に含まれる線が湾曲しているか否かを判断する湾曲判断部と、を備え、
前記第1俯瞰画像に含まれる線が湾曲していると前記湾曲判断部により判断された場合、前記俯瞰画像生成部は、前記第1俯瞰画像の生成条件と異なる生成条件で第2俯瞰画像を生成する、画像生成装置。
【請求項6】
車両に搭載された複数のカメラから複数の撮影画像を取得する画像取得ステップと、
前記取得された複数の撮影画像から、各々が前記車両を俯瞰する複数の俯瞰画像を生成する俯瞰画像生成ステップと、
前記生成された複数の俯瞰画像の各々から、所定の条件を満たす線を検出する線検出ステップと、
前記検出された線の各々の湾曲度を取得する湾曲度取得ステップと、
前記取得された湾曲度に基づいて、前記生成された複数の俯瞰画像のうちいずれか1つを選択する画像選択ステップと、
前記選択された俯瞰画像を出力する出力ステップと、を備える画像生成方法。
【請求項7】
車両に搭載された複数のカメラから複数の撮影画像を取得する画像取得ステップと、
前記取得された複数の撮影画像から、前記車両を俯瞰する第1俯瞰画像を生成する第1俯瞰画像生成ステップと、
前記生成された第1俯瞰画像から、所定の条件を満たす線を検出する線検出ステップと、
前記検出された線の各々の湾曲度を取得する湾曲度取得ステップと、
前記取得された湾曲度に基づいて、前記第1俯瞰画像に含まれる線が湾曲しているか否かを判断する湾曲判断ステップと、
前記第1俯瞰画像に含まれる線が湾曲していると判断された場合、前記第1俯瞰画像の生成条件と異なる生成条件で第2俯瞰画像を生成する第2俯瞰画像生成ステップと、を備える画像生成方法。

発明の詳細な説明【技術分野】
【0001】
本発明は、仮想視点から見た画像をカメラにより生成された撮影画像から生成する画像生成装置に関する。
続きを表示(約 5,300 文字)【背景技術】
【0002】
車両に搭載されたカメラにより生成された撮影画像から俯瞰画像を生成する技術が知られている。俯瞰画像は、車両よりも上に位置する仮想視点から見た画像であって、車両の周辺を示す。
【0003】
特許文献1は、車両の後端に取り付けられたカメラにより生成された撮影画像データを視点変換画像データに変換する駐車支援装置を開示している。視点変換画像データは、カメラの取付位置よりも高い仮想視点から見下ろした俯瞰画像である。この駐車支援装置は、車両と駐車区画とのなす角である偏向角に基づいて、撮影画像データ及び視点変換画像データのいずれか一方を表示部に出力する。
【先行技術文献】
【特許文献】
【0004】
特開2008−296697号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の画像生成装置により生成された俯瞰画像において、道路上に描かれた直線状の白線や、自動車等の物体が湾曲することがある。実際には直線である白線が、俯瞰画像において曲線として表示された場合、車両の運転者が、表示された俯瞰画像に違和感を抱くという問題がある。
【0006】
上記問題点に鑑み、本発明は、ユーザが違和感を抱くことの少ない視点変換画像を生成する画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、第1の発明は、画像生成装置であって、画像取得部と、俯瞰画像生成部と、線検出物と、湾曲度取得部と、画像選択部と、出力部とを備える。画像取得部は、車両に搭載された複数のカメラから複数の撮影画像を取得する。俯瞰画像生成部は、画像取得部により取得された複数の撮影画像から、各々が車両を俯瞰する複数の俯瞰画像を生成する。線検出部は、俯瞰画像生成部により生成された複数の俯瞰画像の各々から、所定の条件を満たす線を検出する。湾曲度取得部は、線検出部により検出された線の各々の湾曲度を取得する。画像選択部は、湾曲度取得部により取得された湾曲度に基づいて、生成された複数の俯瞰画像のうちいずれか1つを選択する。出力部は、画像選択部により選択された俯瞰画像を出力する。
【0008】
第1の発明によれば、画像選択部は、複数の俯瞰画像の各々から検出された線の湾曲度に基づいて、複数の俯瞰画像の中からいずれか1つを選択する。出力部は、画像選択部により選択された俯瞰画像を選択する。これにより、実際には直線である線が湾曲している俯瞰画像が出力されることが抑制されるため、ユーザが俯瞰画像に違和感を抱くことを防ぐことができる。
【0009】
第2の発明は、第1の発明であって、画像選択部は、取得された湾曲度に基づいて複数の俯瞰画像の各々において最も湾曲している線を特定し、取得された湾曲度に基づいて特定した線の中で最も直線に近い線を有する俯瞰画像を選択する。
【0010】
第2の発明によれば、湾曲度の小さい線を有する俯瞰画像を複数の俯瞰画像の中から選択することができる。
【0011】
第3の発明は、第1又は第2の発明であって、俯瞰画像生成部は、画像投影部と、画像切り出し部とを含む。画像投影部は、取得された複数の撮影画像を投影面に投影して投影画像を生成する。画像切り出し部は、画像投影部により生成された投影画像から予め設定された複数の対象領域を切り出して複数の俯瞰画像を生成する。
【0012】
第3の発明によれば、1つの投影画像から複数の俯瞰画像を生成することができるため、複数の俯瞰画像を効率的に生成することができる。
【0013】
第4の発明は、第1又は第2の発明であって、画像投影部と、画像切り出し部とを含む。画像投影部は、取得された複数の撮影画像を第1投影面に投影して第1投影画像を生成し、取得された複数の撮影画像を第2投影面に投影して第2投影画像を生成する。画像切り出し部は、画像投影部により生成された第1投影画像から予め設定された第1対象領域を切り出して第1俯瞰画像を生成し、画像投影部により生成された第2投影画像から予め設定された第2対象領域を切り出して第2俯瞰画像を生成する。
【0014】
第4の発明によれば、複数の投影画像を生成することにより、複数の俯瞰画像を生成することができる。
【0015】
第5の発明は、画像生成装置であって、画像取得部と、俯瞰画像生成部と、線検出物と、湾曲度取得部と、湾曲判断部とを備える。画像取得部は、車両に搭載された複数のカメラから複数の撮影画像を取得する。俯瞰画像生成部は、画像取得部により取得された複数の撮影画像から、車両を俯瞰する第1俯瞰画像を生成する。線検出部は、俯瞰画像生成部により生成された第1俯瞰画像から、所定の条件を満たす線を検出する。湾曲度取得部は、線検出部により検出された線の各々の湾曲度を取得する。湾曲判断部は、湾曲度取得部により取得された湾曲度に基づいて、第1俯瞰画像に含まれる線が湾曲しているか否かを判断する。第1俯瞰画像に含まれる線が湾曲していると湾曲判断部により判断された場合、俯瞰画像生成部は、第1俯瞰画像の生成条件と異なる生成条件で第2俯瞰画像を生成する。
【0016】
第6の発明は、画像生成方法であって、画像取得ステップと、俯瞰画像生成ステップと、線検出ステップと、湾曲度取得ステップと、画像選択ステップと、出力ステップとを備える。画像取得ステップは、車両に搭載された複数のカメラから複数の撮影画像を取得する。俯瞰画像生成ステップは、取得された複数の撮影画像から、各々が車両を俯瞰する複数の俯瞰画像を生成する。線検出ステップは、生成された複数の俯瞰画像の各々から、所定の条件を満たす線を検出する。湾曲度取得ステップは、検出された線の各々の湾曲度を取得する。画像選択ステップは、取得された湾曲度に基づいて、生成された複数の俯瞰画像のうちいずれか1つを選択する。出力ステップは、選択された俯瞰画像を出力する。
【0017】
第6の発明は、第1の発明に用いられる。
【0018】
第7の発明は、画像生成方法であって、画像取得ステップと、第1俯瞰画像生成ステップと、線検出ステップと、湾曲度取得ステップと、湾曲判断ステップと、第2俯瞰画像生成ステップとを備える。画像取得ステップは、車両に搭載された複数のカメラから複数の撮影画像を取得する。第1俯瞰画像生成ステップは、取得された複数の撮影画像から、車両を俯瞰する第1俯瞰画像を生成する。線検出ステップは、生成された第1俯瞰画像から、所定の条件を満たす線を検出する。湾曲度取得ステップは、検出された線の各々の湾曲度を取得する。湾曲判断ステップは、取得された湾曲度に基づいて、第1俯瞰画像に含まれる線が湾曲しているか否かを判断する。第2俯瞰画像生成ステップは、第1俯瞰画像に含まれる線が湾曲していると判断された場合、第1俯瞰画像の生成条件と異なる生成条件で第2俯瞰画像を生成する。
【0019】
第7の発明は、第5の発明に用いられる。
【発明の効果】
【0020】
本発明によれば、ユーザが違和感を抱くことの少ない視点変換画像を生成する画像生成装置を提供することができる。
【図面の簡単な説明】
【0021】
本発明の第1の実施の形態に係る画像生成装置を搭載する車両の構成を示す機能ブロック図である。
図1に示すカメラの配置の一例を示す図である。
図1に示す画像生成装置の構成を示す機能ブロック図である。
図3に示す俯瞰画像生成部の構成を示す機能ブロック図である。
図1に示す画像生成装置が俯瞰画像を出力する手順の概略を示す図である。
図3に示す駐車位置設定部により生成される駐車位置選択画像の一例を示す図である。
図1に示す画像生成装置の動作を示すフローチャートである。
図7に示す俯瞰画像生成処理のフローチャートである。
図4に示す画像投影部が投影画像を生成する手順を示す図である。
図3に示す俯瞰画像生成部により生成される俯瞰画像の一例を示す図である。
図10に示す俯瞰画像に含まれる白線の湾曲度を取得する手順を説明する図である。
図3に示す湾曲度取得から出力される湾曲度情報の一例をリスト形式で示す図である。
本発明の第2の実施の形態に係る画像生成装置の構成を示す機能ブロック図である。
CPUバス構成を示す図である。
【発明を実施するための形態】
【0022】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
【0023】
<第1の実施の形態>
[1.構成]
[1.1.車両100の構成]
図1は、本発明の一実施の形態に係る画像生成装置10を搭載する車両100の構成を示す機能ブロック図である。図1を参照して、車両100は、車体1と、左前輪1FLと、右前輪1FRと、左後輪1RLと、右後輪1RRと、車軸2F及び2Rとを備える。
【0024】
左前輪1FLは、車体1の左前方に配置される。右前輪1FRは、車体1の右前方に配置される。左前輪1FL及び右前輪1FRは、車体1の前方に配置された車軸2Fを回転軸として回転する。車軸2Fは、車両100のドライブシャフトであり、図示しないエンジンの出力を左前輪1FL及び右前輪1FRに伝える。左前輪1FL及び右前輪1FRは、車両100の操舵輪である。左前輪1FL及び右前輪1FRの舵角は、図示しないステアリングホイールの回転に応じて変化する。
【0025】
左後輪1RLは、車体1の左後方に配置される。右後輪1RRは、車体1の右後方に配置される。左後輪1RL及び右後輪1RRは、車体1の後方に配置された車軸2Rを回転軸として回転する。
【0026】
車両100は、さらに、表示装置5と、画像生成装置10と、フロントカメラ21と、左サイドカメラ22と、リアカメラ23と、右サイドカメラ24とを備える。以下の説明において、フロントカメラ21と、左サイドカメラ22と、リアカメラ23と、右サイドカメラ24とを総称する場合、単に「カメラ」と記載する。
【0027】
表示装置5は、タッチパネル式の薄型ディスプレイであり、運転者から見やすい位置に配置される。例えば、表示装置5は、車両100のスピードメータの近傍に配置される。表示装置5は、画像生成装置10により生成される選択俯瞰画像37及び位置選択画像55を表示する。選択俯瞰画像37及び位置選択画像55については、後述する。
【0028】
フロントカメラ21は、車両100の前方の景色を撮影して前方画像31を生成し、その生成した前方画像31を画像生成装置10に供給する。左サイドカメラ22は、車両100の左方の景色を撮影して左方画像32を生成し、その生成した左方画像32を画像生成装置10に供給する。リアカメラ23は、車両100の後方の景色を撮影して後方画像33を生成し、その生成した後方画像33を画像生成装置10に供給する。右サイドカメラ24は、車両100の右方の景色を撮影して右方画像34を生成し、その生成した右方画像34を画像生成装置10に供給する。
【0029】
以下の説明において、前方画像31、左方画像32、後方画像33及び右方画像34を総称して、撮影画像と記載する場合がある。撮影画像31〜34の各々は、動画像を構成するフレームである。カメラ21〜24は、撮影画像31〜34を所定の時間間隔で生成して、その生成した撮影画像31〜34を画像生成装置10に出力する。
【0030】
画像生成装置10は、カメラから受けた撮影画像31〜34を用いて、仮想視点が互いに異なる複数の俯瞰画像を生成する。仮想視点の詳細ついては後述する。画像生成装置10は、生成した複数の俯瞰画像の各々から白線を検出し、検出した白線の湾曲度を取得する。画像生成装置10は、取得した湾曲度に基づいて、生成した複数の俯瞰画像のうちいずれか1つを選択俯瞰画像37として表示装置2に出力する。画像生成装置10の詳細については、後述する。
(【0031】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

株式会社デンソーテン
筐体
株式会社デンソーテン
電子装置
株式会社デンソーテン
取付部材
株式会社デンソーテン
車載装置
株式会社デンソーテン
電子装置
株式会社デンソーテン
半波整流回路
株式会社デンソーテン
情報処理装置
株式会社デンソーテン
光源駆動装置
株式会社デンソーテン
異常検出装置
株式会社デンソーテン
料金計算装置
株式会社デンソーテン
電子制御装置
株式会社デンソーテン
緊急通報装置
株式会社デンソーテン
画像生成装置
株式会社デンソーテン
アンテナ装置
株式会社デンソーテン
アンテナ装置
株式会社デンソーテン
位置特定装置
株式会社デンソーテン
ノイズ低減装置
株式会社デンソーテン
付着物除去装置
株式会社デンソーテン
はんだ付け装置
株式会社デンソーテン
機器の取付構造
株式会社デンソーテン
走行状況記録装置
株式会社デンソーテン
画像記録システム
株式会社デンソーテン
アンテナ取付構造
株式会社デンソーテン
発熱部品の放熱構造
株式会社デンソーテン
ナビゲーション装置
株式会社デンソーテン
メモリアクセス装置
株式会社デンソーテン
負荷回路、増幅装置
株式会社デンソーテン
緊急通報装置及び方法
株式会社デンソーテン
管理装置及び管理方法
株式会社デンソーテン
制御装置および通知方法
株式会社デンソーテン
制御装置および制御方法
株式会社デンソーテン
制御装置および制御方法
株式会社デンソーテン
制御装置および補正方法
株式会社デンソーテン
制御装置および制御方法
株式会社デンソーテン
制御装置および制御方法
株式会社デンソーテン
制御装置および検出方法
続きを見る