特許ウォッチ

公開番号2025083592
公報種別公開特許公報(A)
公開日2025-05-30
出願番号2025045624,2022124713
出願日2025-03-19,2022-08-04
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 7/18 20060101AFI20250523BHJP(電気通信技術)
要約【課題】回路規模とコストの増大および遅延を抑制しつつ、視認し易い画像を表示可能にする。
【解決手段】画像処理装置は、歪曲が大きい高歪曲な領域と歪曲が小さい低歪曲な領域とを含む光学系による光学像を撮像した第1の画像を取得し、その第1の画像から一部の画像領域を切り出した第2の画像を取得する。そして、画像処理装置は、第2の画像を、光学系の歪曲に応じた伸縮の倍率によって伸縮し、その伸縮がなされた第2の画像を、表示装置に出力する。
【選択図】図1
特許請求の範囲【請求項１】
歪曲が大きい高歪曲な領域と歪曲が小さい低歪曲な領域とを含む光学系による光学像を撮像した第１の画像を取得する取得手段と、
前記第１の画像から一部の画像領域を切り出した第２の画像を取得する切出手段と、
前記第２の画像を、前記光学系の歪曲に応じた伸縮の倍率によって伸縮する伸縮処理手段と、を有し、
前記伸縮処理手段により前記伸縮がなされた前記第２の画像を、表示装置に出力することを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
歪曲が大きい高歪曲な領域と歪曲が小さい低歪曲な領域とを含む光学系による光学像を撮像した第１の画像を取得する取得手段と、
前記第１の画像から一部の画像領域を切り出して第２の画像を取得する切出手段と、
前記第２の画像を、前記光学系の歪曲に応じた伸縮の倍率によって伸縮する伸縮処理手段と、
前記伸縮処理手段により前記伸縮がなされた前記第２の画像から、表示装置に出力する画像を切り出す表示画像切出手段と、
を有することを特徴とする画像処理装置。
【請求項３】
前記第１の画像に対し、前記光学系の射影特性に応じた補正処理を行う補正手段を有し、
前記補正処理がなされた前記第１の画像を、前記表示装置とは別の表示装置に出力することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記光学系の射影特性に基づく画像の歪曲を補正するような補正処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示装置へ出力される画像から物体を認識する認識処理を行い、前記認識処理による認識の結果を、前記表示装置に出力される画像に重畳することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記光学系の前記低歪曲な領域は、前記光学系の歪曲が第１の閾値未満となる領域であり、
前記光学系の前記高歪曲な領域は、前記光学系の歪曲が前記第１の閾値以上となる領域であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記切出手段は、前記第１の画像から、垂直方向における歪曲が前記第１の閾値以上となる画像領域を含まないように切り出しを行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記伸縮処理手段は、前記低歪曲な領域における画角内での単位角度あたりの画素数を基準とし、前記高歪曲な領域における前記単位角度ごとの解像度が、前記基準の解像度に相当するようになる倍率で前記第２の画像を伸縮させることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記光学系の前記低歪曲な領域は、画角内における単位角度あたりの画素数が最も高くなる領域を含む領域であり、
前記光学系の前記高歪曲な領域は、画角内における単位角度あたりの画素数が、前記低歪曲な領域における前記単位角度あたりの画素数より小さい値である第２の閾値以下になる領域であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項１０】
前記切出手段は、第１の画像から、画角内における垂直方向の単位角度あたりの画素数が、前記低歪曲な領域における単位角度あたりの画素数より小さい値である前記第２の閾値以下の領域を含まない画像領域を切り出すことを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像された画像から表示装置に表示する画像を生成する画像処理技術に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
自動車等の車両の後方に取り付けられたカメラが撮像した動画像を、車載ディスプレイと電子ルームミラーとに表示するような画像表示システムがある。以下、車両後方に取り付けられたカメラを後方カメラと呼び、後方カメラにより撮像された動画像を後方画像と呼ぶ。ここで、後方カメラは広い画角が得られる光学系を備えていることが多く、このような広画角の光学系は歪曲が大きくなり易いため、後方カメラで取得された後方画像には歪曲補正が施されている。また、電子ルームミラーには、後方画像のうち車両の真後ろ等の領域の画像を切り出して表示するような画像表示システムもある。
【０００３】
特許文献１には、撮像面上の第１の領域と第２の領域とで、それぞれ結像する光の拡大率を異ならせるような光学特性の光学系を有する撮像装置が開示されている。特許文献１では、第１の領域が第２の領域内の局所領域となされ、第２の領域の画像に歪曲補正を施して車載ディスプレイに表示し、また、その歪曲補正後の画像から第１の領域の画像を切り出して電子ルームミラーに表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
特許第６３４９５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、画像表示システムには、車載ディスプレイに表示する画像を、車両の真後ろの画像や車両の下方側の画像など、注目する領域の画像に切り替え可能なシステムもある。このようなシステムの場合、表示する注目領域の切り替えに応じて、後方画像に対する歪曲補正の方式も適宜切り替えられる。しかしながら、歪曲補正の方式が切り替えられると、歪曲補正後の後方画像から電子ルームミラーに表示するために切り出される領域の画像も変化することになり、ユーザビリティが損なわれてしまう。この場合、電子ルームミラーに表示するために切り出した領域の画像に対して専用の歪曲補正処理を行う構成を設けることも考えられるが、そうすると回路規模とコストが増大してしまう。また特に電子ルームミラーに表示される画像は高フレームレートの画像であることが望ましいが、歪曲補正処理にはある程度の処理時間がかかるため遅延が大きくなり、所望のフレームレートが得られなくなる可能性がある。一方で、遅延を少なくするために、電子ルームミラーに表示するために切り出される領域の画像に対して歪曲補正を行わないようにすると、大きな歪曲が残った変形した像が表示されることになり、非常に視認し難い画像になってしまう。
【０００６】
そこで本発明は、回路規模とコストの増大および遅延を抑制しつつ、視認し易い画像を表示可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、歪曲が大きい高歪曲な領域と歪曲が小さい低歪曲な領域とを含む光学系による光学像を撮像した第１の画像を取得する取得手段と、前記第１の画像から一部の画像領域を切り出した第２の画像を取得する切出手段と、前記第２の画像を、前記光学系の歪曲に応じた伸縮の倍率によって伸縮する伸縮処理手段と、を有し、前記伸縮処理手段により前記伸縮がなされた前記第２の画像を、表示装置に出力することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、回路規模とコストの増大および遅延を抑制しつつ、視認し易い画像を表示可能となる。
【図面の簡単な説明】
【０００９】
第１の実施形態の機能構成およびハードウェア構成例を示す図である。
光学系の光学特性（射影特性）の説明に用いる図である。
第１の実施形態の電子ルームミラー表示処理のフローチャートである。
第１の実施形態の切り出しおよび伸長処理の説明に用いる図である。
伸長係数（伸長倍率）の説明に用いる図である。
第２の実施形態の機能構成例を示す図である。
第２の実施形態の電子ルームミラー表示処理のフローチャートである。
第２の実施形態の切り出しおよび伸長処理の説明に用いる図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態を、図面を参照しながら説明する。以降に挙げる実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。
（【００１１】以降は省略されています）

関連特許