特許ウォッチ

公開番号2024166321
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2024156971,2021167308
出願日2024-09-10,2021-10-12
発明の名称画像トリミング装置、及び、画像トリミング方法
出願人朝日航洋株式会社,個人
代理人個人,個人
主分類G06T 1/00 20060101AFI20241121BHJP(計算;計数)
要約【課題】品質のブレを抑制可能な画像トリミング装置、及び、画像トリミング方法を提供する。
【解決手段】画像処理装置1は、車両SCに設置されたカメラ110による撮像で得られた画像の処理を行う処理部10を備える。処理部10は、カメラ110が車両SCの走行する路面を撮像することで得られる斜め画像と当該斜め画像に対応する鉛直画像との間の射影変換係数を算出する算出処理と、カメラ110から処理対象の対象斜め画像を取得する取得処理と、射影変換係数に基づいて、車両SCの進行方向であるy方向における鉛直画像の上端及び下端に対応する対象斜め画像の一対のy座標に挟まれる対象斜め画像の範囲をトリミング範囲Rtとし、対象斜め画像から当該トリミング範囲Rtを切り出すトリミング処理と、を実行する。
【選択図】図3

特許請求の範囲【請求項１】
車両に設置されたカメラによる撮像で得られた画像の処理を行う処理部を備え、
前記処理部は、
前記カメラが前記車両の走行する路面を撮像することで得られる前記路面の像を含む斜め画像と当該斜め画像に対応する前記路面の鉛直画像との間の射影変換係数を算出する算出処理と、
前記カメラから処理対象の前記斜め画像である対象斜め画像を取得する取得処理と、
前記算出処理及び前記取得処理の後に、前記射影変換係数に基づいて、前記車両の進行方向であるｙ方向における前記鉛直画像の上端及び下端に対応する前記対象斜め画像の一対のｙ座標に挟まれる前記対象斜め画像の範囲をトリミング範囲とし、前記対象斜め画像から前記トリミング範囲を切り出すトリミング処理と、を実行する、
画像トリミング装置。
続きを表示（約 1,400 文字）【請求項２】
前記処理部は、前記算出処理において、前記斜め画像に対して、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点の４点のキーポイントを設定すると共に、前記４点のキーポイントに基づいて前記射影変換係数を算出し、
前記処理部は、前記車両の車幅方向をｘ方向としたとき、前記４点のキーポイントのうちの前記Ａ点と前記Ｂ点とを、前記ｘ方向を規定するｘ軸に平行な第１直線上に設定すると共に、前記４点のキーポイントのうちの前記Ｃ点と前記Ｄ点とを、前記ｘ軸に平行であると共に前記第１直線と異なる第２直線上に設定する、
請求項１に記載の画像トリミング装置。
【請求項３】
前記処理部は、前記算出処理において、
前記Ｃ点を、前記ｙ方向における前記斜め画像の下端であって、透視投影における消失点と前記Ａ点とを結ぶ消失線上に設定し、
前記Ｄ点を、前記斜め画像における前記ｘ方向の端部に設定し、
前記Ｂ点を、透視投影における消失点と前記Ｄ点とを結ぶ消失線上に設定する、
請求項２に記載の画像トリミング装置。
【請求項４】
前記処理部は、前記対象斜め画像が前記カメラにより夜間に撮像された夜間画像を含む場合に、前記トリミング処理の後に、前記トリミング範囲が前記夜間画像における相対的に明るい明所部に対応するように、前記トリミング範囲を調整する調整処理をさらに実行する、
請求項１～３のいずれか一項に記載の画像トリミング装置。
【請求項５】
前記処理部は、前記調整処理の前において、前記夜間画像を、最も明るい前記明所部と、最も暗い暗所部と、前記明所部と前記暗所部との間の明るさの薄明部と、に３値化された３値化画像を生成する３値化処理を実行する、
請求項４に記載の画像トリミング装置。
【請求項６】
前記処理部は、前記調整処理において、
前記３値化画像のラベリング処理により複数の画素群を規定するラベリング処理と、
前記ラベリング処理の後に、前記複数の画素群のうちの前記明所部の候補画素群から、前記夜間画像の中心を含み、且つラベル面積が最大である候補画素群を抽出する抽出処理と、
前記抽出処理で抽出された前記候補画素群と前記トリミング範囲との論理積を取ることにより、少なくとも前記ｙ方向について前記トリミング範囲が前記明所部に対応するように前記トリミング範囲を調整する論理積処理と、
を実行する、
請求項５に記載の画像トリミング装置。
【請求項７】
車両に設置されたカメラによる撮像で得られた画像に対してトリミング処理を行う画像トリミング方法であって、
前記カメラが前記車両の走行する路面を撮像することで得られる前記路面の像を含む斜め画像と当該斜め画像に対応する前記路面の鉛直画像との間の射影変換係数を算出する算出工程と、
前記カメラから処理対象の前記斜め画像である対象斜め画像を取得する取得工程と、
前記算出工程及び前記取得工程の後に、前記射影変換係数に基づいて、前記車両の進行方向であるｙ方向における前記鉛直画像の上端及び下端に対応する前記対象斜め画像の一対のｙ座標に挟まれる前記対象斜め画像の範囲をトリミング範囲とし、前記対象斜め画像から前記トリミング範囲を切り出すトリミング工程と、
を備える画像トリミング方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像トリミング装置、及び、画像トリミング方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
特許文献１には、車載カメラによって路面を撮影した撮影画像のデータ、撮影画像を撮影したカメラの位置情報（位置データ）、車載カメラの向き、車載カメラの路面からの高さ、車載カメラ機種等の情報、及び解析作業を行なう解析作業者の情報等の入力を受け、出力情報として、撮像された画像に舗装のひび割れの形状を示す画像が入った舗装ひび割れ入り画像等を出力することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１０７６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、上述したように、車載カメラによって路面を撮影して得られる画像に基づいて、路面状況を把握することが、道路の維持管理や車両の自動運転を実現する等の目的のために重要となっている。ところで、車載カメラから撮影される画像は透視投影画像であり、車両の進行方向の遠方は小さく投影されると共に、撮影点から遠のくほどレンズ歪の影響が大きくなる。したがって、車載カメラから撮影される画像のうち、写真測量の観点からはレンズ歪の少ない画像中央付近から下部にかけての利用が望ましいが、使用される車種やカメラの傾きに応じて車体（ボンネット部分）の写り込みを避ける必要もある。
【０００５】
したがって、車載カメラから撮影される画像の有効活用のためには、当該画像から適切な範囲をトリミングすることが望ましい。特許文献１にあっても、撮影画像として、車載カメラによって撮影された元画像に対して所定の範囲でトリミングされた画像としてもよい旨の言及がされている。しかしながら、特許文献１では、車載カメラ画像のトリミングに関する具体的な手法等が開示されておらず不明である。したがって、現状では、車載カメラ画像のトリミングは作業者の手作業で行うことが考えられるが、その場合、作業者の経験値や能力に応じて成果品の品質にブレが生じている。
【０００６】
そこで、本開示は、品質のブレを抑制可能な画像トリミング装置、及び、画像トリミング方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示に係る画像トリミング装置は、車両に設置されたカメラによる撮像で得られた画像の処理を行う処理部を備え、処理部は、カメラが車両の走行する路面を撮像することで得られる路面の像を含む斜め画像と当該斜め画像に対応する路面の鉛直画像との間の射影変換係数を算出する算出処理と、カメラから処理対象の斜め画像である対象斜め画像を取得する取得処理と、算出処理及び取得処理の後に、射影変換係数に基づいて、車両の進行方向であるｙ方向における鉛直画像の上端及び下端に対応する対象斜め画像の一対のｙ座標に挟まれる対象斜め画像の範囲をトリミング範囲とし、対象斜め画像からトリミング範囲を切り出すトリミング処理と、を実行する。
【０００８】
本開示に係る画像トリミング方法は、車両に設置されたカメラによる撮像で得られた画像に対してトリミング処理を行う画像トリミング方法であって、カメラが車両の走行する路面を撮像することで得られる路面の像を含む斜め画像と当該斜め画像に対応する路面の鉛直画像との間の射影変換係数を算出する算出工程と、カメラから処理対象の斜め画像である対象斜め画像を取得する取得工程と、算出工程及び取得工程の後に、射影変換係数に基づいて、車両の進行方向であるｙ方向における鉛直画像の上端及び下端に対応する対象斜め画像の一対のｙ座標に挟まれる対象斜め画像の範囲をトリミング範囲とし、対象斜め画像からトリミング範囲を切り出すトリミング工程と、を備える。
【０００９】
本発明者らの知見によれば、斜め画像と射影変換の関係にある鉛直画像のｙ方向（車両進行方向）の上端と下端との間の範囲に対応する斜め画像における範囲は、画像中央付近で歪みが少なく、且つ、車体が映り込みにくい領域である。したがって、本開示に係る装置及び方法では、まず、車載カメラが路面を撮像することで得られる斜め画像と、当該斜め画像に対応する鉛直画像との間の射影変換係数が算出される。そして、算出した射影変換係数に基づいて、実際にトリミングの対象となる斜め画像である対象斜め画像に対して、ｙ方向における鉛直画像の上端及び下端に対応する一対のｙ座標に挟まれる範囲がトリミング範囲とされ、切り出される。これにより、トリミングにより得られる成果品の品質が高品質となる。また、数値計算により定量的にトリミングを行うことにより、成果品の品質に対して作業者の経験や能力が介在する余地がなく、成果品の品質が高品質で安定化されて品質のブレが抑制される。なお、射影変換係数の算出に用いられる斜め画像と、トリミングの対象となる対象斜め画像とは、同一であってもよいし異なっていてもよい。
【００１０】
本開示に係る画像トリミング装置では、処理部は、算出処理において、斜め画像に対して、Ａ点、Ｂ点、Ｃ点、及び、Ｄ点の４点のキーポイントを設定すると共に、４点のキーポイントに基づいて射影変換係数を算出し、処理部は、車両の車幅方向をｘ方向としたとき、４点のキーポイントのうちのＡ点とＢ点とを、ｘ方向を規定するｘ軸に平行な第１直線上に設定すると共に、４点のキーポイントのうちのＣ点とＤ点とを、ｘ軸に平行であると共に第１直線と異なる第２直線上に設定してもよい。この場合、Ａ点とＢ点、及び、Ｃ点とＤ点のｙ座標が同一となるので、射影変換係数の算出に係る処理負荷が低減される。
（【００１１】以降は省略されています）

関連特許