特許ウォッチ

公開番号2025080816
公報種別公開特許公報(A)
公開日2025-05-27
出願番号2023194101
出願日2023-11-15
発明の名称センシング装置、センシング方法、及び、センシングシステム
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類G06T 7/70 20170101AFI20250520BHJP(計算;計数)
要約【課題】環境に設置したカメラから取得した画像により物体の位置を高精度に推定するためのパラメータを生成できるセンシング装置を提供する。
【解決手段】カメラから画像データを取得する画像データ受付部と、センサから点群データを取得する点群データ受付部と、前記画像データを用いて、前記画像データに含まれる物体に関連する第一情報を生成する第一情報生成部と、前記点群データを用いて、前記点群データに含まれる物体に関連する第二情報を生成する第二情報生成部と、前記第一情報と前記第二情報を用いて、前記第一情報を前記画像データに含まれる物体に関連する疑似第二情報に変換する変換パラメータを生成する変換パラメータ生成部と、を備え、前記疑似第二情報は前記第二情報と同種の情報を含むセンシング装置。
【選択図】図2A
特許請求の範囲【請求項１】
カメラから画像データを取得する画像データ受付部と、
センサから点群データを取得する点群データ受付部と、
前記画像データを用いて、前記画像データに含まれる物体に関連する第一情報を生成する第一情報生成部と、
前記点群データを用いて、前記点群データに含まれる物体に関連する第二情報を生成する第二情報生成部と、
前記第一情報と前記第二情報を用いて、前記第一情報を前記画像データに含まれる物体に関連する疑似第二情報に変換する変換パラメータを生成する変換パラメータ生成部と、
を備え、
前記疑似第二情報は前記第二情報と同種の情報を含むことを特徴とするセンシング装置。
続きを表示（約 1,800 文字）【請求項２】
請求項１に記載のセンシング装置において、さらに
前記変換パラメータを用いて前記第一情報を前記疑似第二情報に変換する変換部と、
前記第二情報生成部が生成した前記第二情報と前記変換部が変換した前記疑似第二情報の同種の情報同士の差分が閾値以内かを判定する判定部と、
前記変換パラメータの更新を指示する更新指示部と、
を備え、
前記差分が閾値を超えている場合、前記更新指示部は、
前記画像データ受付部と、前記点群データ受付部と、前記第一情報生成部と、前記第二情報生成部に対し、データの追加を指示するとともに、
前記変換パラメータ生成部に対し、追加されたデータを用いた前記変換パラメータの更新を指示することを特徴とするセンシング装置。
【請求項３】
請求項２に記載のセンシング装置において、
前記閾値は、前記カメラから近い物体用のものは小さく、前記カメラから遠い物体用のものは大きいことを特徴とするセンシング装置。
【請求項４】
請求項２に記載のセンシング装置において、
前記第二情報は、前記第二情報に含まれる情報に関する信頼度を含み、
前記変換パラメータ生成部は、前記信頼度が所定の閾値より高かった前記第二情報と、対応する第一情報を用いて、前記変換パラメータを更新することを特徴とするセンシング装置。
【請求項５】
請求項２に記載のセンシング装置において、
前記判定部は、空間を複数に分割した小領域毎に前記差分が閾値以内かを判定することを特徴とするセンシング装置。
【請求項６】
請求項１に記載のセンシング装置において、
前記変換パラメータ生成部は、前記第一情報を入力、前記第二情報を教師として機械学習の学習を実行することで、前記変換パラメータを生成することを特徴とするセンシング装置。
【請求項７】
請求項１に記載のセンシング装置において、
前記変換パラメータ生成部は、前記第一情報による物体の位置を、前記第二情報による物体の位置に補正するマップを、前記変換パラメータとして生成することを特徴とするセンシング装置。
【請求項８】
請求項７に記載のセンシング装置において、
前記変換パラメータ生成部は、
前記第一情報に含まれる物体の情報と、前記第二情報に含まれる物体の情報を比較することで、同一の物体を紐づける比較部を有しており、
前記比較部により同一と判定された物体に対してのみ、前記第一情報による物体の位置を、前記第二情報による物体の位置に補正するマップを前記変換パラメータとして生成することを特徴とするセンシング装置。
【請求項９】
請求項１から請求項７の何れか一項に記載のセンシング装置により生成された変換パラメータを利用するセンシング装置であって、
カメラから画像データを取得する画像データ受付部と、
センサから点群データを取得する点群データ受付部と、
前記画像データを用いて、前記画像データに含まれる物体に関連する第一情報を生成する第一情報生成部と、
前記点群データを用いて、前記点群データに含まれる物体に関連する第二情報を生成する第二情報生成部と、
前記変換パラメータを用いて前記第一情報を前記疑似第二情報に変換する変換部と、
前記第一情報と前記第二情報と前記疑似第二情報を統合する情報統合部と、
を備えることを特徴とするセンシング装置。
【請求項１０】
請求項１から請求項７の何れか一項に記載のセンシング装置により生成された変換パラメータを利用するセンシング装置であって、
カメラから画像データを取得する画像データ受付部と、
前記画像データを用いて、前記画像データに含まれる物体に関連する第一情報を生成する第一情報生成部と、
前記変換パラメータを用いて前記第一情報を前記疑似第二情報に変換する変換部と、
前記第一情報と前記疑似第二情報を統合する情報統合部と、
を備えることを特徴とするセンシング装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、環境に設置したカメラで撮影した画像内の物体の位置を、画像に基づいて推定する、センシング装置、センシング方法、及び、センシングシステムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、環境に設置したカメラやLiDAR（Laser imaging Detection And Ranging）等のインフラ用センサにて取得したデータを解析することで、対象物体の検出や追跡、経路予測を行うセンシング技術へのニーズが高まっている。特に、自動運転分野では、人と車両が混在するエリアや、自車両から死角となるエリアなどにインフラ用センサを設置し、インフラ用センサの出力に基づいて自車経路上の物体（他車両、人など）の有無や、物体の予測軌道を推定して、それらの推定結果を自動運転に利用することで、事故を回避した、安全・安心な移動を実現することが期待されている。
【０００３】
カメラによる物体認識技術では、ニューラルネットワーク等の機械学習ベースの検出器を用いて、画像に映る物体の種類や画素領域を推定する手法が高い性能を示している。このような物体認識技術を自動運転分野に適用するには、画像上の物体の種類や画素領域の推定情報に基づいて、実世界の３次元座標系における物体の位置を推定する必要がある。
【０００４】
画像上の物体の種類や画素領域の情報から、３次元座標系における物体の位置を推定する方法として、路面を平面と仮定した上で、路面に対するカメラの高さや姿勢などの外部パラメータと、カメラ焦点距離などのカメラパラメータとを用いて、画像上の物体の画素領域の下端位置を、３次元座標系における位置に変換する方法がある。
【０００５】
例えば、特許文献１の要約書では、課題として「対象物の３次元空間における位置を算出できる対象物位置推定装置を提供する。」と記載されており、同文献の請求項１では、「車両（１１１）における一方向の画像（１１３）を取得する画像取得手段（１０１）と、前記画像において対象物（１１５）を認識する対象物認識手段（３）と、前記車両の姿勢における、基準姿勢に対する変化量（ΔＰ）を検出する姿勢変化量検出手段（３）と、前記画像における前記対象物の縦軸上の位置（ｙ）を、前記変化量に基づき、前記車両の姿勢が前記基準姿勢である場合の位置（ｙ'）に補正する第１の補正手段（３）と、前記車両が存在する路面（１１９）を含む仮想的な平坦面（１２１）に対する、前記対象物が存在する路面（１２３）の起伏の程度を取得する起伏情報取得手段（３、７、１０５）と、前記第１の補正手段による補正後の、前記画像における前記対象物の縦軸上の位置を、前記起伏の程度に基づき、前記対象物が前記仮想的な平坦面上に存在する場合の位置（ｙ''）に補正する第２の補正手段（３）と、前記車両の姿勢が前記基準姿勢である場合の前記画像における縦軸上の位置と、前記仮想的な平坦面上での位置との関係を規定するマップ（９）と、前記マップを用いて、前記第２の補正手段による補正後の、前記画像における前記対象物の縦軸上の位置から、前記仮想的な平坦面上での前記対象物の位置を算出する平坦面上位置算出手段と、前記仮想的な平坦面上での前記対象物の位置と、前記起伏の程度とから、前記対象物の３次元空間における位置を算出する３次元空間位置算出手段（３）と、を備えることを特徴とする対象物位置推定装置（１）。」と記載されている。
【０００６】
このように、車載カメラを利用する特許文献１では、車両の姿勢の変化量および道路の傾斜の程度から、画像における物体の縦軸上の位置を補正し、マップを用いて、仮想的な平面上での物体の位置を算出し、道路の傾斜情報を用いて物体の３次元座標系での位置を推定していた。
【先行技術文献】
【特許文献】
【０００７】
特開２０１５－２１５２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の特許文献１の技術によれば、車載カメラで撮影した画像に基づいて、傾斜した路面上に存在する物体の３次元位置を推定することができる。しかしながら、本技術をインフラセンサとして設置した環境カメラに適用した場合には、次の問題が考えられる。
【０００９】
例えば、商業施設の屋外や広場のようにベンチなどの構造物が多いエリアにおける物体（人）の３次元位置を推定する場合には、図１７Ａのように、物体（人）の手前に構造物が映るなどの遮蔽により、物体（人）の上部のみが画像上に映ることがある。この場合、認識された物体枠の下端（人の腹部近傍）が地面上にあるという仮定で物体位置が推定されるため、物体（人）の３次元位置を実際よりも遠くに推定する恐れがある。
【００１０】
また、図１７Ｂのように、段差上に人が立っているシーンなどでも、認識された物体（人）の下端が地面上にあるという仮定で物体位置が推定されるため、物体（人）の３次元位置を実際よりも遠くに推定する恐れがある。
（【００１１】以降は省略されています）

関連特許