特許ウォッチ

公開番号2025017225
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2023120225
出願日2023-07-24
発明の名称情報処理装置、および、アノテーションプログラム
出願人株式会社アイシン
代理人弁理士法人酒井国際特許事務所
主分類G06F 3/04845 20220101AFI20250129BHJP(計算;計数)
要約【課題】三次元の計測データに対する機械学習用のアノテーションの作業効率を向上させる。
【解決手段】本実施形態の情報処理装置は、撮影画像および第1のアノテーション情報について画面に二次元表示を行うとともに、計測データおよび第2のアノテーション情報について画面に三次元表示を行う。そして、撮影画像および第1のアノテーション情報の二次元表示を用いたユーザによる第1のアノテーション情報の補正操作に応じて、第1のアノテーション情報を補正するとともに、第1のアノテーション情報の補正に応じて第2のアノテーション情報を補正する。また、計測データおよび第2のアノテーション情報の三次元表示を用いたユーザによる第2のアノテーション情報の補正操作に応じて、第2のアノテーション情報を補正するとともに、第2のアノテーション情報の補正に応じて第1のアノテーション情報を補正する。
【選択図】図5
特許請求の範囲【請求項１】
撮影対象領域を撮影して得られた二次元の撮影画像と、前記撮影画像に写っている物体に対して付与されている機械学習用の第１のアノテーション情報と、前記撮影対象領域を計測して得られた三次元の計測データと、前記計測データに表れている前記物体に対して付与されている、前記第１のアノテーション情報に対応した第２のアノテーション情報と、を記憶する記憶部と、
前記撮影画像および前記第１のアノテーション情報について画面に二次元表示を行うとともに、前記計測データおよび前記第２のアノテーション情報について前記画面に三次元表示を行う表示制御部と、
前記撮影画像および前記第１のアノテーション情報の前記二次元表示を用いたユーザによる前記第１のアノテーション情報の補正操作に応じて、前記第１のアノテーション情報を補正するとともに、前記第１のアノテーション情報の補正に応じて前記第２のアノテーション情報を補正し、
前記計測データおよび前記第２のアノテーション情報の前記三次元表示を用いたユーザによる前記第２のアノテーション情報の補正操作に応じて、前記第２のアノテーション情報を補正するとともに、前記第２のアノテーション情報の補正に応じて前記第１のアノテーション情報を補正するアノテーション処理部と、を備える情報処理装置。
続きを表示（約 800 文字）【請求項２】
前記第１のアノテーション情報、および、前記第２のアノテーション情報は、前記物体の位置、姿勢、大きさの情報を含む、請求項１に記載の情報処理装置。
【請求項３】
前記計測データは、前記撮影対象領域に向けて送信された送信波が前記撮影対象領域に存在する前記物体で反射することで発生した反射波の受信結果に基づいて生成された三次元状の点群データである、請求項１に記載の情報処理装置。
【請求項４】
撮影対象領域を撮影して得られた二次元の撮影画像と、前記撮影画像に写っている物体に対して付与されている機械学習用の第１のアノテーション情報と、前記撮影対象領域を計測して得られた三次元の計測データと、前記計測データに表れている前記物体に対して付与されている、前記第１のアノテーション情報に対応した第２のアノテーション情報と、を記憶する記憶部を備える情報処理装置を、
前記撮影画像および前記第１のアノテーション情報について画面に二次元表示を行うとともに、前記計測データおよび前記第２のアノテーション情報について前記画面に三次元表示を行う表示制御部と、
前記撮影画像および前記第１のアノテーション情報の前記二次元表示を用いたユーザによる前記第１のアノテーション情報の補正操作に応じて、前記第１のアノテーション情報を補正するとともに、前記第１のアノテーション情報の補正に応じて前記第２のアノテーション情報を補正し、
前記計測データおよび前記第２のアノテーション情報の前記三次元表示を用いたユーザによる前記第２のアノテーション情報の補正操作に応じて、前記第２のアノテーション情報を補正するとともに、前記第２のアノテーション情報の補正に応じて前記第１のアノテーション情報を補正するアノテーション処理部と、して機能させるためのアノテーションプログラム。

発明の詳細な説明【技術分野】
【０００１】
本実施形態は、情報処理装置、および、アノテーションプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
従来から、例えば、車両（乗用車など）において、車載のセンサ（ＬｉＤＡＲ（Light Detection And Ranging）など）から得られた三次元の計測データ（以下、単に「計測データ」とも称する。）を元に、車両の周囲の物体（他車両、歩行者、建物など）を検知する技術がある。具体的には、例えば、機械学習により作成された学習モデルと、計測データと、を用いて物体検知を行う。
【０００３】
その技術において、学習モデルを作成するときに、例えば、教師データを用いて機械学習を行う。そのために、ユーザは、得られた計測データに対してアノテーション（正解データの付与）を行うことで、計測データの教師データを作成する。
【０００４】
ただし、一般に、三次元の計測データは、二次元の撮影画像などと比較して、データの粒度が粗く、また、色情報を含まないので、可視化した場合の視認性が低い。つまり、ユーザは、計測データを見ても、アノテーションの対象となる物体の位置、姿勢、大きさなどを正確に把握するのが難しい。したがって、計測データに対するアノテーションは容易ではない。
【０００５】
その対策として、例えば、次のような従来技術がある。まず、三次元の計測データと二次元の撮影画像の互いの位置情報を関連付けておく。そして、三次元表示の計測データと二次元表示の撮影画像の両方を画面に映す。そして、ユーザは、計測データについてアノテーションを行う場合、まず、二次元表示の撮影画像を用いて物体の位置を特定する。これに応じて、三次元表示の計測データにおいて、その物体の探索範囲を限定するような表示を行う。これにより、三次元表示のみで作業を行う場合に比べて、作業効率が向上する。
【先行技術文献】
【特許文献】
【０００６】
米国特許第１１３６１４５７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の従来技術では、二次元表示での作業内容を三次元表示に反映させることはできるが、三次元表示での作業内容を二次元表示に反映させることはできないので、作業効率の点で改善の余地がある。
【０００８】
そこで、本実施形態の課題の一つは、三次元の計測データに対するアノテーションの作業効率を向上させることが可能な情報処理装置、および、アノテーションプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本実施形態の情報処理装置は、撮影対象領域を撮影して得られた二次元の撮影画像と、前記撮影画像に写っている物体に対して付与されている機械学習用の第１のアノテーション情報と、前記撮影対象領域を計測して得られた三次元の計測データと、前記計測データに表れている前記物体に対して付与されている、前記第１のアノテーション情報に対応した第２のアノテーション情報と、を記憶する記憶部と、前記撮影画像および前記第１のアノテーション情報について画面に二次元表示を行うとともに、前記計測データおよび前記第２のアノテーション情報について前記画面に三次元表示を行う表示制御部と、前記撮影画像および前記第１のアノテーション情報の前記二次元表示を用いたユーザによる前記第１のアノテーション情報の補正操作に応じて、前記第１のアノテーション情報を補正するとともに、前記第１のアノテーション情報の補正に応じて前記第２のアノテーション情報を補正し、前記計測データおよび前記第２のアノテーション情報の前記三次元表示を用いたユーザによる前記第２のアノテーション情報の補正操作に応じて、前記第２のアノテーション情報を補正するとともに、前記第２のアノテーション情報の補正に応じて前記第１のアノテーション情報を補正するアノテーション処理部と、を備える。
【００１０】
この構成によれば、二次元表示の撮影画像と三次元表示の計測データいずれを用いてもアノテーション情報の補正ができるようにすることで、三次元の計測データに対するアノテーションの作業効率を向上させることができる。
（【００１１】以降は省略されています）

関連特許