特許ウォッチ

公開番号2025088614
公報種別公開特許公報(A)
公開日2025-06-11
出願番号2023203423
出願日2023-11-30
発明の名称情報処理装置
出願人株式会社日立ハイテク,学校法人東京電機大学
代理人弁理士法人磯野国際特許商標事務所
主分類G06T 7/00 20170101AFI20250604BHJP(計算;計数)
要約【課題】物体検出のための適切な学習データを構築することができる情報処理装置を提供する。
【解決手段】撮影装置により得られた映像データの物体を検出する情報処理装置であって、情報処理装置100は、物体検出の学習を行う際に、物体の3次元モデルを用いて、撮影装置の少なくとも2視点からの3次元CGの画像データを利用して学習する。情報処理装置100は、映像データのフレーム中の物体を検出する物体検出部31と、物体検出部31で検出された物体がどの作業領域の定義領域に存在するかを判定し、判定されたフレームを積算して各作業領域の作業時間を計測する作業時間計測部33と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
撮影装置により得られた映像データの物体を検出する情報処理装置であって、
前記情報処理装置は、物体検出の学習を行う際に、前記物体の３次元モデルを用いて、前記撮影装置の少なくとも２視点からの３次元ＣＧの画像データを利用して学習する
ことを特徴とする情報処理装置。
続きを表示（約 810 文字）【請求項２】
前記画像データは、背景構造、テクスチャ、マテリアル、照明位置を設定した画像データである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像データは、フィレットを加えて細部まで再現した物体の３次元モデルを用いる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記画像データは、テクスチャ、マテリアルの設定も加えて再現した物体の３次元モデルを用いる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記画像データは、実環境に類似又は即した照明を再現した３次元ＣＧの画像データを用いる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記画像データは、物理的制約に基づくオブジェクトを再現した３次元ＣＧの画像データを用いる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記情報処理装置は、
前記映像データのフレーム中の物体を検出する物体検出部と、
前記物体検出部で検出された物体がどの作業領域の定義領域に存在するかを判定し、前記判定されたフレームを積算して前記各作業領域の作業時間を計測する作業時間計測部と、を有する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の情報処理装置。
【請求項８】
前記物体検出部は、前記映像データのフレーム中の物体を矩形として検出し、
前記作業時間計測部は、前記物体検出部で検出された検出矩形と各作業領域の定義領域の矩形との重なり度合いを示す評価指標を算出し、前記評価指標が所定の閾値以上かつ最も前記評価指標の大きい領域に物体が存在すると判定する
ことを特徴とする請求項７に記載の情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮影装置により得られた映像データの物体を検出する情報処理装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
製造工程を把握するために生産現場見える化のニーズがあり、物体（例えば、カート）管理の需要が高まっている。既存の監視カメラ（撮影装置）の映像からカート追跡、作業時間計測を行い管理することで、コストを削減し、いままで見えていなかった問題点の見える化に繋がる。
【０００３】
特許文献１では、物体検出手法であるFaster Ｒ－ＣＮＮを採用し、物体検出前に実際の物体をアノテーションしたデータセットで学習している。また、物体検出の精度向上を検討するため、実際の物体以外に３次元モデルを用いて作成したデータセットとの組合せについて開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１８０２３８号公報（第４実施形態）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の物体検出の学習過程において、実モデルと３次元モデルを組合せたアノテーション教示データを用いるのがよいことが示された。しかし、実モデルを用いた現場画像の学習データの取得には各種制約があり、３次元モデルを用いる場合において、どのような学習データを構築すれば検出精度を向上できるのか検討する余地があった。
【０００６】
本発明は、前記の課題を解決するための発明であって、物体検出のための適切な学習データを構築することができる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明の情報処理装置は、撮影装置により得られた映像データの物体を検出する情報処理装置であって、前記情報処理装置は、物体検出の学習を行う際に、前記物体の３次元モデルを用いて、前記撮影装置の少なくとも２視点からの３次元ＣＧの画像データを利用して学習することを特徴とする。本発明のその他の態様については、後記する実施形態において説明する。
【発明の効果】
【０００８】
本発明によれば、物体検出のための適切な学習データを構築することができる。
【図面の簡単な説明】
【０００９】
実施形態に係る情報処理装置を示すブロック図である。
実空間および仮想空間で撮影した画像の例を示す図である。
３次元モデル作成部の処理を示すフローチャートである。
背景・検出用オブジェクトの配置例を示す図である。
３次元モデル設定部の処理を示すフローチャートである。
仮想カメラ設定部の処理を示すフローチャートである。
仮想カメラのパラメータの例を示す図である。
ＣＧ撮像部の処理を示すフローチャートである。
学習部の処理を示すフローチャートである。
検出・評価部の処理を示すフローチャートである。
物体検出の処理（Faster Ｒ－ＣＮＮ）を示す図である。
回転角度のイメージを示す上面図である。
傾斜角度の撮影イメージを示す側面図である。
１視点の学習データのＣＧ画像例を示す図である。
２視点の学習データのＣＧ画像例を示す図である。
検証データの画像例を示す図である。
転移学習のイメージを示す図である。
１視点の再現率の算出結果を示す図である。
２視点の再現率の算出結果を示す図である。
仮想カメラの背景条件に関する３次元ＣＧ画像を示す図である。
３次元モデルのポリゴン数に関する３次元ＣＧ画像を示す図である。
【発明を実施するための形態】
【００１０】
最初に本実施形態の概要を説明する。
本実施形態では、深層学習を用いた物体検出のための、検出対象に応じて準備して転移学習に用いる物体検出用画像データセットを３次元ＣＧ画像のみで構築する手法を提案している。物体検出用画像データセット構築に際して、時間面や金銭面でコストがかかるのみならず、知的財産権や守秘義務を守るために制限が課される場合が存在する。３次元ＣＧ画像を使って物体検出用画像データセットを構築し、深層学習を用いた物体検出モデルFaster Ｒ－ＣＮＮでカメラ映像から物体（本実施形態ではカート）を検出する事例を通じて、構築した物体検出用画像データセットの有効性を評価している。
（【００１１】以降は省略されています）

関連特許