特許ウォッチ

公開番号2025106641
公報種別公開特許公報(A)
公開日2025-07-16
出願番号2022092221
出願日2022-06-07
発明の名称情報処理装置、情報処理方法、プログラム
出願人ソニーセミコンダクタソリューションズ株式会社
代理人個人,個人
主分類G06T 7/13 20170101AFI20250709BHJP(計算;計数)
要約【課題】対象物体がセンサのセンシング範囲内で変位する場合における対象物体のエッジ位置の推定精度向上を図る。
【解決手段】本技術に係る情報処理装置は、対象物体がイベントセンサのセンシング範囲内で変位するようにイベントセンサと対象物体との位置関係が変化している下でイベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部と、移動軌跡推定部が推定したエッジ位置の移動軌跡に基づき、基準時点における対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部とを備えている。
【選択図】図7
特許請求の範囲【請求項１】
対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部と、
前記移動軌跡推定部が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部と、を備える
情報処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記対象物体は、上面視で端辺を有する形状とされ、
前記移動軌跡推定部は、前記対象物体の端辺に相当する線分の移動軌跡を推定し、
前記エッジ位置推定部は、前記線分の移動軌跡に基づいて前記端辺としてのエッジ位置を前記基準時エッジ位置として推定する
請求項１に記載の情報処理装置。
【請求項３】
前記対象物体は上面視による形状が矩形状とされ、
前記移動軌跡推定部は、前記対象物体の上面視における四つの端辺のうち対向関係にある二つの端辺について、線分の移動軌跡を推定し、
前記エッジ位置推定部は、前記二つの端辺について推定された前記線分の移動軌跡に基づき、前記二つの端辺ごとにそれら端辺の位置を前記基準時エッジ位置として推定する
請求項２に記載の情報処理装置。
【請求項４】
前記二つの端辺のうち、前記対象物体の前記変位に伴い前記センシング範囲内に先行して捉えられる側の端辺を手前側端辺、該手前側端辺に対向する端辺を奥側端辺としたとき、
前記移動軌跡推定部は、前記奥側端辺に相当する前記線分の推定を、前記手前側端辺に相当する線分の推定位置からの奥側方向への離間距離が所定距離範囲内となる画素領域内で検出された前記イベント発生画素の位置情報に基づいて行う
請求項３に記載の情報処理装置。
【請求項５】
前記イベントセンサは、受光量の所定量以上の増大側変化である正極性イベントと、受光量の所定量以上の減少側変化である負極性イベントの双方を検出可能に構成され、
前記移動軌跡推定部は、前記奥側端辺に相当する前記線分の推定を、前記負極性イベントについてのイベント発生画素の位置情報に基づいて行う
請求項３に記載の情報処理装置。
【請求項６】
前記移動軌跡推定部は、前記移動軌跡の推定において、前記イベントセンサと前記対象物体との相対速度を示す情報を用いる
請求項１に記載の情報処理装置。
【請求項７】
前記対象物体をピックアップするロボットアームのハンド部に対して取り付けられた前記イベントセンサによる検出情報を入力可能に構成されており、
前記エッジ位置推定部が推定した前記基準時エッジ位置と、前記イベントセンサの画素座標系に定められた目標位置との位置関係に基づき、前記対象物体のピックアップタイミングの到来判定を行うタイミング判定部を備えた
請求項１に記載の情報処理装置。
【請求項８】
前記対象物体は上面視による形状が矩形状とされ、
前記移動軌跡推定部は、前記対象物体における四つの端辺のうち対向関係にある二つの端辺について、線分の移動軌跡を推定し、
前記エッジ位置推定部は、前記二つの端辺について推定された前記線分の移動軌跡に基づき、前記二つの端辺ごとにそれら端辺の位置を前記基準時エッジ位置として推定し、
前記タイミング判定部は、前記二つの端辺ごとに推定された前記基準時エッジ位置間の中央位置を算出し、該中央位置と前記目標位置との位置関係に基づいて前記ピックアップタイミングの到来判定を行う
請求項７に記載の情報処理装置。
【請求項９】
前記イベントセンサを備えた
請求項１に記載の情報処理装置。
【請求項１０】
情報処理装置が、
対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定し、
推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定する
情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本技術は、情報処理装置とその方法、及びプログラムに関するものであり、特には、対象物体がセンサのセンシング範囲内で変位する場合における対象物体のエッジ位置推定精度の向上を図るための技術に関するものである。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
画像センシングに係る技術として様々な技術が存在する。例えば、ＲＧＢセンサ等のイメージセンサによる撮像画像について画像解析処理を行って対象物体のエッジ位置を推定したり形状を推定したりする技術がある。
【０００３】
このような画像解析技術の応用として、例えば物流の分野等では、いわゆるハンドアイ方式のロボットアームについて、段ボール箱等の対象物体の撮像画像に対し画像解析を行った結果に基づき、ロボットアームによる対象物体のピックアップタイミングを判定するということが行われている。具体的にこの場合、ロボットアームは、段ボール箱等の対象物体が配置された位置に向けて、水平方向に移動可能とされており、このロボットアーム先端のハンド部に対し、下方を撮像するカメラが取り付けられている。ロボットアームが対象物体に向けて水平方向に移動していくと、カメラ視野内（センシング範囲内）に対象物体が捉えられるようになり、その後、カメラ視野内の特定位置に対象物体が位置されたタイミングを、対象物体のピックアップタイミングとして判定する。この場合、具体的な画像解析としては、撮像画像に写る対象物体について、そのエッジ位置を推定する処理を行う。そして、エッジ位置に基づいて対象物体の位置（撮像画像内での位置）を特定し、特定した対象物体の位置が、画像の座標系において定められた特定位置に位置したタイミングを、対象物体のピックアップタイミングとして判定する。
【０００４】
なお、関連する従来技術については下記特許文献１を挙げることができる。特許文献１には、物体に沿って移動する装置を用いて、二つの角度から物体のエッジ位置を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２１－０１５６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、例えば上記した物流分野での画像解析のように、対象物体とカメラとの位置関係が変化する下で撮像された画像、換言すれば、対象物体がカメラ（イメージセンサ）のセンシング範囲内で変位する下で撮像された画像について画像解析を行う場合には、対象物体のエッジ位置を正確に推定することが困難となる。
センシング範囲内で対象物体が移動している場合には、その移動過程において対象物体への光の当たり具合が変化する等の要因により、対象物体のエッジ部分を正確に捉えられていない画像が撮像されてしまうことが有り得る。そのような撮像画像については、対象物体のエッジ位置を正確に推定することが困難となる。そして、ピックアップタイミングに相当する撮像画像がそのような撮像画像となってしまった場合には、ピックアップタイミングを正確に判定することができなくなってしまう。
【０００７】
本技術は上記事情に鑑み為されたものであり、対象物体がセンサのセンシング範囲内で変位する場合における対象物体のエッジ位置の推定精度向上を図ることを目的とする。
【課題を解決するための手段】
【０００８】
本技術に係る情報処理装置は、対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定部と、前記移動軌跡推定部が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定部と、を備えるものである。
本明細書において、イベントセンサとは、いわゆるＥＶＳ（Event-based Vision Sensor）に相当するものであり、具体的には以下のように定義されるセンサを意味する。すなわち、受光素子を有する画素を複数備え、各画素が受光量の所定量以上の変化をイベントとして検出可能に構成されると共に、イベントが検出された画素の位置を示す情報及びイベントの検出時刻を示す情報を出力可能とされたセンサを意味する。
上記構成によれば、イベントの誤検出が生じる場合であっても、基準時点以前の過去期間内に検出されたイベント発生画素の位置情報に基づいて対象物体のエッジ位置の移動軌跡が推定されることで、該移動軌跡に基づき基準時点におけるエッジ位置を正確に推定することが可能となる。また、イベントセンサを用いることで、対象物体のエッジ位置移動軌跡の推定に用いる検出情報のサンプリングレート向上が図られるため、エッジ位置移動軌跡の推定精度向上が図られる。
【０００９】
また、本技術に係る情報処理方法は、情報処理装置が、対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定し、推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定する情報処理方法である。
【００１０】
さらに、本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、対象物体がイベントセンサのセンシング範囲内で変位するように前記イベントセンサと前記対象物体との位置関係が変化している下で前記イベントセンサが基準時点以前の過去期間内に検出したイベント発生画素の位置情報に基づき、前記対象物体のエッジ位置の移動軌跡を推定する移動軌跡推定機能と、前記移動軌跡推定機能が推定した前記エッジ位置の移動軌跡に基づき、前記基準時点における前記対象物体のエッジ位置を基準時エッジ位置として推定するエッジ位置推定機能と、を前記コンピュータ装置に実現させるプログラムである。
（【００１１】以降は省略されています）

関連特許