特許ウォッチ

公開番号2025131078
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2024028593
出願日2024-02-28
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/90 20170101AFI20250902BHJP(計算;計数)
要約【課題】画像から特定の領域を低遅延で精度よく抽出可能にする。
【解決手段】情報処理装置は、保持手段に保持された登録色ではない非登録色の画素を、撮像された画像から抽出する抽出手段と、抽出された非登録色の画素に近接する他の画素群を参照した結果、該他の画素群に登録色の画素が指定数以上含まれる場合に、非登録色の画素に登録色を示す値を対応させるように補正する補正手段と、補正された画素の非登録色を、登録色に含めるように保持手段で保持している登録色の情報を更新する更新手段と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
保持手段に保持された登録色ではない非登録色の画素を、撮像された画像から抽出する抽出手段と、
前記抽出手段にて抽出された前記非登録色の画素に近接する他の画素群を参照した結果、該他の画素群に登録色の画素が指定数以上含まれる場合に、前記非登録色の画素に前記登録色を示す値を対応させるように補正する補正手段と、
前記補正手段にて補正された前記画素の前記非登録色を、登録色に含めるように前記保持手段で保持している前記登録色の情報を更新する更新手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記補正手段は、前記抽出手段が抽出した前記非登録色の画素のＵＶ値と、前記指定数以上の前記近接する登録色の各画素のＵＶ平均値との差が、所定の閾値以内である場合に、前記非登録色の画素に前記登録色を示す値を対応させるように補正することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記補正手段は、前記登録色を検出した領域に対して膨張処理および収縮処理を行う処理手段を有し、
前記更新手段は、前記膨張処理および収縮処理によって前記非登録色の画素が登録色の画素へ置換された画素の前記非登録色を、登録色に含めるように前記登録色の情報を更新することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記更新手段は、前記膨張処理および収縮処理によって前記非登録色の画素が登録色の画素へ置換された画素の色情報と、所定の閾値範囲との比較に基づいて、前記非登録色を登録色に含めるような前記登録色の情報の更新を行うか否かを判定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記所定の閾値範囲は、前記撮像された画像から前記登録色を検出した領域に対して背景となる領域の色情報に基づく範囲であり、
前記更新手段は、前記膨張処理および収縮処理によって前記非登録色の画素が登録色の画素へ置換された画素の色情報が、前記所定の閾値範囲に含まれない場合に、前記非登録色を登録色に含めるように前記登録色の情報の更新を行うことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記補正手段は、前記登録色を検出した領域に対して設定した補正対象領域に前記膨張処理を所定回数繰り返した後、前記収縮処理を前記所定回数繰り返すことを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記保持手段は、色空間のオフセットを指定した特定の色空間のみの前記登録色の情報を保持することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記撮像された画像に基づいて登録色を指定する指定手段を有し、
前記保持手段は、前記指定手段により指定された登録色の情報を保持することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
照明条件が変更されたかを判定する判定手段を有し、
前記判定手段にて前記照明条件が変更されたと判定された場合、
前記指定手段は、前記変更された後の前記照明条件の下で前記撮像された画像に基づいて前記登録色を指定し、
前記保持手段は、前記照明条件が変更された後に前記指定手段により指定された前記登録色の情報を保持することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
特定の被写体の領域の大きさが変化したかを判定する判定手段を有し、
前記判定手段にて前記被写体の領域の大きさが変化したと判定された場合、
前記指定手段は、前記大きさが変化した後の前記被写体が前記撮像された画像に基づいて前記登録色を指定し、
前記保持手段は、前記被写体の領域の大きさが変化した後に前記指定手段により指定された前記登録色の情報を保持することを特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像を用いた情報処理技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、ＨＭＤ（ヘッドマウントディスプレイ）に仮想世界と現実世界を融合させた画像を投影するＸＲ（クロスリアリティ）技術を使った作業支援システムが開発されており、製造、物流、商談等様々な分野で活用されている。例えば製造の分野では、手元を撮影した実際の画像から手の領域を抽出し、その抽出した手の画像とターゲットデバイスのＣＧ画像とを融合した作業操作の画像を、リアルタイムにＨＭＤに投影することで、作業、訓練効率の向上が図られている。撮影された画像から手の領域のような特定の領域を抽出する技術として、特許文献１には、肌色領域の大きさを表す評価値を算出し、被写体の大きさを示す基準値に対する評価値の差を比較して、色の範囲を狭くする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１５－１８４９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述したＸＲにおけるＨＭＤ投影の場合、現実世界を撮影した画像から抽出した手などの特定の領域とＣＧ画像とを融合した画像を、低遅延で投影することが求められる。しかしながら、前述した技術の場合、肌色領域の大きさを表す評価値として画素数を用いているため、例えばシーンが変わると、基準値の画像を再設定する必要が生じ、シーンの変更に追従させるためには手間がかかり、低遅延を実現することが難しい。
【０００５】
そこで、本発明では、画像から特定の領域を低遅延で精度よく抽出可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、保持手段に保持された登録色ではない非登録色の画素を、撮像された画像から抽出する抽出手段と、前記抽出手段にて抽出された前記非登録色の画素に近接する他の画素群を参照した結果、該他の画素群に登録色の画素が指定数以上含まれる場合に、前記非登録色の画素に前記登録色を示す値を対応させるように補正する補正手段と、前記補正手段にて補正された前記画素の前記非登録色を、登録色に含めるように前記保持手段で保持している前記登録色の情報を更新する更新手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像から特定の領域を低遅延で精度よく抽出可能となる。
【図面の簡単な説明】
【０００８】
情報処理装置の機能構成例を示す図である。
登録色テーブルの一例を示す図である。
手領域抽出処理で生ずるノイズの一例を示す図である。
補正処理と登録色テーブル更新の一例を示す図である。
手領域抽出処理で生じたノイズの削減例を示す図である。
第１の実施形態に係る情報処理のフローチャートである。
膨張・収縮処理によるノイズの削減例を示す図である。
第２の実施形態に係る情報処理のフローチャートである。
第３の実施形態に係る登録色テーブルの一例を示す図である。
情報処理装置のハートウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施形態を、図面を参照しながら説明する。以降に挙げる各実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一もしくは同様の構成や処理工程について重複する説明は省略する。
【００１０】
本実施形態では、ＨＭＤ（ヘッドマウントディスプレイ）に仮想世界と現実世界を融合させた画像を投影するＸＲ（クロスリアリティ）技術を使った作業支援システムへの適用例を挙げて説明する。本実施形態では、一例として手元を撮影した実際の画像（現実世界）とターゲットデバイスのＣＧ画像（仮想世界）とを、ＨＭＤに搭載されている撮像装置またはＣＧ画像を作成したときの撮像装置から、対象物体までの距離情報を基に精度よく融合した作業操作の画像を、リアルタイムにＨＭＤに投影させるようなケースを想定して説明する。
（【００１１】以降は省略されています）

関連特許