特許ウォッチ

公開番号2025155304
公報種別公開特許公報(A)
公開日2025-10-14
出願番号2024059063
出願日2024-04-01
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20251006BHJP(計算;計数)
要約【課題】処理負荷を軽減しつつ、画像から所定の被写体領域を抽出するための色情報を登録または更新可能にする。
【解決手段】情報処理装置は、撮像された画像から所定の被写体領域を認識する認識手段と、認識された被写体領域から色情報を抽出する抽出手段と、抽出された色情報を登録色として登録する登録手段と、所定の事象を検出する検出手段を有する。そして、情報処理装置は、検出手段が所定の事象を検出した際に認識手段によって認識されている被写体領域から抽出手段が抽出した色情報、もしくは、検出手段による所定の事象の検出に応じて認識手段が行った認識により得られた被写体領域から抽出手段が抽出した色情報を、登録色として登録する。
【選択図】図1
特許請求の範囲【請求項１】
撮像された画像から所定の被写体領域を認識する認識手段と、
前記認識手段により認識された前記被写体領域から色情報を抽出する抽出手段と、
前記抽出手段にて抽出された色情報を登録色として登録する登録手段と、
所定の事象を検出する検出手段と、
を有し、
前記検出手段が前記所定の事象を検出した際に前記認識手段によって認識されている前記被写体領域から前記抽出手段が抽出した色情報、もしくは、前記検出手段による前記所定の事象の検出に応じて前記認識手段が行った認識により得られた前記被写体領域から前記抽出手段が抽出した色情報を、前記登録色として前記登録手段により登録することを特徴とする情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記検出手段は、画像内の所定の範囲内で前記認識手段により前記被写体領域が認識されたことを、前記所定の事象として検出し、
前記抽出手段は、前記所定の事象が検出された際に前記認識手段によって認識されている前記被写体領域から、前記色情報を抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、前記抽出手段により抽出された色情報と登録済みの前記登録色との差が所定の閾値以上であることを、前記所定の事象として検出し、
前記登録手段は、前記所定の事象が検出された際に前記認識手段によって認識されている前記被写体領域から前記抽出手段が抽出した色情報を、前記登録色として登録することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記検出手段は、環境の変動が所定の閾値以上であることを、前記所定の事象として検出し、
前記認識手段は、前記所定の事象の検出に応じて、前記画像から前記所定の被写体領域を認識することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記検出手段は、前記撮像された画像から、登録済みの前記登録色に基づいて検出した被写体領域の中で、登録済みの前記登録色ではない非登録色の画素数または非登録色の領域の面積が、所定の閾値以上であることを、前記所定の事象として検出し、
前記認識手段は、前記所定の事象の検出に応じて、前記画像から前記所定の被写体領域を認識することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
ヘッドマウントディスプレイに接続またはヘッドマウントディスプレイを含むことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記検出手段は、使用者による前記ヘッドマウントディスプレイの装着の検出を、前記所定の事象として検出し、
前記登録手段は、前記所定の事象の検出に応じて、前記認識手段が認識した前記被写体領域から前記抽出手段が抽出した色情報を、前記登録色として登録することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記登録手段は、前記登録色を前記ヘッドマウントディスプレイの使用者ごとに関連付けて登録し、
前記検出手段は、前記登録色に関連付けられた使用者の特定結果を前記所定の事象として検出し、
前記認識手段は、前記所定の事象の検出に応じて、前記画像から前記所定の被写体領域を認識することを特徴とする請求項６に記載の情報処理装置。
【請求項９】
前記検出手段は、前記登録色に関連付けられた使用者を特定できなかったことを前記所定の事象として検出することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記認識手段は、前記撮像された画像から前記所定の被写体領域として人の手の領域を認識することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像を用いた情報処理技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、ＨＭＤ（ヘッドマウントディスプレイ）に仮想世界と現実世界を融合させた画像を投影するＸＲ（クロスリアリティ）技術を使った作業支援システムが開発されており、製造、物流、商談等様々な分野で活用されている。例えば製造の分野では、撮像した実際の画像から手の領域の画像を抽出し、その抽出した手の画像とターゲットデバイスのＣＧ画像とを融合した作業操作の画像を、リアルタイムにＨＭＤに投影することで、作業、訓練効率の向上が図られている。
【０００３】
撮像画像から、手などの被写体領域を抽出する手法としては、予め登録された色情報（例えば肌色情報）に基づいて、撮像画像から肌色領域を抽出するような手法が知られている。また、色情報を登録する手法としては、撮像画像からＧＵＩ等を用いた手作業により指定された領域の色情報を抽出して登録する手法や、画像認識処理を用いて撮像画像から検出した領域の色情報を登録する手法などが知られている。その他、特許文献１には、特定の人物の撮像画像から形状認識により検出した顔の領域の色を基準色として登録し、同じ画像から形状認識により検出した複数の手の領域の色と基準色とを比較することで、その人物の手の領域を特定する技術が開示されている。特に、特許文献１に記載の技術では、撮像された直近（最新）の複数枚（例えば５フレーム分）の画像を用いて基準色が取得されている。
【先行技術文献】
【特許文献】
【０００４】
特開２００９－２８８９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
作業支援システムでは、複数人が一つのＨＭＤを代わる代わる装着して使用する場合がある。しかしながら、ＨＭＤの使用者（装着者）が代わった場合、その使用者の手等の被写体領域を正しく抽出できなくなることがある。また、一つのＨＭＤを同じ使用者が装着する場合でも、使用時の環境や場所が変わると、その使用者の手等の被写体領域を正しく抽出できなくなることがある。これらは、使用者の肌色には個人差があり、また場所や時間帯で変化する外光の影響によって使用者の肌色の色味が変化することで、登録されている色情報では対応できなくなるためであると考えられる。このため、登録される色情報は更新されることが望ましい。一方、特許文献１に記載の技術では、撮像された直近の複数枚の画像を基に基準色を取得するため、基準色は概ね最新の色情報に更新される。しかしながら、特許文献１では、基準色の取得を複数枚の画像ごとに常時行っているため、処理負荷が大きい。
【０００６】
そこで、本発明は、処理負荷を軽減しつつ、画像から所定の被写体領域を抽出するための色情報を登録または更新可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、撮像された画像から所定の被写体領域を認識する認識手段と、前記認識手段により認識された前記被写体領域から色情報を抽出する抽出手段と、前記抽出手段にて抽出された色情報を登録色として登録する登録手段と、所定の事象を検出する検出手段と、を有し、前記検出手段が前記所定の事象を検出した際に前記認識手段によって認識されている前記被写体領域から前記抽出手段が抽出した色情報、もしくは、前記検出手段による前記所定の事象の検出に応じて前記認識手段が行った認識により得られた前記被写体領域から前記抽出手段が抽出した色情報を、前記登録色として前記登録手段により登録することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、処理負荷を軽減しつつ、画像から所定の被写体領域を抽出するための色情報を登録または更新可能となる。
【図面の簡単な説明】
【０００９】
第１の実施形態に係る情報処理装置の機能構成図である。
登録色テーブルの一例を示す図である。
第１の実施形態に係る情報処理のフローチャートである。
ＨＭＤ処理部とＰＣ処理部とで処理を分担する構成例を示す図である。
第２の実施形態に係る情報処理装置の機能構成図である。
第２の実施形態に係る情報処理のフローチャートである。
第３の実施形態に係る情報処理装置の機能構成図である。
第３の実施形態に係る情報処理のフローチャートである。
第４の実施形態に係る情報処理装置の機能構成図である。
ノイズが生じた画像例を示す図である。
第４の実施形態に係る情報処理のフローチャートである。
第５の実施形態に係る情報処理装置の機能構成図である。
点線枠内に手を置くことのユーザ指示のＧＵＩ例を示す図である。
抽出と登録が完了した際のユーザ通知のＧＵＩ例を示す図である。
第５の実施形態に係る情報処理のフローチャートである。
第６の実施形態に係る情報処理装置の機能構成図である。
個人ごとに関連付けされた登録色テーブルの一例を示す図である。
第６の実施形態に係る情報処理のフローチャートである。
情報処理装置のハートウェア構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態を、図面を参照しながら説明する。以降に挙げる各実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一もしくは同様の構成や処理工程について重複する説明は省略する。
（【００１１】以降は省略されています）

関連特許