特許ウォッチ

公開番号2025096918
公報種別公開特許公報(A)
公開日2025-06-30
出願番号2023212912
出願日2023-12-18
発明の名称映像処理装置、映像処理システム、映像処理装置の制御方法およびプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 19/00 20110101AFI20250623BHJP(計算;計数)
要約【課題】例えばXRによるトレーニング等に使用可能な利便性に優れた映像処理装置、映像処理システム、映像処理装置の制御方法およびプログラムを提供することを目的とする。
【解決手段】画像処理装置101Aは、第1ユーザUS1が視認する現実映像を取得する映像取得手段(第1ユーザ視界映像取得手段201)と、現実映像を第2ユーザUS2の画像処理装置101Bに送信する映像送信手段(第1ユーザ視界映像送信手段202)と、第2ユーザUS2の動作情報を受信する情報受信手段(第2ユーザトラッキング情報受信手段203)と、第2ユーザUS2の仮想オブジェクトを生成する仮想オブジェクト生成手段(第2ユーザ仮想身体部位生成手段206)と、現実映像と仮想オブジェクトとの複合映像を生成する映像生成手段(第2ユーザ仮想身体部位表示手段208)とを備える。映像生成手段は、現実映像と仮想オブジェクトとを位置合わせする。
【選択図】図1B
特許請求の範囲【請求項１】
第１ユーザによって使用され、映像を処理する映像処理装置であって、
前記第１ユーザが視認する現実空間の現実映像を取得する映像取得手段と、
前記映像取得手段で取得された前記現実映像を、前記第１ユーザと異なる第２ユーザによって使用される他の映像処理装置に送信する映像送信手段と、
前記第２ユーザの動作に関する動作情報を前記他の画像処理装置から受信する情報受信手段と、
前記情報受信手段で受信された前記動作情報に基づいて、前記第２ユーザの身体部位を、前記映像で表示可能な仮想オブジェクトとして生成する仮想オブジェクト生成手段と、
前記現実映像と前記仮想オブジェクトとを融合して複合映像を生成する映像生成手段と、を備え、
前記映像生成手段は、前記複合映像を生成する際、前記現実映像と前記仮想オブジェクトとを位置合わせして、前記複合映像の生成を行うことを特徴とする映像処理装置。
続きを表示（約 980 文字）【請求項２】
前記映像生成手段は、前記複合映像を生成する際、所定の位置を共通の基準位置として、前記現実映像と前記仮想オブジェクトとを位置合わせして、前記複合映像の生成を行うことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記基準位置を設定する位置設定手段を備えることを特徴とする請求項２に記載の映像処理装置。
【請求項４】
位置設定手段は、前記基準位置として、前記第１ユーザの身体部位、または、前記第２ユーザの視線の先に位置し、該第２ユーザが注目する注目対象物を設定する請求項３に記載の映像処理装置。
【請求項５】
前記映像生成手段は、前記基準位置に前記第１ユーザの身体部位が設定された場合には、前記現実映像と前記仮想オブジェクトとの位置合わせとして、前記第１ユーザの身体部位の位置情報と、前記動作情報に含まれる前記第２ユーザの身体部位の位置情報とを対応させることを特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記映像生成手段は、前記基準位置に前記注目対象物が設定された場合には、前記現実映像と前記仮想オブジェクトとの位置合わせとして、前記注目対象物の位置情報と、前記動作情報に含まれる前記第２ユーザの身体部位の位置情報とを対応させることを特徴とする請求項４に記載の映像処理装置。
【請求項７】
前記位置設定手段は、前記基準位置を変更可能であることを特徴とする請求項３に記載の映像処理装置。
【請求項８】
前記情報受信手段は、前記動作情報として、前記第２ユーザの身体部位の位置に関する情報、または、前記第２ユーザの視線に関する情報を受信することを特徴とする請求項１に記載の映像処理装置。
【請求項９】
前記仮想オブジェクト生成手段は、前記第２ユーザの腕を前記仮想オブジェクトとして生成することを特徴とする請求項１に記載の映像処理装置。
【請求項１０】
前記複合映像上での前記仮想オブジェクトに対する操作が可能な操作手段と、
前記第２ユーザによる前記操作を許可するか否かを設定する許可設定手段と、を備えることを特徴とする請求項１に記載の映像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像処理装置、映像処理システム、映像処理装置の制御方法およびプログラムに関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
現実空間に存在する被写体を撮像した画像（撮像画像）に対して画像加工処理を施すことにより、現実とは異なる感覚をユーザに知覚させる技術として、ＸＲ（ＥｘｔｅｎｄｅｄＲｅａｌｉｔｙ）の技術がある。また、ＸＲの技術を適用した画像を表示するための代表的なデバイスとして、人の頭部に装着して用いられるＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）が知られている。また、ＸＲの技術の活用例の１つとして、ＸＲトレーニングがある。ＸＲトレーニングでは、トレーニングを受ける作業者と、作業者に対するトレーニングを支援する支援者とがいる場合がある。作業者は、ＨＭＤを装着した状態でトレーニングを受ける。ＨＭＤには、仮想オブジェクトとしての装置や工具等がＣＧで表示される。作業者は、支援者による支援の下で、ＨＭＤ上で仮想オブジェクトを操作することにより、装置や工具等の使い方を身に付けることができる。なお、ＸＲトレーニングでは、作業者と支援者とは、同じ現実空間にいる、すなわち、現実空間における距離が近接している必要は無い。例えば、作業者が外国にいて、支援者が国内にいてもよい。例えば特許文献１には、予め保存されている相手の動き情報をＨＭＤで再生することにより、ユーザは、相手の動きにならってＸＲトレーニングを実施する技術が開示されている。また、特許文献２には、ＨＭＤ上で支援者の手指を仮想オブジェクトとして生成して、作業者の手の上に重畳して、支援者の手指の動きを作業者に教示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１９５５５１号公報
特開２０２１－３９５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、予め保存されている相手の動き情報に基づいてしか、作業者に対するトレーニングを行うことができない。また、特許文献２の技術では、トレーニング可能なのは手指の動きのみであり、腕等の他の身体の部位の動きを教示することはできない。従って、特許文献１および特許文献２の技術では、いずれも、使い勝手が悪い、すなわち、使い難い部分があった。
【０００５】
本発明は、上記の課題に鑑みてなされたものである。本発明は、例えばＸＲ（ＥｘｔｅｎｄｅｄＲｅａｌｉｔｙ）によるトレーニング等に使用可能な利便性に優れた映像処理装置、映像処理システム、映像処理装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の映像処理装置は、第１ユーザによって使用され、映像を処理する映像処理装置であって、前記第１ユーザが視認する現実空間の現実映像を取得する映像取得手段と、前記映像取得手段で取得された前記現実映像を、前記第１ユーザと異なる第２ユーザによって使用される他の映像処理装置に送信する映像送信手段と、前記第２ユーザの動作に関する動作情報を前記他の画像処理装置から受信する情報受信手段と、前記情報受信手段で受信された前記動作情報に基づいて、前記第２ユーザの身体部位を、前記映像で表示可能な仮想オブジェクトとして生成する仮想オブジェクト生成手段と、前記現実映像と前記仮想オブジェクトとを融合して複合映像を生成する映像生成手段と、を備え、前記映像生成手段は、前記複合映像を生成する際、前記現実映像と前記仮想オブジェクトとを位置合わせして、前記複合映像の生成を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えばＸＲ（ＥｘｔｅｎｄｅｄＲｅａｌｉｔｙ）によるトレーニング等に使用可能な利便性に優れる。
【図面の簡単な説明】
【０００８】
第１実施形態に係る映像処理システムが有する映像処理装置のハードウェア構成の一例を示すブロック図である。
図１Ａに示す映像処理システムの使用状態の一例を示す図である。
第１映像処理装置のソフトウェア構成（機能構成）の一例を示すブロック図である。
基準位置の情報と、基準位置に対応する３次元座標の推定方法との関係表を示す図である。
第２映像処理装置のソフトウェア構成（機能構成）の一例を示すブロック図である。
第２ユーザトラッキング情報記憶手段に記憶されている関節位置座標情報の一例を示す図である。
第１映像処理装置が実行する処理を示すフローチャートである。
現実映像と仮想オブジェクトとの複合画像の一例を示す図である。
現実映像と仮想オブジェクトとの複合画像の一例を示す図である。
第２映像処理装置が実行する処理を示すフローチャートである。
第２実施形態に係る第１映像処理装置のソフトウェア構成（機能構成）の一例を示すブロック図である。
第１映像処理装置が実行する処理を示すフローチャートである。
現実映像と仮想オブジェクトとの複合画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。例えば、本発明を構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物が付加されていてもよい。また、各実施形態のうちの、任意の２以上の構成（特徴）を組み合わせることもできる。
【００１０】
＜第１実施形態＞
以下、図１Ａ～図９を参照して、第１実施形態について説明する。図１Ａは、第１実施形態に係る映像処理システムが有する映像処理装置のハードウェア構成の一例を示すブロック図である。図１Ｂは、図１Ａに示す映像処理システムの使用状態の一例を示す図である。図１Ａに示すように、映像処理システム１０００は、映像処理装置としての画像処理装置１０１を有する。図１Ｂに示すように、画像処理装置１０１には、第１ユーザＵＳ１によって使用される第１映像処理装置としての画像処理装置１０１Ａと、第２ユーザＵＳ２によって使用される第２映像処理装置（他の映像処理装置）としての画像処理装置１０１Ｂとがある。本実施形態では、画像処理装置１０１Ａは、第１ユーザＵＳ１の頭部に着脱可能に装着されるヘッドマウントディスプレイ（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）である。画像処理装置１０１Ｂは、デスクトップ型やノート型のパーソナルコンピュータと、このパーソナルコンピュータと通信可能に接続されたデジタルカメラとで構成される。なお、画像処理装置１０１Ａおよび画像処理装置１０１Ｂは、それぞれ、例えばウェブカメラ内蔵のパーソナルコンピュータ等であってもよい。
（【００１１】以降は省略されています）

関連特許