特許ウォッチ

公開番号2025012045
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023114577
出願日2023-07-12
発明の名称画像処理装置、システム、画像処理方法
出願人キヤノンマーケティングジャパン株式会社,キヤノンITソリューションズ株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20250117BHJP(計算;計数)
要約【課題】より簡易な構成でユーザに手術のシミュレーションを複合現実空間にて体験させるための画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理システムにおいて、PCは、手術前の人体の内部構造を含む第1仮想物体と、内視鏡に対応する現実物体の位置姿勢である現実物体位置姿勢と、に基づき、該手術前の人体の内部構造を表す画像を内視鏡モニタ画像として生成し、内視鏡モニタ画像を出力し、第1仮想物体における患部の位置と、手術器具に対応する現実物体の位置と、の関係が所定の状態で該手術器具に対応する現実物体に対するユーザ操作が行われてからの所定の条件を満たすかどうかにより、手術の成否を報知する。
【選択図】図8
特許請求の範囲【請求項１】
手術前の人体の内部構造を含む第１仮想物体と、内視鏡に対応する現実物体の位置姿勢である現実物体位置姿勢と、に基づき、該手術前の人体の内部構造を表す画像を内視鏡モニタ画像として生成する生成手段と、
前記内視鏡モニタ画像を出力する出力手段と、
前記第１仮想物体における患部の位置と、手術器具に対応する現実物体の位置と、の関係が所定の状態で該手術器具に対応する現実物体に対するユーザ操作が行われてからの所定の条件を満たすかどうかにより、手術の成否を報知する報知手段と
を有することを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記所定の状態とは、前記第１仮想物体における患部の位置と、手術器具に対応する現実物体の位置と、の間の距離が第１所定距離以内となっている状態であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の条件とは、前記手術器具に対応する現実物体に対するユーザ操作が行われてからの経過時間が所定時間を超えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成手段は、頭部装着型表示装置により撮像された現実空間の画像と、前記内視鏡モニタ画像と、を合成した合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記報知手段は、手術後の人体の内部構造を含む第２仮想物体と、前記現実物体位置姿勢と、に基づき、該手術後の人体の内部構造を表す画像を内視鏡モニタ画像として表示することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記報知手段は、前記第１仮想物体における患部の位置と、手術器具に対応する現実物体の位置と、の関係が前記所定の状態で該手術器具に対応する現実物体に対するユーザ操作が行われてから、前記所定の条件を満たさなくなった場合には、手術が失敗したことを示す失敗表示を含む画像を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記生成手段は、前記内視鏡に対応する現実物体において前記内視鏡のカメラに対応する部分の位置姿勢を前記現実物体位置姿勢として取得することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記手術器具に対応する現実物体の位置は、該現実物体において該手術器具の先端部に対応する部分の位置であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記手術前の人体の内部構造を表す画像は、前記手術前の人体における患部の位置を示す表示を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記第１仮想物体における患部の位置と、手術器具に対応する現実物体の位置と、の間の距離が第２所定距離以内となっている場合には、該距離に応じて前記表示を変更することを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理技術に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、複合現実（ＭｉｘｅｄＲｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。複合現実の技術を用いて、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザに対し、現実画像上にＣＧモデルを配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界を体験させることができる。複合現実画像を生成するにあたり、ＨＭＤの位置を、センサや二次元マーカを用いて特定する手法が取られている。
【０００３】
特許文献１には、ＨＭＤで撮像された画像の中に写る二次元マーカを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献２には、磁気センサを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献３には、リアルな感触の組織モデルをデジタル環境と融合させて、現実に近い触覚、没入型環境、を提供しようとする技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２００３－３０８５１４号公報
特開２００３－２４０５３２号公報
特開２０２１－０４３４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
たとえば、特許文献３では、リアルな感触の組織モデルを用意しなければならず、装置構成が複雑となる。複合現実空間において、仮想物体として人体の内部構造を有する仮想物体を用いる場合、この仮想物体が有する人体の臓器もまた仮想物体であるため、このような仮想物体としての臓器はユーザが操作する手術器具と接触し得ない。そのため、手術前後の手応えがなく、手術器具がうまく動作したのかの判断が分かり辛い。
【０００６】
本発明では、より簡易な構成でユーザに手術のシミュレーションを複合現実空間にて体験させるための技術を提供する。
【課題を解決するための手段】
【０００７】
本発明の１つの様態は、手術前の人体の内部構造を含む第１仮想物体と、内視鏡に対応する現実物体の位置姿勢である現実物体位置姿勢と、に基づき、該手術前の人体の内部構造を表す画像を内視鏡モニタ画像として生成する生成手段と、前記内視鏡モニタ画像を出力する出力手段と、前記第１仮想物体における患部の位置と、手術器具に対応する現実物体の位置と、の関係が所定の状態で該手術器具に対応する現実物体に対するユーザ操作が行われてからの所定の条件を満たすかどうかにより、手術の成否を報知する報知手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、より簡易な構成でユーザに手術のシミュレーションを複合現実空間にて体験させるための技術を提供することが可能となる。
【図面の簡単な説明】
【０００９】
システムにおけるＰＣ１００とＨＭＤ１０１との接続形態を示す図。
ＰＣ１００およびＨＭＤ１０１のそれぞれのハードウェア構成例を示すブロック図。
ＨＭＤ１０１およびＰＣ１００のそれぞれの機能構成例を示すブロック図。
ＰＣ１００におけるソフトウェアのモジュール構成の一例を示す図。
ＰＣ１００およびＨＭＤ１０１のそれぞれの動作を示すフローチャート。
情報の構成例を示す図。
システムの実装環境例を示す図。
ステップＳ５０９における処理の一例を示すフローチャート。
ステップＳ８０３における処理の一例を示すフローチャート。
（ａ）は作業場の俯瞰図、（ｂ）は、該作業場に人体仮想物体を配置した状態（複合現実空間）の俯瞰図。
内視鏡モニタ画像の表示例を示す図。
ＧＵＩの構成例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許