特許ウォッチ

公開番号2025126598
公報種別公開特許公報(A)
公開日2025-08-29
出願番号2024022915
出願日2024-02-19
発明の名称画像処理装置および画像処理方法
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20250822BHJP(計算;計数)
要約【課題】ビデオシースルー方式のHMDに表示されたMR画像の見え方が現実空間の見え方とは異なることによるユーザの違和感を低減する。
【解決手段】画像処理装置は、背景画像を取得する画像取得手段と、前記背景画像の距離マップを取得する距離マップ取得手段と、ユーザの視線の情報を取得する視線取得手段と、前記ユーザの視線の情報に基づいて、前記背景画像を撮像する撮像装置から前記ユーザの視線位置に対応する位置までの距離である視認距離を取得する視認距離取得手段と、前記視認距離および前記距離マップでの距離に基づいて、前記背景画像に対するぼかし処理を行う画像処理手段とを有することを特徴とする。
【選択図】図7
特許請求の範囲【請求項１】
背景画像を取得する画像取得手段と、
前記背景画像の距離マップを取得する距離マップ取得手段と、
ユーザの視線の情報を取得する視線取得手段と、
前記ユーザの視線の情報に基づいて、前記背景画像を撮像する撮像装置から前記ユーザの視線位置に対応する位置までの距離である視認距離を取得する視認距離取得手段と、
前記視認距離および前記距離マップでの距離に基づいて、前記背景画像に対するぼかし処理を行う画像処理手段と
を有することを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記画像処理手段は、前記視認距離および前記撮像装置が撮像する空間に配置されるオブジェクトの位置に基づいて、前記背景画像に重畳して表示される前記オブジェクトの画像に対するぼかし処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、
前記背景画像に対するぼかし処理および前記オブジェクトの画像に対するぼかし処理を行ってから前記背景画像に前記オブジェクトの画像を合成する第１の処理、または
前記背景画像に前記オブジェクトの画像を合成してから、前記背景画像に対するぼかし処理および前記オブジェクトの画像に対するぼかし処理を行う第２の処理
を実行する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記ユーザの指示に応じて前記第１の処理または前記第２の処理を実行する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記オブジェクトの数が所定数より多い場合には、前記第１の処理を実行する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記オブジェクトが配置される位置は、前記背景画像を撮像する前記撮像装置が撮像した画像を用いてＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）により作成された環境地図と、前記ＳＬＡＭにより推定された自己位置とに基づいて決定される
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記背景画像は左目用の第１画像および右目用の第２画像を含み、
前記画像処理手段は、前記視認距離および前記距離マップでの距離に基づいて、前記第１画像に対するぼかし処理と前記第２画像に対するぼかし処理とを行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像処理手段は、平均化フィルタおよびメディアンフィルタの少なくともいずれかを用いて前記背景画像に対するぼかし処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記画像処理手段は、前記ユーザの指示に基づいて、前記背景画像に対するぼかし処理の度合いを変更する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記視認距離取得手段は、前記ユーザの視線の情報に基づいて取得した輻輳角を用いて、前記視認距離を取得する
ことを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
現実空間と仮想空間とを融合し、ユーザが仮想物体とのインタラクションを体験することができる複合現実感（ＭｉｘｅｄＲｅａｌｉｔｙ：ＭＲ）の技術が知られている。ＭＲ技術を用いたＭＲシステムは、現実の風景に対して仮想物体を表すコンピュータグラフィックス（ＣＧ）を合成して提示したり、現実物体と仮想物体との接触を表現したりすることで、現実空間と仮想空間とのインタラクションを実現する。ＭＲ技術により表示される仮想空間の画像は、ユーザからの距離に関わらず鮮明に表示されるため、ユーザが実際に見ている現実空間の風景とは異なり、リアルな視聴体験を提供することは困難な場合がある。
【０００３】
特許文献１は、ＨＭＤに搭載した撮影カメラのレンズを、ユーザが注目している被写体はぼけがなく、背景をぼかした画像を撮影する方法を開示している。特許文献２は、光学シースルー方式のＨＭＤに表示されるＡＲ画像において、ＣＧ画像の距離に紐付けられたぼけ量に基づいて、ＣＧ画像にぼかし処理を行う方法を開示している。
【先行技術文献】
【特許文献】
【０００４】
特開２００５－２２７９５０号公報
国際公開第２０２０／１１５８１５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＣＧ画像に対してぼかし処理を行っても、ビデオシースルー方式のＨＭＤではＭＲ画像の背景画像は、ユーザからの距離に関わらずピントが合った画像となる。画像全体でピントがあった状態の背景画像は、ユーザに違和感を与えるおそれがある。
【０００６】
そこで、本発明は、ビデオシースルー方式のＨＭＤに表示されたＭＲ画像の見え方が現実空間の見え方とは異なることによるユーザの違和感を低減することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、背景画像を取得する画像取得手段と、前記背景画像の距離マップを取得する距離マップ取得手段と、ユーザの視線の情報を取得する視線取得手段と、前記ユーザの視線の情報に基づいて、前記背景画像を撮像する撮像装置から前記ユーザの視線位置に対応する位置までの距離である視認距離を取得する視認距離取得手段と、前記視認距離および前記距離マップでの距離に基づいて、前記背景画像に対するぼかし処理を行う画像処理手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ビデオシースルー方式のＨＭＤに表示されたＭＲ画像の見え方が現実空間の見え方とは異なることによるユーザの違和感を低減することができる。
【図面の簡単な説明】
【０００９】
情報処理システムの構成を説明する図である。
実施形態１に係る情報処理システムのブロック図である。
輻輳角と視認距離との関係を説明する図である。
輻輳角の違いによるぼかし処理の違いを説明する図である。
オブジェクト間の距離の違いを説明する図である。
オブジェクト間の距離の違いによるぼかし処理の違いを説明する図である。
実施形態１に係る画像のぼかし処理を例示するフローチャートである。
視認距離の違いを説明する図である。
視認距離の違いによるぼかし処理の違いを説明する図である。
実施形態２に係る情報処理システムのブロック図である。
実施形態２に係る画像のぼかし処理を例示するフローチャートである。
実施形態３に係る情報処理システムのブロック図である。
実施形態３に係る画像のぼかし処理を例示するフローチャートである。
画像処理装置が組み込まれたＨＭＤのブロック図である。
【発明を実施するための形態】
【００１０】
＜実施形態１＞
以下、図面を参照して本発明の実施形態について説明する。図１は、情報処理システム１の構成を説明する図である。情報処理システム１は、ＨＭＤ１００および画像処理装置１１０を有する。
（【００１１】以降は省略されています）

関連特許