特許ウォッチ

公開番号2025068424
公報種別公開特許公報(A)
公開日2025-04-28
出願番号2023178335
出願日2023-10-16
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 19/00 20110101AFI20250421BHJP(計算;計数)
要約【課題】カメラと被写体の距離が離れていても、被写体に合成する仮想物体の光沢感を観察者が確認しやすくする。
【解決手段】被写体を撮像するカメラ203から撮像画像を取得する。被写体からカメラ203までの距離(カメラ被写体間距離)を取得する。被写体に対応する仮想物体の3次元画像を生成して撮像画像に合成する。合成した合成画像をディスプレイ202に表示する。仮想物体の3次元画像の生成では、カメラ被写体間距離に基づいて、カメラ203のカメラ方向が変化した際に観察される仮想物体の反射光を調整するための補正処理を行う。
【選択図】図6
特許請求の範囲【請求項１】
被写体を撮像する撮像装置から撮像画像を取得する画像取得手段と、
前記被写体から前記撮像装置までの距離を取得する距離取得手段と、
前記被写体に対応する仮想物体の３次元画像を生成する画像生成手段と、
前記仮想物体の３次元画像を前記撮像画像に合成する合成手段と、
前記合成手段で合成された合成画像を表示するよう制御する表示制御手段と、
を有し、
前記画像生成手段は、前記距離取得手段で取得された距離に基づいて、前記撮像装置の撮像方向が変化した際に観察される前記仮想物体の反射光を調整するための補正処理を行うことを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記画像生成手段は、前記撮像装置の撮像方向が変化した際の前記仮想物体の反射光強度の変化を強調させるために、前記距離取得手段で取得された距離の増加に伴って、前記補正処理によって補正される補正量を増大させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像生成手段は、前記撮像装置の撮像方向が変化した際の前記仮想物体の反射光強度の変化を強調させるために、仮想光源の光源方向を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像生成手段は、前記撮像装置の位置が前記仮想物体の法線方向へ近づく方向に変化した場合には、仮想光源の位置を前記仮想物体の法線方向から遠ざかる方向に変更し、前記撮像装置の位置が前記仮想物体の法線方向から遠ざかる方向に変化した場合には、仮想光源の位置を前記仮想物体の法線方向へ近づく方向に変更することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像生成手段は、前記距離取得手段で取得された距離の増加に伴って、仮想光源の光源方向の変更量を増大させることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記画像取得手段は、所定の間隔で前記撮像画像を取得し、
前記画像生成手段は、前の時刻における仮想光源の位置、および、前の時刻における前記撮像装置の位置が前記仮想物体の法線方向へ近づく方向に変化したか前記仮想物体の法線方向から遠ざかる方向に変化したか、に基づいて、仮想光源の光源方向を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像生成手段は、前記撮像装置の撮像方向が変化した際の前記仮想物体の反射光強度の変化を強調させるために、前記仮想物体の反射特性を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像生成手段は、前記距離取得手段で取得された距離の増加に伴って、前記仮想物体の鏡面反射成分の拡がりを表す鏡面反射光幅を小さくすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像生成手段は、前記撮像方向の変化量が実際よりも大きくなるように、前記撮像方向を変更することを特徴とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記画像生成手段は、前記仮想物体の反射特性の算出には、変更された後の前記撮像方向を用い、前記仮想物体の色および形状の算出には、変更される前の前記撮像方向を用いることを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想物体の画像処理に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）技術を利用した仮想試着のサービスが利用されている。具体的には、カメラで撮影された実写映像に、時計、装飾品、ランドセル、洋服、靴などのＣＧ（コンピュータグラフィックス）画像を合成して表示することで、ユーザはリアルタイムに仮想試着を体験することができる。仮想試着は、試着にかかっていた時間を削減できるため、多くの選択肢から印象やサイズの確認ができ、店舗やＥＣ（電子商取引）サイトにおける購買促進に活用されている。特許文献１では、３次元ＣＧ画像を実写映像にリアルタイムで合成して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００９－２１１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、スマートフォン等のカメラを用いて仮想試着を行う際、カメラから被写体までの距離が遠いと、合成する仮想物体の光沢感が確認しづらいという課題がある。
【０００５】
本発明は、カメラと被写体の距離が離れていても、被写体に合成する仮想物体の光沢感を観察者が確認しやすくすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、被写体を撮像する撮像装置から撮像画像を取得する画像取得手段と、前記被写体から前記撮像装置までの距離を取得する距離取得手段と、前記被写体に対応する仮想物体の３次元画像を生成する画像生成手段と、前記仮想物体の３次元画像を前記撮像画像に合成する合成手段と、前記合成手段で合成された合成画像を表示するよう制御する表示制御手段と、を有し、前記画像生成手段は、前記距離取得手段で取得された距離に基づいて、前記撮像装置の撮像方向が変化した際に観察される前記仮想物体の反射光を調整するための補正処理を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、カメラと被写体の距離が離れていても、被写体に合成する仮想物体の光沢感を観察者が確認しやすくすることができる。
【図面の簡単な説明】
【０００８】
カメラ被写体間距離と仮想物体の光沢の見え方の関係性を示す図である。
画像処理装置の外観図である。
画像処理装置のハードウェア構成を示す図である。
画像処理装置の機能構成を示す図である。
画像処理装置のメイン処理を示すフローチャートである。
実施形態１に係る３次元画像生成処理を示すフローチャートである。
仮想物体表面の反射特性を表す模式図である。
仮想光源の位置の補正方法を説明するための模式図である。
仮想物体の３次元画像の例を示す図である。
実施形態２に係る３次元画像生成処理を示すフローチャートである。
反射特性の補正方法を説明するための模式図である。
カメラ方向の補正方法を説明するための模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の各実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
まず、図１を用いて、カメラから被写体までの距離と仮想物体の光沢の見え方の関係性について説明する。本実施形態では、観察者がスマートフォンのカメラで被写体を撮影し、撮影された画像内の被写体に合成される仮想物体の観察を行う。図１に示すように、観察者がカメラ位置を変化させながら観察を行った場合の、カメラ位置の変化前のカメラ方向と変化後のカメラ方向とがなす角度を「観察角度」と呼ぶ。
（【００１１】以降は省略されています）

関連特許