特許ウォッチ

公開番号2025140617
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024040133
出願日2024-03-14
発明の名称画像処理装置、プログラム、及び画像処理方法
出願人ソフトバンク株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06T 3/14 20240101AFI20250919BHJP(計算;計数)
要約【課題】顔より前に物体が存在するか否かにかかわらず違和感のない顔のアバターを生成する画像処理装置、方法及びプログラムを提供する。
【解決手段】アバター表示システムにおいて、画像処理装置は、通信装置からネットワークを介して、撮像カメラがユーザを撮像して生成されたRGB画像及び深度カメラが撮像したRGB画像よりも解像度が低いユーザの深度情報画像を取得する取得部と、深度情報画像から背景部分を除去したノイズ除去深度情報画像を生成するノイズ除去画像生成部と、RGB画像のユーザの部分と、ノイズ除去深度情報画像のユーザの部分とを一致させるようにキャリブレーションして、RGB画像とノイズ除去深度情報画像とを重畳して重畳画像を生成する重畳画像生成部と、重畳画像に基づいてユーザの顔のアバター342を生成するアバター生成部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
ユーザを撮像して生成された、ＲＧＢ画像と前記ＲＧＢ画像よりも解像度が低い前記ユーザの深度情報画像とを取得する取得部と、
前記深度情報画像から背景部分を除去したノイズ除去深度情報画像を生成するノイズ除去画像生成部と、
前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分とを一致させるようにキャリブレーションして、前記ＲＧＢ画像と前記ノイズ除去深度情報画像とを重畳して重畳画像を生成する重畳画像生成部と、
前記重畳画像に基づいて前記ユーザの顔のアバターを生成するアバター生成部と
を備える画像処理装置。
続きを表示（約 1,500 文字）【請求項２】
前記重畳画像生成部は、前記ＲＧＢ画像と前記深度情報画像との解像度の違いに応じて、前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分とを一致させるようにキャリブレーションする、請求項１に記載の画像処理装置。
【請求項３】
前記重畳画像生成部は、前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分との一致度がより高くなるように、前記ノイズ除去深度情報画像のサイズ及び前記ＲＧＢ画像と前記ノイズ除去深度情報画像との位置関係の少なくともいずれかを調整して、前記ＲＧＢ画像と前記ノイズ除去深度情報画像とを重畳して前記重畳画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記重畳画像に基づいて、前記ユーザの顔に対応する領域内で、前記ユーザの顔よりも前に物体が存在する部分を判定する判定部と、
前記ＲＧＢ画像の前記ユーザの顔の部分に前記アバターを配置して表示するよう制御する表示制御部であって、前記ユーザの顔に対応する領域のうち、前記ユーザの顔よりも前に物体が存在する部分に前記ＲＧＢ画像の対応する部分を配置し、前記ユーザの顔よりも前に物体が存在しない領域に前記アバターの対応する部分を配置した表示画像を表示するよう制御する表示制御部と
を備える、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記表示制御部は、前記ユーザの顔に対応する領域のうち、前記ユーザの顔よりも前に前記ユーザの手が存在する部分に、前記ＲＧＢ画像の前記ユーザの手の部分を配置した前記表示画像を表示するよう制御する、請求項４に記載の画像処理装置。
【請求項６】
前記判定部は、前記重畳画像に基づいて、前記ユーザの顔の平均深度を算出し、前記平均深度に基づいて、前記ユーザの顔よりも前に物体が存在する部分を判定する、請求項５に記載の画像処理装置。
【請求項７】
前記判定部は、前記ユーザの顔に対応する領域のうち、前記平均深度よりも、予め定められた閾値以上、深度が浅い部分を、前記ユーザの顔よりも前に物体が存在する部分として判定する、請求項６に記載の画像処理装置。
【請求項８】
前記表示制御部は、前記ＲＧＢ画像の前記ユーザの顔の部分に前記アバターを配置して表示するよう制御している状態において、撮像範囲内の前記ユーザを検出できないと判定された場合に、表示させていた前記アバターを固定して表示するよう制御する、請求項４に記載の画像処理装置。
【請求項９】
コンピュータを、請求項１から３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【請求項１０】
コンピュータによって実行される画像処理方法であって、
ユーザを撮像して生成された、ＲＧＢ画像と前記ＲＧＢ画像よりも解像度が低い前記ユーザの深度情報画像とを取得する取得段階と、
前記深度情報画像から背景部分を除去したノイズ除去深度情報画像を生成するノイズ除去画像生成段階と、
前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分とを一致させるようにキャリブレーションして、前記ＲＧＢ画像と前記ノイズ除去深度情報画像とを重畳して重畳画像を生成する重畳画像生成段階と、
前記重畳画像に基づいて前記ユーザの顔のアバターを生成するアバター生成段階と
を備える画像処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、プログラム、及び画像処理方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
特許文献１には、人物の深度データ及び画像データに基づいて、人物のアバターを生成する技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２３－０９４５４９号公報
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施態様によれば、画像処理装置が提供される。前記画像処理装置は、ユーザを撮像して生成された、ＲＧＢ画像と前記ＲＧＢ画像よりも解像度が低い前記ユーザの深度情報画像とを取得する取得部を備えてよい。前記画像処理装置は、前記深度情報画像から背景部分を除去したノイズ除去深度情報画像を生成するノイズ除去画像生成部を備えてよい。前記画像処理装置は、前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分とを一致させるようにキャリブレーションして、前記ＲＧＢ画像と前記ノイズ除去深度画像とを重畳して重畳画像を生成する重畳画像生成部を備えてよい。前記画像処理装置は、前記重畳画像に基づいて前記ユーザの顔のアバターを生成するアバター生成部を備えてよい。
【０００４】
前記画像処理装置において、前記重畳画像生成部は、前記ＲＧＢ画像と前記深度情報画像との解像度の違いに応じて、前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分とを一致させるようにキャリブレーションしてよい。
【０００５】
前記いずれかの画像処理装置において、前記重畳画像生成部は、前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分との一致度がより高くなるように、前記ノイズ除去深度情報画像のサイズ及び前記ＲＧＢ画像と前記ノイズ除去深度情報画像との位置関係の少なくともいずれかを調整して、前記ＲＧＢ画像と前記ノイズ除去深度情報画像とを重畳して前記重畳画像を生成してよい。
【０００６】
前記いずれかの画像処理装置は、前記重畳画像に基づいて、前記ユーザの顔に対応する領域内で、前記ユーザの顔よりも前に物体が存在する部分を判定する判定部を備えてよい。前記いずれかの画像処理装置は、前記ＲＧＢ画像の前記ユーザの顔の部分に前記アバターを配置して表示するよう制御する表示制御部であって、前記ユーザの顔に対応する領域のうち、前記ユーザの顔よりも前に物体が存在する部分に前記ＲＧＢ画像の対応する部分を配置し、前記ユーザの顔よりも前に物体が存在しない領域に前記アバターの対応する部分を配置した表示画像を表示するよう制御する表示制御部を備えてよい。前記表示制御部は、前記ユーザの顔に相当する領域のうち、前記ユーザの顔よりも前に前記ユーザの手が位置する部分に、前記ＲＧＢ画像の前記ユーザの手の部分を配置した前記表示画像を表示するよう制御してよい。前記判定部は、前記重畳画像に基づいて、前記ユーザの顔の全体の平均深度を算出し、前記平均深度に基づいて、前記ユーザの顔よりも前に物体が存在する部分を判定してよい。前記表示制御部は、前記ユーザの顔の領域のうち、前記平均深度よりも、予め定められた閾値以上、深度が浅い部分を、前記ユーザの顔よりも前に物体が存在する部分として判定してよい。
【０００７】
前記いずれかの画像処理装置において、前記表示制御部は、前記ユーザのＲＧＢ画像の前記ユーザの顔の部分に前記アバターを配置して表示するよう制御している状態において、撮像範囲内の前記ユーザを検出できないと判定した場合に、判定する直前に表示させていた前記アバターを固定して表示するよう制御してよい。
【０００８】
本発明の一実施態様によれば、コンピュータを、前記画像処理装置として機能させるためのプログラムが提供される。
【０００９】
本発明の一実施態様によれば、コンピュータによって実行される画像処理方法が提供される。前記画像処理方法は、ユーザを撮像して生成された、ＲＧＢ画像と前記ＲＧＢ画像よりも解像度が低い前記ユーザの深度情報画像とを取得する取得段階を備えてよい。画像処理方法は、前記深度情報画像から背景部分を除去したノイズ除去深度情報画像を生成するノイズ除去画像生成段階を備えてよい。画像処理方法は、前記ＲＧＢ画像の前記ユーザの部分と、前記ノイズ除去深度情報画像の前記ユーザの部分とを一致させるようにキャリブレーションして、前記ＲＧＢ画像と前記ノイズ除去深度情報画像とを重畳して重畳画像を生成する重畳画像生成段階を備えてよい。画像処理方法は、前記重畳画像に基づいて前記ユーザの顔のアバターを生成するアバター生成段階を備えてよい。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許