特許ウォッチ

公開番号2025140742
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024040305
出願日2024-03-14
発明の名称画像処理装置、プログラム、及び画像処理方法
出願人ソフトバンク株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06T 3/14 20240101AFI20250919BHJP(計算;計数)
要約【課題】顔の前に物体が存在するか否かにかかわらず違和感のない顔のアバターを生成する画像処理装置、プログラム及び画像処理方法を提供する。
【解決手段】アバター表示システム10において、画像処理装置は、ユーザを撮像して生成されたRGB画像及び深度情報画像を取得する取得部、RGB画像と深度情報画像とを重畳して重畳画像を生成する重畳画像生成部、重畳画像に基づいて、ユーザのアバターを生成するアバター生成部、重畳画像に基づいて、ユーザの予め定められた領域の平均深度を算出し、平均深度に基づいて、前記領域よりも前に物体が存在する部分を判定する判定部及びRGB画像の前記領域にアバターを配置して表示するよう制御し、前記領域のうち、前記領域よりも前に物体が存在する領域にはRGB画像の対応する部分を表示し、前記領域よりも前に物体が存在しない領域にはアバターの対応する部分を表示するよう制御する表示制御部と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
ユーザを撮像して生成された、ＲＧＢ画像及び深度情報画像を取得する取得部と、
前記ＲＧＢ画像と前記深度情報画像とを重畳して重畳画像を生成する重畳画像生成部と、
前記重畳画像に基づいて、前記ユーザのアバターを生成するアバター生成部と、
前記重畳画像に基づいて、前記ユーザの予め定められた領域の平均深度を算出し、前記平均深度に基づいて、前記ユーザの前記予め定められた領域よりも前に物体が存在する部分を判定する判定部と、
前記ＲＧＢ画像の前記ユーザの前記予め定められた領域に前記アバターを配置して表示するよう制御する表示制御部であって、前記ユーザの前記予め定められた領域のうち、前記ユーザの前記予め定められた領域よりも前に物体が存在する領域には前記ＲＧＢ画像の対応する部分を表示し、前記ユーザの前記予め定められた領域よりも前に物体が存在しない領域には前記アバターの対応する部分を表示するよう制御する表示制御部と
を備える画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記アバター生成部は、前記重畳画像に基づいて前記ユーザの顔の前記アバターを生成し、
前記判定部は、前記ユーザの顔の平均深度を算出し、前記平均深度に基づいて、前記ユーザの顔よりも前に物体が存在する部分を判定し、
前記表示制御部は、前記ユーザの顔の領域のうち、前記ユーザの顔よりも前に物体が存在する領域には前記ＲＧＢ画像の対応する部分を表示し、前記ユーザの顔よりも前に物体が存在しない領域には前記アバターの対応する部分を表示するよう制御する、請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記ユーザの顔全体の平均深度を算出する、請求項２に記載の画像処理装置。
【請求項４】
前記表示制御部は、前記ユーザの顔の領域のうち、前記ユーザの顔よりも前に前記ユーザの手が位置する部分に、前記ＲＧＢ画像の前記ユーザの手の部分を表示するよう制御する、請求項２に記載の画像処理装置。
【請求項５】
前記表示制御部は、前記ユーザの前記予め定められた領域のうち、前記平均深度よりも、予め定められた閾値以上、深度が浅い部分を、前記ユーザの前記予め定められた領域よりも前に物体が存在する部分として判定する、請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記表示制御部は、前記ＲＧＢ画像の前記ユーザの顔の部分に前記アバターを配置して表示するよう制御している状態において、撮像範囲内の前記ユーザを検出できないと判定した場合に、判定する直前に表示させていた前記アバターを固定して表示するよう制御する、請求項２から４のいずれか一項に記載の画像処理装置。
【請求項７】
コンピュータを、請求項１から４のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【請求項８】
コンピュータによって実行される画像処理方法であって、
ユーザを撮像して生成された、ＲＧＢ画像及び深度情報画像を取得する取得段階と、
前記ＲＧＢ画像と前記深度情報画像とを重畳して重畳画像を生成する重畳画像生成段階と、
前記重畳画像に基づいて、前記ユーザのアバターを生成するアバター生成段階と、
前記重畳画像に基づいて、前記ユーザの予め定められた領域の平均深度を算出し、前記平均深度に基づいて、前記ユーザの前記予め定められた領域よりも前に物体が存在する部分を判定する判定段階と、
前記ＲＧＢ画像の前記ユーザの前記予め定められた領域に前記アバターを配置して表示するよう制御する表示制御部であって、前記ユーザの前記予め定められた領域のうち、前記ユーザの前記予め定められた領域よりも前に物体が存在する領域には前記ＲＧＢ画像の対応する部分を表示し、前記ユーザの前記予め定められた領域よりも前に物体が存在しない領域には前記アバターの対応する部分を表示するよう制御する表示制御段階と
を備える画像処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、プログラム、及び画像処理方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
特許文献１には、人物の深度データ及び画像データに基づいて、人物のアバターを生成する技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２３－０９４５４９号公報
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施態様によれば、画像処理装置が提供される。前記画像処理装置は、ユーザを撮像して生成された、ＲＧＢ画像及び深度情報画像を取得する取得部を備えてよい。前記画像処理装置は、前記ＲＧＢ画像と前記深度情報画像とを重畳して重畳画像を生成する重畳画像生成部を備えてよい。前記画像処理装置は、前記重畳画像に基づいて、前記ユーザのアバターを生成するアバター生成部を備えてよい。前記画像処理装置は、前記重畳画像に基づいて、前記ユーザの予め定められた領域の平均深度を算出し、前記平均深度に基づいて、前記ユーザの前記予め定められた領域よりも前に物体が存在する部分を判定する判定部を備えてよい。前記画像処理装置は、前記ＲＧＢ画像の前記ユーザの前記予め定められた領域に前記アバターを配置して表示するよう制御する表示制御部であって、前記ユーザの前記予め定められた領域のうち、前記ユーザの前記予め定められた領域よりも前に物体が存在する領域には前記ＲＧＢ画像の対応する部分を表示し、前記ユーザの前記予め定められた領域よりも前に物体が存在しない領域には前記アバターの対応する部分を表示するよう制御する表示制御部を備えてよい。
【０００４】
前記画像処理装置において、前記アバター生成部は、前記重畳画像に基づいて前記ユーザの顔の前記アバターを生成してよく、前記判定部は、前記ユーザの顔の平均深度を算出し、前記平均深度に基づいて、前記ユーザの顔よりも前に物体が存在する部分を判定してよく、前記表示制御部は、前記ユーザの顔の領域のうち、前記ユーザの顔よりも前に物体が存在する領域には前記ＲＧＢ画像の対応する部分を表示し、前記ユーザの顔よりも前に物体が存在しない領域には前記アバターの対応する部分を表示するよう制御してよい。前記判定部は、前記ユーザの顔全体の平均深度を算出してよい。
【０００５】
前記いずれかの画像処理装置において、前記表示制御部は、前記ユーザの顔の領域のうち、前記ユーザの顔よりも前に前記ユーザの手が位置する部分に、前記ＲＧＢ画像の前記ユーザの手の部分を表示するよう制御してよい。
【０００６】
前記いずれかの画像処理装置において、前記表示制御部は、前記ユーザの前記予め定められた領域のうち、前記平均深度よりも、予め定められた閾値以上、深度が浅い部分を、前記ユーザの前記予め定められた領域よりも前に物体が存在する部分として判定してよい。
【０００７】
前記いずれかの画像処理装置において、前記表示制御部は、前記ＲＧＢ画像の前記ユーザの顔の部分に前記アバターを配置して表示するよう制御している状態において、撮像範囲内の前記ユーザを検出できないと判定した場合に、判定する直前に表示させていた前記アバターを固定して表示するよう制御してよい。
【０００８】
本発明の一実施態様によれば、コンピュータを、前記画像処理装置として機能させるためのプログラムが提供される。
【０００９】
本発明の一実施態様によれば、コンピュータによって実行される画像処理方法が提供される。前記画像処理方法は、ユーザを撮像して生成された、ＲＧＢ画像及び深度情報画像を取得する取得段階を備えてよい。前記画像処理方法は、前記ＲＧＢ画像と前記深度情報画像とを重畳して重畳画像を生成する重畳画像生成段階を備えてよい。前記画像処理方法は、前記重畳画像に基づいて、前記ユーザのアバターを生成するアバター生成段階を備えてよい。前記画像処理方法は、前記重畳画像に基づいて、前記ユーザの予め定められた領域の平均深度を算出し、前記平均深度に基づいて、前記ユーザの前記予め定められた領域よりも前に物体が存在する部分を判定する判定段階を備えてよい。前記画像処理方法は、前記ＲＧＢ画像の前記ユーザの前記予め定められた領域に前記アバターを配置して表示するよう制御する表示制御部であって、前記ユーザの前記予め定められた領域のうち、前記ユーザの前記予め定められた領域よりも前に物体が存在する領域には前記ＲＧＢ画像の対応する部分を表示し、前記ユーザの前記予め定められた領域よりも前に物体が存在しない領域には前記アバターの対応する部分を表示するよう制御する表示制御段階を備えてよい。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許