特許ウォッチ

公開番号2024071354
公報種別公開特許公報(A)
公開日2024-05-24
出願番号2023188998
出願日2023-11-06
発明の名称イメージを処理する電子装置及びその動作方法
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人個人,個人,個人
主分類G06T 7/00 20170101AFI20240517BHJP(計算;計数)
要約【課題】イメージを処理する電子装置及びその動作方法が開示される。
【解決手段】電子装置の動作方法は、顔イメージのマルチレベル特徴マップに基づいて前記顔イメージの初期イメージ特徴行列を生成する動作、前記マルチレベル特徴マップの最後のレベル特徴マップに基づいて前記顔イメージの初期顔先験特徴行列を生成する動作、及び前記初期イメージ特徴行列及び前記初期顔先験特徴行列に基づいて、1つ以上のエンコーダを用いて前記顔イメージの超解像度イメージ及び/又は前記顔イメージのキーポイント座標を生成する動作を含む。1つ以上のエンコーダが複数のエンコーダである場合、前記複数のエンコーダはカスケードされる。
【選択図】図6
特許請求の範囲【請求項１】
プロセッサによって行われる方法であって、
顔イメージのマルチレベル特徴マップに基づいて前記顔イメージの初期イメージ特徴行列を生成する動作と、
前記マルチレベル特徴マップの最後のレベル特徴マップに基づいて前記顔イメージの初期顔先験特徴行列を生成する動作と、
前記初期イメージ特徴行列及び前記初期顔先験特徴行列に基づいて、１つ以上のエンコーダを用いて前記顔イメージの超解像度イメージ及び／又は前記顔イメージのキーポイント座標を生成する動作と、
を含み、
前記１つ以上のエンコーダが複数のエンコーダである場合、前記複数のエンコーダはカスケードされる、方法。
続きを表示（約 4,300 文字）【請求項２】
前記１つ以上のエンコーダそれぞれは、交差アテンションモデル及び第１変形可能なアテンションモデルを含み、
前記超解像度イメージが取得され、
前記超解像度イメージを取得する動作は、
前記１つ以上のエンコーダのうち初期エンコーダの前記交差アテンションモデルを用いて、前記初期イメージ特徴行列及び前記初期顔先験特徴行列に基づいて融合されたイメージ特徴行列を取得する動作と、
前記初期エンコーダの前記第１変形可能なアテンションモデルを用いて、前記融合されたイメージ特徴行列に基づいて前記顔イメージのアップデートされたイメージ特徴行列を取得する動作と、
前記アップデートされたイメージ特徴行列及び前記顔イメージに基づいて前記顔イメージの超解像度イメージを取得する動作と、
を含む、請求項１に記載の方法。
【請求項３】
前記１つ以上のエンコーダそれぞれは、交差アテンションモデル及び第２変形可能なアテンションモデルを含み、
前記キーポイント座標は取得され、
前記顔イメージのキーポイント座標を取得する動作は、
前記１つ以上のエンコーダのうち初期エンコーダの前記交差アテンションモデルを用いて、前記初期イメージ特徴行列及び前記初期顔先験特徴行列に基づいて融合されたイメージ特徴行列を取得する動作と、
前記初期エンコーダの前記第２変形可能なアテンションモデルを用いて、前記融合されたイメージ特徴行列及び前記初期顔先験特徴行列に基づいて前記顔イメージのアップデートされた顔先験特徴を取得する動作と、
前記アップデートされた顔先験特徴及び前記顔イメージの初期キーポイント座標に基づいて、前記顔イメージのキーポイント座標を予測する動作であって、前記顔イメージの初期キーポイント座標は、前記初期顔先験特徴行列に基づいて取得される、動作と、
を含む、請求項１に記載の方法。
【請求項４】
前記１つ以上のエンコーダのそれぞれは、第１ネットワーク、第２ネットワーク、及び第３ネットワークを含み、第１ネットワークは交差アテンションモデルを含み、第２ネットワークは第１変形可能なアテンションモデルを含み、第３ネットワークは第２変形可能なアテンションモデルを含み、
前記顔イメージの超解像度イメージ及び／又は前記顔イメージのキーポイント座標を取得する動作は、
前記超解像度イメージを生成する動作が行われる場合、前記１つ以上のエンコーダそれぞれに対して、現在エンコーダに対応するイメージ特徴行列及び顔先験特徴行列に基づいて、第１ネットワークを用いて現在エンコーダの融合されたイメージ特徴行列を取得する動作と、
前記１つ以上のエンコーダが複数のエンコーダを含んだり、複数のエンコーダと追加エンコーダを含む場合、前記複数のエンコーダそれぞれに対して、前記現在エンコーダの融合されたイメージ特徴行列及び現在エンコーダに対応する顔先験特徴行列に基づいて、第２ネットワークを用いて前記現在エンコーダのアップデートされた顔先験特徴行列を取得する動作と、
前記１つ以上のエンコーダそれぞれに対して、前記現在エンコーダの融合されたイメージ特徴行列に基づいて、第３ネットワークを用いて前記現在エンコーダのアップデートされたイメージ特徴行列を取得する動作と、
前記キーポイント座標を生成する動作が行われる場合、前記１つ以上のエンコーダの最後のエンコーダのアップデートされたイメージ特徴行列及び前記顔イメージに基づいて、前記顔イメージの超解像度イメージを取得する動作及び／又は最後のエンコーダのアップデートされた顔先験特徴行列及び前記顔イメージの初期キーポイント座標に基づいて前記顔イメージのキーポイント座標を予測する動作と、
を含み、
前記顔イメージの前記初期キーポイント座標は、前記初期顔先験特徴行列に基づいて取得され、
前記現在エンコーダが１つ以上のエンコーダのうち初期エンコーダである場合、前記現在エンコーダに対応するイメージ特徴行列は前記初期イメージ特徴行列であり、前記現在エンコーダに対応する顔先験特徴行列は前記初期顔先験特徴行列であり、
前記現在エンコーダが初期エンコーダでない場合、前記現在エンコーダに対応するイメージ特徴行列は、前記現在エンコーダの以前エンコーダのアップデートされたイメージ特徴行列であり、前記現在エンコーダに対応する顔先験特徴行列は、前記現在エンコーダの以前エンコーダのアップデートされた顔先験特徴行列である、請求項１に記載の方法。
【請求項５】
前記顔イメージの超解像度イメージ及び／又は前記顔イメージのキーポイント座標を取得する動作は、
最後のエンコーダに対応するアップデートされたイメージ特徴行列に基づいて、アップサンプリング増幅ネットワークを用いて第１オフセットを求め、第１オフセットと前記顔イメージに基づいて前記超解像度イメージを取得する動作と、
前記最後のエンコーダに対応するアップデートされた顔先験特徴行列に基づいて、キーポイント予測ネットワークを用いて第２オフセットを求め、第２オフセットと前記顔イメージの初期キーポイント座標に基づいて予測された前記顔イメージのキーポイント座標を取得する動作と、
を含む、請求項４に記載の方法。
【請求項６】
前記１つ以上のエンコーダそれぞれの第１ネットワークは、レイヤ正規化モデル及びフィードフォワードネットワークモデルをさらに含み、
前記現在エンコーダの融合されたイメージ特徴行列を取得する動作は、
位置情報が内蔵されている現在エンコーダに対応するイメージ特徴行列、位置情報が内蔵されている現在エンコーダに対応する顔先験特徴行列、及び現在エンコーダに対応する顔先験特徴行列をそれぞれクエリベクトル、キーベクトル、及び値ベクトルとして交差アテンションモデルに入力し、カスケードされた交差アテンションモデル、レイヤ正規化モデル、及びフィードフォワードネットワークモデルを介して現在エンコーダの融合されたイメージ特徴行列を取得する動作を含む、請求項４に記載の方法。
【請求項７】
前記現在エンコーダの融合されたイメージ特徴行列に基づいて、第３ネットワークを用いて現在エンコーダのアップデートされたイメージ特徴行列を取得する動作は、
前記現在エンコーダの融合されたイメージ特徴行列のうち、各特徴の正規化位置を決定する動作であって、前記正規化位置は、前記対応する特徴マップ内の各特徴に対応する前記特徴マップ内の特徴の正規化位置を示す、動作と、
前記マルチレベル特徴マップの各特徴マップで予め設定された規則に応じて各特徴の前記正規化位置の近所でＫ個の正規化位置を決定する動作と、
現在エンコーダの融合されたイメージ特徴行列でマルチレベル特徴マップの各特徴マップのＫ個の正規化位置に対応するＬ×Ｋ個の特徴に対して加重合算を行い、現在エンコーダの融合されたイメージ特徴行列のうち、前記各特徴に対応する特徴を現在エンコーダのアップデートされたイメージ特徴行列のうちの特徴として取得する動作であって、前記Ｌは、マルチレベル特徴マップの特徴マップ個数である、動作と、
を含む、請求項４に記載の方法。
【請求項８】
前記１つ以上のエンコーダそれぞれの第２ネットワークは、セルフアテンションモデルをさらに含み、
前記現在エンコーダのアップデートされた顔先験特徴行列を取得する動作は、
前記現在エンコーダに対応する顔先験特徴行列に基づいて、セルフアテンションモデルを用いて現在エンコーダに対応するセルフアテンションの顔先験特徴行列を取得する動作と、
前記現在エンコーダに対応するセルフアテンションの顔先験特徴行列及び現在エンコーダの融合されたイメージ特徴行列に基づいて、第１変形可能なアテンションモデルを用いて現在エンコーダのアップデートされた顔先験特徴行列を取得する動作と、
を含む、請求項４に記載の方法。
【請求項９】
前記セルフアテンションモデルは、カスケードされたセルフアテンションレイヤ、レイヤ正規化レイヤ、及びフィードフォワードネットワークレイヤを含み、
前記現在エンコーダのセルフアテンションの顔先験特徴行列を取得する動作は、位置情報が内蔵されている現在エンコーダに対応する顔先験特徴行列、位置情報が内蔵されている現在エンコーダに対応する顔先験特徴行列、及び現在エンコーダに対応する顔先験特徴行列をそれぞれクエリ行列、キー行列及び値行列として前記セルフアテンションモデルに入力し、セルフアテンションレイヤ、レイヤ正規化レイヤ、及びフィードフォワードネットワークレイヤを介して現在エンコーダのセルフアテンションの顔先験特徴行列を取得する動作を含み、
前記第２変形可能なアテンションモデルを用いて現在エンコーダのアップデートされた顔先験特徴行列を取得する動作は、
前記最後のレベル特徴マップで現在エンコーダのセルフアテンションの顔先験特徴行列のうち、各特徴の正規化位置を決定する動作であって、前記正規化位置は、前記最後のレベル特徴マップで各特徴に対応する最後のレベル特徴マップにおける特徴の正規化位置を示す、動作と、
予め設定された規則に応じて最終レベル特徴マップで前記正規化位置の近所のＫ個の正規化位置を決定する動作と、
前記現在エンコーダのアップデートされたイメージ特徴行列で前記Ｋ個の正規化位置に対応するＫ個の特徴を決定し、前記Ｋ個の特徴に対する加重値を合算してセルフアテンションの顔先験特徴行列のうち、前記各特徴に対応する特徴を現在エンコーダのアップデートされた顔先験特徴行列の特徴として取得する動作と、
を含む、請求項８に記載の方法。
【請求項１０】
請求項１～請求項９のいずれか１項に記載の方法を実行するコンピュータプログラムを格納するコンピュータで読み出し可能な記録媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
以下の開示は、イメージを処理する電子装置及びその動作方法に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
最近、深層神経網技術の発達でＦＳＲ（ｆａｃｅｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ）技術が大きく発展している。ＦＳＲは、主にＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）、ＧＡＮ（ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋ）、アンサンブル学習（ｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇ）又は強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ）に基づいて実行されてもよい。ＦＳＲの性能を向上させるために複雑なネットワーク構造設計が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ネットワークの構造が複雑になることは、メモリの大きさ、演算量、及びパラメータの増加につながってネットワークのトレーニング時間と演算コストを増加させる。また、顔先験情報（ｆａｃｅｐｒｉｏｒｉｎｆｏｒｍａｔｉｏｎ）を活用してＦＳＲ性能が向上し取得するが、顔先験情報を活用するＦＳＲ方法には、追加的な顔先験情報のラベリングが要求されている。
【０００４】
本文書に開示される様々な実施形態によれば、マルチレベルイメージ特徴を活用することができ、距離に関わりのない関係を学習できる変形可能なアテンションを用いて追加的な顔先験情報なしにＦＳＲネットワークの複雑度を減らしながらも、ＦＳＲ性能を効率よく向上させ得るＦＳＲモデルを提供することができる。
【課題を解決するための手段】
【０００５】
一実施形態に係るプロセッサによって行われる方法は、顔イメージのマルチレベル特徴マップに基づいて前記顔イメージの初期イメージ特徴行列を生成する動作と、前記マルチレベル特徴マップの最後のレベル特徴マップに基づいて前記顔イメージの初期顔先験特徴行列を生成する動作と、前記初期イメージ特徴行列及び前記初期顔先験特徴行列に基づいて、１つ以上のエンコーダを用いて前記顔イメージの超解像度イメージ及び／又は前記顔イメージのキーポイント座標を生成する動作と、を含み、前記１つ以上のエンコーダが複数のエンコーダである場合、前記複数のエンコーダはカスケード（接続）される。
【０００６】
前記１つ以上のエンコーダそれぞれは、交差アテンションモデル及び第１変形可能なアテンションモデルを含み、前記超解像度イメージが取得され、前記超解像度イメージを取得する動作は、前記１つ以上のエンコーダのうち初期エンコーダの前記交差アテンションモデルを用いて、前記初期イメージ特徴行列及び前記初期顔先験特徴行列に基づいて融合されたイメージ特徴行列を取得する動作と、前記初期エンコーダの前記第１変形可能なアテンションモデルを用いて、前記融合されたイメージ特徴行列に基づいて前記顔イメージのアップデートされたイメージ特徴行列を取得する動作と、前記アップデートされたイメージ特徴行列及び前記顔イメージに基づいて前記顔イメージの超解像度イメージを取得する動作とを含むことができる。
【０００７】
前記１つ以上のエンコーダそれぞれは、交差アテンションモデル及び第２変形可能なアテンションモデルを含み、前記キーポイント座標は取得され、前記顔イメージのキーポイント座標を取得する動作は、前記１つ以上のエンコーダのうち初期エンコーダの前記交差アテンションモデルを用いて、前記初期イメージ特徴行列及び前記初期顔先験特徴行列に基づいて融合されたイメージ特徴行列を取得する動作と、前記初期エンコーダの前記第２変形可能なアテンションモデルを用いて、前記融合されたイメージ特徴行列及び前記初期顔先験特徴行列に基づいて前記顔イメージのアップデートされた顔先験特徴を取得する動作と、前記アップデートされた顔先験特徴及び前記顔イメージの初期キーポイント座標に基づいて、前記顔イメージのキーポイント座標を予測する動作であって、前記顔イメージの初期キーポイント座標は、前記初期顔先験特徴行列に基づいて取得される、動作と、を含むことができる。
【０００８】
前記１つ以上のエンコーダのそれぞれは、第１ネットワーク、第２ネットワーク、及び第３ネットワークを含み、第１ネットワークは交差アテンションモデルを含み、第２ネットワークは第１変形可能なアテンションモデルを含み、第３ネットワークは第２変形可能なアテンションモデルを含み、前記顔イメージの超解像度イメージ及び／又は前記顔イメージのキーポイント座標を取得する動作は、前記超解像度イメージを生成する動作が行われる場合、前記１つ以上のエンコーダそれぞれに対して、現在エンコーダに対応するイメージ特徴行列及び顔先験特徴行列に基づいて、第１ネットワークを用いて現在エンコーダの融合されたイメージ特徴行列を取得する動作と、前記１つ以上のエンコーダが複数のエンコーダを含んだり、複数のエンコーダと追加エンコーダを含む場合、前記複数のエンコーダそれぞれに対して、前記現在エンコーダの融合されたイメージ特徴行列及び現在エンコーダに対応する顔先験特徴行列に基づいて、第２ネットワークを用いて前記現在エンコーダのアップデートされた顔先験特徴行列を取得する動作と、前記１つ以上のエンコーダそれぞれに対して、前記現在エンコーダの融合されたイメージ特徴行列に基づいて、第３ネットワークを用いて前記現在エンコーダのアップデートされたイメージ特徴行列を取得する動作と、前記キーポイント座標を生成する動作が行われる場合、前記１つ以上のエンコーダの最後のエンコーダのアップデートされたイメージ特徴行列及び前記顔イメージに基づいて、前記顔イメージの超解像度イメージを取得する動作及び／又は最後のエンコーダのアップデートされた顔先験特徴行列及び前記顔イメージの初期キーポイント座標に基づいて前記顔イメージのキーポイント座標を予測する動作とを含み、前記顔イメージの前記初期キーポイント座標は、前記初期顔先験特徴行列に基づいて取得され、前記現在エンコーダが１つ以上のエンコーダのうち初期エンコーダである場合、前記現在エンコーダに対応するイメージ特徴行列は前記初期イメージ特徴行列であり、前記現在エンコーダに対応する顔先験特徴行列は前記初期顔先験特徴行列であり、前記現在エンコーダが初期エンコーダでない場合、前記現在エンコーダに対応するイメージ特徴行列は、前記現在エンコーダの以前エンコーダのアップデートされたイメージ特徴行列であり、前記現在エンコーダに対応する顔先験特徴行列は、前記現在エンコーダの以前エンコーダのアップデートされた顔先験特徴行列である。
【０００９】
前記顔イメージの超解像度イメージ及び／又は前記顔イメージのキーポイント座標を取得する動作は、最後のエンコーダに対応するアップデートされたイメージ特徴行列に基づいて、アップサンプリング増幅ネットワークを用いて第１オフセットを求め、第１オフセットと前記顔イメージに基づいて前記超解像度イメージを取得する動作と、前記最後のエンコーダに対応するアップデートされた顔先験特徴行列に基づいて、キーポイント予測ネットワークを用いて第２オフセットを求め、第２オフセットと前記顔イメージの初期キーポイント座標に基づいて予測された前記顔イメージのキーポイント座標を取得する動作とを含むことができる。
【００１０】
前記１つ以上のエンコーダそれぞれの第１ネットワークは、レイヤ正規化モデル及びフィードフォワードネットワークモデルをさらに含み、前記現在エンコーダの融合されたイメージ特徴行列を取得する動作は、位置情報が内蔵されている現在エンコーダに対応するイメージ特徴行列、位置情報が内蔵されている現在エンコーダに対応する顔先験特徴行列、及び現在エンコーダに対応する顔先験特徴行列をそれぞれクエリベクトル、キーベクトル、及び値ベクトルとして交差アテンションモデルに入力し、カスケード（接続）された交差アテンションモデル、レイヤ正規化モデル、及びフィードフォワードネットワークモデルを介して現在エンコーダの融合されたイメージ特徴行列を取得する動作を含むことができる。
（【００１１】以降は省略されています）

関連特許