特許ウォッチ

公開番号2025140268
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024039559
出願日2024-03-14
発明の名称映像処理装置、方法及びプログラム
出願人NTT株式会社,国立大学法人筑波大学
代理人弁理士法人アイル知財事務所
主分類G06T 7/10 20170101AFI20250919BHJP(計算;計数)
要約【課題】本開示は、処理遅延を抑制しつつ、検出対象でない画像を目的の物体の画像であると誤って判定してしまうことを抑制することが可能な映像処理装置を提供することを目的とする。
【解決手段】映像処理装置10は、入力画像が入力される入力部11と、指定した記憶画像を記憶するデータベース13と、前記入力画像の任意の画素と前記記憶画像における前記任意の画素に関連付けられる画素とを比較し、前記比較の結果と前記任意の画素の周辺の画素の画素値とに基づいて、所定範囲の画素値を有する前記任意の画素を検出対象画素であると判定する、判定処理部12と、を備える。
【選択図】図2

特許請求の範囲【請求項１】
入力画像が入力される入力部と、
指定した記憶画像を記憶する記憶部と、
前記入力画像の任意の画素と前記記憶画像における前記任意の画素に関連付けられる画素とを比較し、前記比較の結果と前記任意の画素の周辺の画素の画素値とに基づいて、所定範囲の画素値を有する前記任意の画素を検出対象画素であると判定する、判定処理部と、
を備える映像処理装置。
続きを表示（約 2,300 文字）【請求項２】
前記判定処理部は、
前記入力画像の任意の画素の画素値と前記記憶画像の前記任意の画素に関連付けられる画素の画素値との差分を算出し、
前記差分、及び、前記任意の画素を含む入力画像において前記任意の画素に近接する画素の画素値、前記任意の画素を含む入力画像とは異なる入力画像における前記任意の画素に関連する位置に位置する画素の画素値、又は、前記異なる入力画像における前記任意の画素に関連する位置に近接して位置する画素の画素値に基づいて、所定の範囲の画素値を有する前記任意の画素を検出対象画素であると判定する、
請求項１に記載の映像処理装置。
【請求項３】
前記判定処理部は、前記任意の画素が検出対象画素であるかを判定するにあたり、
前記差分と第１の閾値とを比較し、
前記差分が前記第１の閾値との関係で所定の条件を満たす場合に、検出対象画素である又は検出対象画素でないと判断し、
前記差分が前記第１の閾値との関係で前記所定の条件を満たさない場合において、
近接する画素が検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定されていた場合に、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素を、前記近接する画素の判定に合わせるように検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定し、
近接する画素が検出対象画素である及び検出対象画素でないのいずれか他方を満たすと判定されていた場合に、前記第１の閾値とは異なる第２の閾値と前記差分とを比較することにより、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素が検出対象画素であるか否かを判定する、
請求項２に記載の映像処理装置。
【請求項４】
前記判定処理部は、
前記差分が前記第１の閾値との関係で前記所定の条件を満たさない場合において、
前記任意の画素に対する検出対象画素か否かの判定の前に近接する画素が検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定されていた場合に、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素を、前記近接する画素の判定に合わせるように検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定し、
前記任意の画素に対する検出対象画素か否かの判定の前に近接する画素が検出対象画素である及び検出対象画素でないのいずれか他方を満たすと判定されていた場合に、前記第１の閾値とは異なる前記第２の閾値と前記差分とを比較することにより、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素が検出対象画素であるか否かを判定する、
請求項３に記載の映像処理装置。
【請求項５】
前記判定処理部は、
前記差分が前記第１の閾値との関係で前記所定の条件を満たさない場合において、
前記任意の画素に対する検出対象画素か否かの判定の前に近接する複数の画素が連続して検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定されていた場合に、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素を、前記近接する複数の画素の判定に合わせるように検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定し、
前記任意の画素に対する検出対象画素か否かの判定の前に近接する複数の画素が連続して検出対象画素である及び検出対象画素でないのいずれか他方を満たすと判定されていた場合に、前記第１の閾値とは異なる前記第２の閾値と前記差分とを比較することにより、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素が検出対象画素であるか否かを判定する、
請求項３に記載の映像処理装置。
【請求項６】
前記判定処理部は、
前記差分が前記第１の閾値との関係で前記所定の条件を満たさない場合において、
前記任意の画素の上部の複数の画素が連続して検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定されていた場合に、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素を前記上部の複数の画素の判定に合わせるように検出対象画素である及び検出対象画素でないのいずれか一方を満たすと判定し、
前記任意の画素の上部の複数の画素が連続して検出対象画素である及び検出対象画素でないのいずれか他方を満たすと判定されていた場合に、前記第１の閾値とは異なる前記第２の閾値と前記差分とを比較することにより、前記差分が前記第１の閾値との関係で前記所定の条件を満たさない画素が検出対象画素であるか否かを判定する、
請求項３に記載の映像処理装置。
【請求項７】
入力画像が入力される入力部、指定した記憶画像を記憶する記憶部、及び、判定処理部を備える映像処理装置が実行する映像処理方法であって、
前記判定処理部が、
前記入力画像の任意の画素と前記記憶画像における前記任意の画素に関連付けられる画素とを比較すること、
前記比較の結果と前記任意の画素に近接する画素の画素値とに基づいて、所定範囲の画素値を有する前記任意の画素を検出対象画素であると判定すること、
を含む映像処理方法。
【請求項８】
請求項１から６のいずれか一項に記載の映像処理装置に備わる各機能部としてコンピュータを実現させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像から目的の部分を切り抜く映像処理方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
リアルタイムの映像音声を用いたコミュニケーションには、映像から人物などの物体を抽出したり切り抜いたりする映像処理が重要である。そこで、従来より、Ｗｅｂ会議などで使用されるリアルタイムの映像音声を用いたコミュニケーションツールにおいて、目的の物体の映像を背景から切り抜いて、別の背景と合成する技術が用いられている。このようなコミュニケーションツールでは、適切な背景などと合成することで、より円滑なコミュニケーションを可能としている。
【０００３】
また、特にリアルタイム性が求められる映像音声コミュニケーションでは、その映像音声を用いたコミュニケーションのリアルタイム性の要件を満たす処理時間内に映像音声処理を実行することが必要となる。例えば、遠隔合奏では、２４０ＢＰＭ（ｂｅａｔｐｅｒｍｉｎｕｔｅ）の曲で、１拍あたり１／１０程度のずれまでが許容されると仮定すると、１拍の時間は６０秒／２４０ＢＰＭ＝０．２５秒であり、その１／１０である０．０２５秒、すなわち２５ミリ秒程度のずれが許容限度となる。
【０００４】
当該処理時間には、カメラの撮影時間、カメラ内部での処理時間、ネットワークでの伝送時間、コミュニケーションシステム自体の映像音声処理時間等のすべてが含まれる。したがって、物体抽出や切り抜き処理に利用することができる時間は、数ミリ秒以下に限定される。
【０００５】
例えば、非特許文献１には、画像を認識するための手法として、領域や境界の情報に基づいて画像を分割する画像セグメンテーションの手法が開示されている。また、非特許文献２には、画像セグメンテーションの一環として、ファジー理論、ディープラーニング、遺伝的アルゴリズムなどの人間の思考を模す手法が開示されている。
【０００６】
また、非特許文献３には、人物写真の背景を抽出したうえで削除し別の背景を合成する切り抜き精度の高い、ＭＯＤＮｅｔによる切り抜き手法が開示されている。具体的には、非特許文献３では、前景画像（目的の物体の画像）と背景画像との分離に用いるマスク画像を用いて、前景画像を切り抜く。さらに、非特許文献４には、入力画像の画素値とあらかじめ用意した背景画像の画素値とを比較して特定の画素値を有する画素を抽出する背景差分法が開示されている。
【先行技術文献】
【非特許文献】
【０００７】
Ｆｒｅｉｘｅｎｅｔ，Ｊｏｒｄｉ，ｅｔａｌ． “ＹｅｔＡｎｏｔｈｅｒＳｕｒｖｅｙｏｎＩｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎ：ＲｅｇｉｏｎａｎｄＢｏｕｎｄａｒｙＩｎｆｏｒｍａｔｉｏｎＩｎｔｅｇｒａｔｉｏｎ． ”Ｅｕｒｏｐｅａｎｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇ，２００２．
Ｃｈｏｕｈａｎ，ＳｉｄｄｈａｒｔｈＳｉｎｇｈ，ＡｊａｙＫａｕｌ，ａｎｄＵｄａｙＰｒａｔａｐＳｉｎｇｈ． “Ｓｏｆｔｃｏｍｐｕｔｉｎｇａｐｐｒｏａｃｈｅｓｆｏｒｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎ：ａｓｕｒｖｅｙ” ＭｕｌｔｉｍｅｄｉａＴｏｏｌｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ７７．２１（２０１８）：２８４８３－２８５３７
Ｚ．Ｋｅｅｔａｌ．， “Ｍｏｄｎｅｔ：Ｒｅａｌ－ＴｉｍｅＴｒｉｍａｐ－ＦｒｅｅＰｏｒｔｒａｉｔＭａｔｔｉｎｇｖｉａＯｂｊｅｃｔｉｖｅＤｅｃｏｍｐｏｓｉｔｉｏｎ，” ｖｏｌ．３６，ｐｐ．１１４０-１１４７，Ｊｕｎ．２０２２．インターネット＜ｈｔｔｐｓ：／／ｏｊｓ．ａａａｉ．ｏｒｇ／ｉｎｄｅｘ．ｐｈｐ／ＡＡＡＩ／ａｒｔｉｃｌｅ／ｖｉｅｗ／１９９９９＞
Ｊ．Ｍｏｒｉｔａ，Ｙ．Ｉｗａｉ，ａｎｄＭ．Ｙａｃｈｉｄａ， “Ｓｅｐａｒａｔｉｏｎｏｆｂａｃｋｇｒｏｕｎｄａｎｄｏｂｊｅｃｔｉｎａｎｉｎｄｏｏｒｓｃｅｎｅ” ＩＰＳＪＳＩＧＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＭｅｄｉａ，ｖｏｌ．３４（２００２－ＣＶＩＭ－１３３），ｐｐ．９-１６，Ｍａｙ２００２．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献３に示されるＭＯＤＮｅｔで前景画像を切り抜く場合には、あらかじめ入力画像を学習モデルに入力してマスク画像を生成する必要がある。そのうえでマスク画像を使用して前景画像を抽出し、オリジナル画像、前景画像及びマスク画像を連結する。このように非特許文献３の技術では、複数の処理が必要となるとともに各処理間の連結処理も必要となる（前処理・後処理・処理前後の連結処理）。このため、上記のように物体抽出や切り抜き処理に利用することのできる時間は数ミリ秒以下であるところ、非特許文献３に示される方法では最低でも３フレーム以上の遅延（６０ｆｐｓで５０ｍｓ以上）が発生してしまう。
【０００９】
一方、非特許文献４に示される背景差分法によれば比較的処理遅延を小さくすることはできるが、画素値を比較するため、影、照明、太陽光等の光の影響を受け、抽出する範囲を誤ってしまう可能性がある。
【００１０】
このため、映像から目的の物体を抽出する映像処理において、処理遅延を抑制しつつ、
検出対象でない画像を目的の物体の画像であると誤って判定してしまうことを抑制することが望まれていた。
（【００１１】以降は省略されています）

関連特許