特許ウォッチ

公開番号2024001398
公報種別公開特許公報(A)
公開日2024-01-10
出願番号2022100004
出願日2022-06-22
発明の名称臨場感を維持しながらプライバシを保護するための映像処理方法
出願人国立大学法人徳島大学
代理人
主分類H04N 23/60 20230101AFI20231227BHJP(電気通信技術)
要約【課題】映像に写っている他人のプライバシを保護しつつも写真が有している臨場感を損なわない信号処理を提供する。
【解決手段】写真又はビデオの映像に写っている他人の顔である他人顔をこれとは別の顔である別顔に置き換えることによる。この場合、映像内の別顔を同一人物の顔、複数人物の顔、実在の人物の顔又はコンピュータグラフィックスで合成された顔とすることができる。さらに、顔のランドマークや表情、男女(性別)などの複数種類のパラメータを使いながら別顔に置き換えることによる。
【選択図】図1

特許請求の範囲【請求項１】
写真又はビデオの映像に写っている他人の顔である他人顔をこれとは別の顔である別顔に置き換えることを特徴とする映像処理方法。
続きを表示（約 690 文字）【請求項２】
顔のランドマーク、表情及び男女からなる群のうちから選択される二以上のパラメータを使いながら前記別顔に置き換えることを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記映像内の前記別顔が同一人物の顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
【請求項４】
前記映像内の前記別顔が複数人物の顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
【請求項５】
前記映像内の前記別顔が実在の人物の顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
【請求項６】
前記映像内の前記別顔がコンピュータグラフィックスで合成された顔であることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
【請求項７】
置き換えたことを明示する文章又はピクトグラムを前記映像に入れることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
【請求項８】
前記他人顔を所定画素数以下で写っている顔に制限することを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
【請求項９】
前記他人顔のうち特定の他人顔は置き換えないことを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
【請求項１０】
前記他人顔の顔の向きの検出を、前記他人顔毎に変えることを特徴とする請求項１～２のいずれか一項に記載の映像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像に写っている人の顔の処理に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
観光地など他人がいる場面で写真やビデオを撮影すると、他人の顔（以下、他人顔と略す）が映ってしまうことが多々ある。こういったときはプライバシという観点で問題を起こしたり、他人を不愉快にしたりすることがあるため、撮影することや撮影したことを他人に断る必要がある。しかし他人が大勢いるときに全員に断るのは現実的に不可能であるし、少ない時でもいちいち断るのは面倒である。技術的にこの課題を解決できるのが望ましい。この場合、その人の顔を映像に写すこと、その映像を加工や変更等すること、あるいは映像に写った顔を公表することについての承諾や権限などが得られていない人が、少なくともここにいう他人に該当する。
【０００３】
この課題に対して、他人顔をぼかしたり、黒塗りしたり、モザイクをかけるなどの処理が撮影後に多々されている。しかしこれらの処理は、せっかく撮影した写真やビデオが有しているその場の雰囲気を損なってしまうという問題がある。
【０００４】
そこで特許文献１では、顔の輪郭を抽出して、なるべく顔だけを処理することで、その場の雰囲気を損なわないようにしている。しかし、顔が黒塗りになるため雰囲気が損なわれていないとまでは言い難い。
【０００５】
特許文献２では、背景を記憶しておき、他人を背景に置き換えることで他人を消すように処理している。しかし他人が消えてしまうため雰囲気が損なわれていないとまでは言い難い。
【先行技術文献】
【特許文献】
【０００６】
特許第６５０４３６４号
特許第６４１９７４９号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明では、映像に写っている他人のプライバシを保護しつつも写真が有している臨場感を損なわない信号処理を提供する。
【課題を解決するための手段】
【０００８】
本発明は、写真やビデオ（これらに相当する画像その他イメージデータなどを含み、特に区別の必要が無い場合はまとめて「映像」と表記する。）を撮影した後に、映像に写っている人の顔（「他人顔」という。）をこれとは別の顔（「別顔」という。）に置き換えることで、その場の雰囲気を損なわずに、かつ他人のプライバシを保護することを特徴とする処理（画像処理方法）である。以下、本発明の態様について説明する。
〔１〕写真又はビデオの映像に写っている他人の顔である他人顔をこれとは別の顔である別顔に置き換えることを特徴とする処理。
〔２〕顔のランドマークや表情、男女（性別）などの複数種類のパラメータを使いながら別顔に置き換えることを特徴とする上記〔１〕に記載の処理。
〔３〕映像内の別顔が同一人物の顔であることを特徴とする上記〔１〕～〔２〕のいずれか一項に記載の処理。
〔４〕映像内の別顔が複数人物の顔であることを特徴とする上記〔１〕～〔２〕のいずれか一項に記載の処理。
〔５〕映像内の別顔が実在の人物の顔であることを特徴とする上記〔１〕～〔４〕のいずれか一項に記載の処理。
〔６〕映像内の別顔がコンピュータグラフィックスで合成された顔であることを特徴とする上記〔１〕～〔４〕のいずれか一項に記載の処理。
〔７〕置き換えたことを明示する文章又はピクトグラムを映像に入れることを特徴とする上記〔１〕～〔６〕のいずれか一項に記載の処理。
〔８〕他人顔を所定画素数以下で写っている顔に制限することを特徴とする上記〔１〕～〔７〕のいずれか一項に記載の処理。
〔９〕特定の他人顔は置き換えないことを特徴とする上記〔１〕～〔８〕のいずれか一項に記載の処理。
〔１０〕他人顔の向きの検出を、他人顔毎に変えることを特徴とする上記〔１〕～〔９〕のいずれか一項に記載の処理。
〔１１〕他人顔の向きの検出を、他人顔によって変えないことを特徴とする上記〔１〕～〔９〕のいずれか一項に記載の処理。
〔１２〕他人顔の向きの検出を、他人顔が映っている位置に応じて変えることを特徴とする上記〔１〕～〔９〕のいずれか一項に記載の処理。
〔１３〕２枚以上の時系列の写真又はビデオにおいて、同一人物の他人顔を置き換える際には、同一人物の別顔にすることを特徴とする上記〔１〕～〔１２〕のいずれか一項に記載の処理。
〔１４〕２枚以上の時系列の写真又はビデオにおいて、他人顔のランドマークや表情、男女などの複数種類のパラメータの変化を所定以下に制限することを特徴とする上記〔１〕～〔１３〕のいずれか一項に記載の処理。
〔１５〕立体視用の２枚以上の時系列の写真又は立体視用のビデオにおいて、同一人物の他人顔を置き換える際には、同一人物の別顔にすることを特徴とする上記〔１〕～〔１４〕のいずれか一項に記載の処理。
〔１６〕立体視用の２枚以上の時系列の写真、又は立体視用のビデオにおいて、他人顔のランドマークや表情、男女などの複数種類のパラメータの変化を所定以下に制限することを特徴とする上記〔１〕～〔１５〕のいずれか一項に記載の処理。
〔１７〕顔のランドマークや表情、男女などの複数種類のパラメータを使いながら別顔に置き換える際に、他人顔のパラメータと別顔のパラメータとの差が最小にならない別顔を選択することを特徴とする上記〔１〕～〔１６〕のいずれか一項に記載の処理。
〔１８〕上記〔１〕～〔１７〕のいずれか一項に記載の映像処理方法を用いる映像の作成方法。
【０００９】
本発明の態様について別の観点から説明する。本発明の処理は、別顔が映った映像群をまとめる手段と、別顔が映った映像群から別顔群を抽出する手段と、抽出した別顔群のパラメータを推定する手段と、撮影した映像から他人顔を抽出する手段と、抽出した他人顔のパラメータを推定する手段と、他人顔のパラメータと別顔群のパラメータとを比較して別顔群から別顔を選択する手段と、選択した別顔を使って他人顔を置き換える手段とを有する。さらに、別顔に置き換えたことを映像に表示する手段を有してもよい。より具体的には以下のようにする。
【００１０】
別顔が映った映像群をまとめる手段は、実際の人物の写真を集めておく、又はコンピュータグラフィックス（「ＣＧ」と略す。）によって作成した映像群を集めておく、又はＣＧによって随時作成する手段である。また、別顔が映った映像群から別顔群を抽出する手段は、コンピュータービジョン（「ＣＶ」と略す。）の技術などを使って抽出する手段である。抽出結果は長方形や立方体などである。また、抽出した別顔群のパラメータを推定する手段は、ＣＶの技術などを使って推定する手段である。顔のパラメータとしては、68点のランドマークや表情、男女判定などである。
（【００１１】以降は省略されています）

関連特許