特許ウォッチ

公開番号2024158439
公報種別公開特許公報(A)
公開日2024-11-08
出願番号2023073644
出願日2023-04-27
発明の名称処理装置、処理装置の制御方法、及びプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 5/265 20060101AFI20241031BHJP(電気通信技術)
要約【課題】映像に情報を重畳させる際、情報をより分かりやく視認させることが可能な処理装置を提供する。
【解決手段】処理装置であって、画像中における人体の領域を抽出する第1の抽出手段と、画像に所定の重畳情報を重畳させる重畳手段と、人体が所定の動作を行っているかどうかを判定し、判定結果を出力する第1の判定手段と、判定結果と、人体の領域と、所定の重畳情報とに基づいて、人体の領域と重なる所定の重畳情報の領域を重複領域として抽出する第2の抽出手段と、重複領域に応じて、所定の重畳情報の少なくとも一部の透明度を高くするよう変更する透明度変更手段と、を有する。
【選択図】図1

特許請求の範囲【請求項１】
画像中における人体の領域を抽出する第１の抽出手段と、
前記画像に所定の重畳情報を重畳させる重畳手段と、
前記人体が所定の動作を行っているかどうかを判定し、判定結果を出力する第１の判定手段と、
前記判定結果と、前記人体の領域と、前記所定の重畳情報とに基づいて、前記人体の領域と重なる前記所定の重畳情報の領域を重複領域として抽出する第２の抽出手段と、
前記重複領域に応じて、前記所定の重畳情報の少なくとも一部の透明度を高くするよう変更する透明度変更手段と、を有することを特徴とする処理装置。
続きを表示（約 910 文字）【請求項２】
前記重畳手段は、前記判定結果が、前記人体が前記所定の動作を行っていないと判定した結果であった場合、前記画像の透明度が変更されていない前記所定の重畳情報を重畳させることを特徴とする請求項１に記載の処理装置。
【請求項３】
前記第２の抽出手段は、前記判定結果が、前記人体が前記所定の動作を行っていると判定した結果であった場合、前記画像から前記重複領域を抽出することを特徴とする請求項１に記載の処理装置。
【請求項４】
前記透明度変更手段は、前記重複領域の透明度を変更することを特徴とする請求項１に記載の処理装置。
【請求項５】
前記画像から人体を検出し、検出した前記人体の骨格を推定し、推定結果を出力する推定手段を有し、
前記第１の判定手段は、前記推定手段が推定した前記推定結果に基づいて、前記人体が前記所定の動作を行っているか否かを判定することを特徴とする請求項１に記載の処理装置。
【請求項６】
前記第２の抽出手段は、前記重複領域を抽出する際、前記人体の一部の領域を重複領域として抽出することを特徴とする請求項５に記載の処理装置。
【請求項７】
前記所定の動作は、少なくとも腕を動かす動作であることを特徴とする請求項１に記載の処理装置。
【請求項８】
前記重畳手段が重畳した画像または映像を表示装置の画面上に表示させる表示制御手段を有することを特徴とする請求項１に記載の処理装置。
【請求項９】
前記人体が発話しているかどうかを音声情報に基づき判定する第２の判定手段を有し、
前記第２の判定手段は、前記人体が発話していると判定した場合、前記人体が音声による説明をしていると判定することを特徴とする請求項１に記載の処理装置。
【請求項１０】
前記第２の判定手段は、前記人体が発話していると判定した場合、第１の情報を出力し、前記人体が発話していないと判定した場合、第２の情報を出力することを特徴とする請求項９に記載の処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、処理装置、処理装置の制御方法、及びプログラムに関するものである。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
従来、講義シーンの自動撮影において人体を撮影している映像に人体が説明する情報を重畳（オーバレイ）して撮影することが増えてきている。このような場合、重畳した映像の背面が視認しにくくならないような工夫がされている。
【０００３】
特許文献１では、第１の映像（背景）に第２の映像（ＣＧの人や手話通訳者）を重畳するときに、第１の画像から抽出した画像情報を用いて、第２の映像の表示位置や透明度を制御することで、背景を視認しやすくしている。第１の画像から抽出した画像情報とは、番組情報から作成した顕著性マップ、人が注目する領域である。
【先行技術文献】
【特許文献】
【０００４】
特許第６０４６９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１では、第１の映像に第２の映像を重畳させる際、人体が説明動作をしている場合としていない場合とで、人体領域と重なる領域の透明度を変更することができない。そして、人体を撮影した映像（特許文献１でいう第１映像）に情報（特許文献１でいう第２映像）を重畳させた際に、重畳した映像における情報の視認が分かりにくくなってしまう場合がある。そのため、視聴者している人物が、重畳されている情報で人体が説明している内容の理解が進まなくなってしまう懸念がある。
【０００６】
そこで、本発明では、映像に情報を重畳させる際、情報をより分かりやく視認させることが可能な処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の一側面としての処理装置は、画像中における人体の領域を抽出する第１の抽出手段と、前記画像に所定の重畳情報を重畳させる重畳手段と、前記人体が所定の動作を行っているかどうかを判定し、判定結果を出力する第１の判定手段と、前記判定結果と、前記人体の領域と、前記所定の重畳情報とに基づいて、前記人体の領域と重なる前記所定の重畳情報の領域を重複領域として抽出する第２の抽出手段と、前記重複領域に応じて、前記所定の重畳情報の少なくとも一部の透明度を高くするよう変更する透明度変更手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、映像に情報を重畳させる際、情報をより分かりやく視認させることが可能な処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
実施形態１に係る自動撮影システムのブロック構成図である。
実施形態１に係る画像重畳装置のブロック構成図である。
実施形態１に係る人体の骨格推定結果を説明した図である。
実施形態１に係る人体の骨格推定結果を用いた人体の説明動作の判定方法を説明した図である。
実施形態１に係る人体が説明動作をしていないときに人体撮影映像に説明資料を重畳させる様子を説明した図である。
実施形態１に係る人体が説明動作をしているときに人体撮影映像に対して人体領域と重なる領域を透明化した説明資料を重畳させる様子を説明した図である。
実施形態１に係る人体が説明動作をしているときに人体撮影映像に対して人体が説明している腕の領域と重なる領域を透明化した説明資料を重畳させる様子を説明した図である。
実施形態１に係る人体が説明動作をしているときに人体撮影映像に対して人体の顔の領域と重なる領域を透明化した説明資料を重畳させる様子を説明した図である。
実施形態１に係る人体が説明動作をしていないときに人体撮影映像に説明資料を重畳させる様子を説明した図である。
実施形態１に係る自動撮影システムの処理手順を示すフローチャートである。
実施形態２に係る自動撮影システムのブロック構成図である。
実施形態２に係る人体が発話をしているときに人体撮影映像に対して人体の領域と重なる領域を透明化した説明資料を重畳させる様子を説明した図である。
実施形態２に係る人体の発話区間と資料領域の透明化区間を表した図である。
実施形態２に係る自動撮影システムの処理手順を示すフローチャートである。
実施形態３に係る自動撮影システムのブロック構成図である。
実施形態３に係る発話内容と説明資料の内容から説明領域を特定する説明図である。
実施形態３に係る自動撮影システムの処理手順を示すフローチャートである。
実施形態３に係る自動撮影システムの処理手順を示すフローチャートである。
実施形態４に係る自動撮影システムのブロック構成図である。
実施形態４に係る人体の説明動作から説明領域を特定する図である。
実施形態４に係る人体が説明動作をしたときに人体と説明領域が重なっていなかった場合の人体撮影映像に対して人体領域と重なる領域を透明化した説明資料を重畳させる様子を説明した図である。
実施形態４に係る人体が説明動作をしたときに人体と説明領域が重なっていた場合の人体撮影映像に対して説明領域に強調処理をした説明資料を重畳させる様子を説明した図である。
実施形態４に係る人体が発話による説明をしたときに人体と説明領域が重なっていた場合の人体撮影映像に対して説明領域に強調処理をした説明資料を重畳させる様子を説明した図である。
実施形態４に係る自動撮影システムの処理手順を示すフローチャートである。
実施形態４に係る自動撮影システムの処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は調整されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
（【００１１】以降は省略されています）

関連特許