TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2019161482
公報種別公開特許公報(A)
公開日20190919
出願番号2018046731
出願日20180314
発明の名称携帯端末および画像送信方法
出願人パナソニックIPマネジメント株式会社
代理人特許業務法人鷲田国際特許事務所,個人
主分類H04M 1/00 20060101AFI20190823BHJP(電気通信技術)
要約【課題】撮影する画像を、室内親機のディスプレイに大きく表示できる携帯端末を提供する。
【解決手段】玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末は、カメラと、カメラで撮影される画像に含まれる顔を検出する検出部と、検出された顔を含むように画像の一部を切り出して切り出し画像を生成する切り出し部と、切り出し画像を室内親機に送信する通信部と、を有する。
【選択図】図3
特許請求の範囲約 710 文字を表示【請求項1】
玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末であって、
カメラと、
前記カメラで撮影される画像に含まれる顔を検出する検出部と、
検出された前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、
前記切り出し画像を前記室内親機に送信する通信部と、
を有する携帯端末。
【請求項2】
前記切り出し部は、前記切り出し画像が正方形状となるように前記画像の一部を切り出す、
請求項1に記載の携帯端末。
【請求項3】
前記切り出し部は、前記切り出し画像の一辺が、前記画像の短手方向の幅に一致するように前記切り出し画像を生成する、
請求項2に記載の携帯端末。
【請求項4】
前記切り出し画像を表示するディスプレイ、をさらに有する、
請求項1から3のいずれか一項に記載の携帯端末。
【請求項5】
前記通信部は、前記室内親機で撮影される室内親機画像を受信し、
前記室内親機画像を表示するディスプレイ、をさらに有する、
請求項1から4のいずれか一項に記載の携帯端末。
【請求項6】
玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末の画像送信方法であって、
カメラが撮影する画像に含まれる顔を検出し、
検出した前記顔を含むように前記画像の一部を切り出し、
前記画像から切り出した切り出し画像を、前記室内親機に送信する、
画像送信方法。

発明の詳細な説明約 21,000 文字を表示【技術分野】
【0001】
本開示は、携帯端末および画像送信方法に関する。
【背景技術】
【0002】
従来、玄関への来訪者の確認を、玄関扉の近傍に配置された玄関子機を介して、室内の室内親機から行う事ができるドアホンシステムが、広く普及している。また、近年、室内親機に通信機能を設け、来訪者の確認をスマートフォン等の携帯可能な携帯端末から行う技術が注目されている。
【0003】
例えば、特許文献1には、玄関子機を介した来訪者の呼出操作に応じて、親機を介して、玄関子機と携帯端末とを接続し、携帯端末による来訪者への対応を携帯端末から行うインターホンシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
特開2011−135221号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、将来のドアホンシステムでは、室内親機と、スマートフォン等の携帯端末との間で、ビデオ通話が行われることが想定される。
【0006】
しかしながら、携帯端末のインカメラで自分を撮影し、その画像を室内親機に送信して室内親機のディスプレイに表示する場合、携帯端末で撮影した姿が小さく表示されるという問題がある。
【0007】
例えば、スマートフォンを縦向きにし、インカメラで自分を撮影した場合、画像は縦長となる。室内親機のディスプレイは、通常、横方向に長く、縦長の画像をそのまま室内親機に送信して、ディスプレイに表示すると、横方向に多くの余白が生じる。この余白分、室内親機のディスプレイに表示される画像は、小さくなる。
【0008】
本開示の非限定的な実施例は、携帯端末で撮影する画像を室内親機に大きく表示できる携帯端末および画像送信方法の提供に資する。
【課題を解決するための手段】
【0009】
本開示の一態様に係る携帯端末は、玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末であって、カメラと、前記カメラで撮影される画像に含まれる顔を検出する検出部と、検出された前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、前記切り出し画像を前記室内親機に送信する通信部と、を有する。
【0010】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0011】
本開示の一態様によれば、携帯端末で撮影する画像を室内親機に大きく表示できる。
【0012】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0013】
本開示の実施の形態に係るドアホンシステムの一例を示した図
室内親機のディスプレイの表示例を説明する図
画像の切り出し例を説明する図
スマートフォンを横向きにした場合であって、切り出し処理を行わない場合の室内親機のディスプレイの表示例を説明する図
スマートフォンを横向きにした場合であって、切り出し処理を行う場合の室内親機のディスプレイの表示例を説明する図
切り出し範囲の移動を説明する図
スマートフォンのブロック構成例を示した図
制御部のブロック構成例を示した図
室内親機のブロック構成例を示した図
スマートフォンのディスプレイと室内親機のディスプレイの表示例を示した図
スマートフォンのディスプレイと室内親機のディスプレイの別の表示例を示した図
ドアホンシステムの動作例を示したシーケンス図
ドアホンシステムの動作例を示したシーケンス図
スマートフォンの画像切り出し動作例を示したフローチャート
予め決められた切り出し範囲の位置を説明する図
予め決められた切り出し範囲の位置を説明する図
予め決められた切り出し範囲の位置を説明する図
【発明を実施するための形態】
【0014】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0015】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0016】
図1は、本開示の実施の形態に係るドアホンシステムの一例を示した図である。図1に示すように、ドアホンシステムは、スマートフォン1と、建物A1の室内に配置される室内親機2と、建物A1玄関扉の近傍に配置される玄関子機3と、無線ルータ4と、を有する。建物A1は、例えば、子供とその親とが居住する住居である。
【0017】
スマートフォン1は、例えば、建物A1の居住者が所有する携帯端末である。例えば、建物A1に居住する親が、スマートフォン1を所有している。なお、携帯端末は、通話機能、カメラ、およびディスプレイを備え、ネットワーク5に接続できる端末であれば、スマートフォン1に限定されない。すなわち、携帯端末は、ビデオ通話が可能な端末であればよい。
【0018】
スマートフォン1と室内親機2は、ネットワーク5を介して、ビデオ通話を行うことができる。ネットワーク5は、例えば、携帯電話やWiMAX、WiFi等の無線通信ネットワークおよびインターネット等を含むネットワークである。
【0019】
室内親機2は、建物A1の室内に配置される無線ルータ4を介して、ネットワーク5に接続する。室内親機2は、無線通信または有線ケーブルによって無線ルータ4と接続される。また、室内親機2は、玄関子機3と有線ケーブルによって接続される。なお、室内親機2は、玄関子機3と無線接続されてもよい。さらに、各装置間の接続が有線ケーブルによってなされる場合は、有線ケーブルによる接続のみが可能なルータを、無線ルータ4の代わりに用いてもよい。
【0020】
玄関子機3は、室内親機2と音声通話をすることできる。これにより、建物A1の居住者は、例えば、室内に居ながらにして、玄関先の訪問者と通話をすることができる。なお、玄関子機3は、カメラを備えていてもよい。この場合、建物A1の居住者は、例えば、訪問者の様子を見ながら通話できる。
【0021】
ところで、小さな子供は、一般的にスマートフォン等の携帯端末を所有していない場合が多い。そのため、例えば、建物A1で留守番をしている子供は、外出している親と連絡を取ることが難しい。
【0022】
このような状況に対し、図1に示すドアホンシステムでは、スマートフォン1と室内親機2は、ネットワーク5を介してビデオ通話をすることができる。従って、例えば、建物A1で留守番をしている子供は、室内親機2を用いて、外出中の親とビデオ通話をすることができる。
【0023】
スマートフォン1を使用する親は、建物A1で留守番している子供とビデオ通話をするとき、自分の姿を撮影するのに、スマートフォン1のインカメラを用いることが多い。インカメラを用いて自分を撮影する場合、スマートフォン1は、縦向きに(長手方向が垂直方向を向くように)所持される場合が多い。そのため、スマートフォン1のインカメラが撮影する画像は、縦長となる。
【0024】
一方、室内親機2のディスプレイは、一般的に横長であることが多い。そのため、室内親機2の横長のディスプレイに、スマートフォン1から送信された縦長の画像を表示すると、スマートフォン1の画像は、小さく表示される。
【0025】
図2は、室内親機2のディスプレイの表示例を説明する図である。図2には、図1のスマートフォン1と、室内親機2と、ネットワーク5と、が示してある。
【0026】
スマートフォン1の使用者(例えば、外出中の親)は、インカメラで自分を撮影している。スマートフォン1のディスプレイには、図2に示すように、スマートフォン1の使用者が縦長に表示される。
【0027】
スマートフォン1は、インカメラが撮影する画像を、ネットワーク5を介して、室内親機2に送信する。室内親機2は、図2に示すように、スマートフォン1から送信された画像をディスプレイに表示する。
【0028】
室内親機2のディスプレイは、横長である。これに対し、スマートフォン1のインカメラで撮影される画像は、縦長である。そのため、スマートフォン1の縦長の画像を、横長の室内親機2のディスプレイに表示すると、図2の室内親機2のディスプレイに示すように、スマートフォン1の画像は、小さく表示される。
【0029】
例えば、室内親機2は、スマートフォン1から送信された縦長の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン1から送られた画像を拡大または縮小して表示する。この場合、図2の余白A11a,A11bに示すように、室内親機2のディスプレイの横方向には、多くの余白が生じ、スマートフォン1の画像は、小さく表示される。
【0030】
そこで、スマートフォン1は、インカメラで撮影される画像の一部を切り出す。そして、スマートフォン1は、切り出した画像(以下、切り出し画像と呼ぶことがある)を、ネットワーク5を介して、室内親機2に送信する。
【0031】
図3は、画像の切り出し例を説明する図である。図3には、図1のスマートフォン1と、室内親機2と、ネットワーク5と、が示してある。
【0032】
スマートフォン1は、インカメラが撮影する画像を一部切り出す。例えば、スマートフォン1は、図3の点線で示す切り出し範囲A12に示すように、インカメラが撮影する画像を、正方形状(略正方形状を含む、以下同じ)に切り出す。このとき、スマートフォン1は、画像を切り出す正方形状の枠(切り出し範囲A12)の横幅が、インカメラが撮影する画像の横幅に一致するように画像の一部を切り出す。言い換えれば、正方形状の切り出し範囲A12の一辺の長さは、スマートフォン1のディスプレイの短手方向の幅(インカメラが撮影する画像の短手方向の幅)に一致している。
【0033】
また、スマートフォン1は、画像を切り出す際、インカメラが撮影する人物の顔を判定する。スマートフォン1は、判定した顔が切り出し範囲A12の中央に位置するように、切り出し範囲A12の位置を制御する。
【0034】
なお、切り出し範囲A12の横幅は、上記したように、インカメラが撮影する画像の横幅に一致する。従って、スマートフォン1は、上下方向において、判定した顔が切り出し範囲A12の中央に位置するように、切り出し範囲A12の位置を制御する。言い換えれば、切り出し範囲A12は、スマートフォン1のディスプレイの長手方向(図面上下方向)に動き、短手方向(図面左右方向)には動かない。
【0035】
スマートフォン1は、切り出した画像を、ネットワーク5を介して、室内親機2に送信する。室内親機2は、図3に示すように、スマートフォン1から送信された画像をディスプレイに表示する。
【0036】
室内親機2のディスプレイは、横長である。これに対し、インカメラで撮影される画像は、正方形である。そのため、スマートフォン1から送信された正方形状の画像を、横長の室内親機2のディスプレイに表示すると、図3の室内親機2のディスプレイに示すように、スマートフォン1の画像は、図2に示した室内親機2の画像より大きく表示される。
【0037】
例えば、室内親機2は、スマートフォン1から送信された正方形状の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン1から送られた画像を拡大または縮小して表示する。この場合、室内親機2のディスプレイの横方向の余白A13a,A13bは、図2の余白A11a,A11bより小さくなり、スマートフォン1の画像は、図2に示した室内親機2の画像より大きく表示される。
【0038】
このように、スマートフォン1は、インカメラが撮影する画像に含まれる顔を判定し、判定した顔を含むように画像の一部を切り出す。そして、スマートフォン1は、切り出した画像を、ネットワーク5を介して、室内親機2に送信する。これにより、室内親機2のディスプレイには、スマートフォン1が撮影する画像が大きく表示される。
【0039】
スマートフォン1の使用者は、スマートフォン1を横向きにして撮影することも考えられる。この場合、スマートフォン1の画像は、画像が切り出されなくても、室内親機2のディスプレイに大きく表示されることが可能である。
【0040】
図4は、スマートフォン1を横向きにした場合であって、切り出し処理を行わない場合の室内親機2のディスプレイの表示例を説明する図である。図4には、図1のスマートフォン1と、室内親機2と、ネットワーク5と、が示してある。
【0041】
スマートフォン1の使用者は、スマートフォン1を横向きにし、インカメラで自分を撮影している。スマートフォン1のディスプレイには、図4に示すように、スマートフォン1の使用者が横長に表示される。
【0042】
スマートフォン1は、インカメラが撮影する画像を、ネットワーク5を介して、室内親機2に送信する。室内親機2は、図4に示すように、スマートフォン1から送信された画像をディスプレイに表示する。
【0043】
室内親機2のディスプレイは、横長である。インカメラで撮影される画像も、横長である。そのため、スマートフォン1の画像は、図4の室内親機2のディスプレイに示すように、大きく表示される。
【0044】
しかし、スマートフォン1が、図3で説明した画像の切り出し処理を行わない場合、室内親機2のディスプレイに表示される画像は、使用者を撮影するスマートフォン1の向き(縦向きまたは横向き)によって変わる。
【0045】
例えば、図2で説明したように、スマートフォン1を縦向きにして使用者を撮影した場合、室内親機2のディスプレイの横方向には、多くの余白が生じる。一方、図4で説明したように、スマートフォン1を横向きにして使用者を撮影した場合、室内親機2のディスプレイの横方向には、余白が生じない(または余白が少ない)。
【0046】
すなわち、画像の切り出し処理を行わない場合、室内親機2のディスプレイに表示される画像は、スマートフォン1の撮影方向(縦向きまたは横向き)によって、大きくなったり小さくなったりして、統一感がない。
【0047】
これに対し、図3で示した画像の切り出し処理を行う場合、室内親機2のディスプレイに表示される画像の大きさは、スマートフォン1の撮影方向に関わらず一定となり、統一感がある。
【0048】
図5は、スマートフォン1を横向きにした場合であって、切り出し処理を行う場合の室内親機2のディスプレイの表示例を説明する図である。図5には、図1のスマートフォン1と、室内親機2と、ネットワーク5と、が示してある。
【0049】
スマートフォン1は、図3で説明した画像の切り出し方法と同様の方法によって、インカメラが撮影した画像を切り出す。図5の点線で示す切り出し範囲A14は、図3で説明した切り出し範囲A12と同様に正方形状を有している。正方形状の切り出し範囲A14の一辺の長さは、スマートフォン1のディスプレイの短手方向の幅(インカメラが撮影する画像の短手方向の幅)に一致している。つまり、図3で説明した切り出し範囲A12と、図5に示す切り出し範囲A14は、同じ形状および大きさを有している。
【0050】
従って、スマートフォン1を横向きにして撮影した場合の、室内親機2のディスプレイに表示される画像の大きさと、スマートフォン1を縦向きにして撮影した場合の、室内親機2のディスプレイに表示される画像の大きさは、同じになる。これにより、室内親機2のディスプレイに表示される画像の大きさは、スマートフォン1の向きに関わらず一定となり、統一感がある。
【0051】
なお、正方形状の切り出し範囲A14は、図3に示した切り出し範囲A12と同様に、スマートフォン1のディスプレイの長手方向(図面左右方向)に動き、短手方向(図面上下方向)には動かない。
【0052】
画像の切り出し範囲の中心を、インカメラで撮影される顔の位置に直ぐに追従させると、背景が細かく動き、画像が見づらくなる場合がある。例えば、スマートフォン1の使用者は、スマートフォン1を手に持って自分自身を撮影する。手振れによって、撮影する顔の移動量が大きくなる場合があり、その移動量に合わせて切り出し範囲を移動させると、背景が素早く動いて、画像が見づらくなる場合がある。
【0053】
そこで、スマートフォン1は、撮影する顔の移動量が所定量以上の場合(例えば、単位時間における顔の移動距離が大きい場合)、切り出し範囲を顔の移動に追従させる。言い換えれば、スマートフォン1は、撮影する顔の移動量が所定量以上でない場合、切り出し範囲を動かさない。
【0054】
図6は、切り出し範囲の移動を説明する図である。図6には、図1に示したスマートフォン1と、室内親機2と、が示してある。
【0055】
図6の矢印D1,D2に示すスマートフォン1には、インカメラが撮影する人物が大きく移動した様子を示している。スマートフォン1のインカメラが撮影する画像は、図6の矢印D1に示すスマートフォン1から、矢印D2に示すスマートフォン1に示すように変化したとする。また、矢印D1,D2に示すスマートフォン1のインカメラが撮影する画像の顔の移動量は、所定量以上であるとする。
【0056】
図6の矢印D11〜D14に示すスマートフォン1には、切り出し範囲A15の動きが示してある。切り出し範囲A15は、図3で説明した切り出し範囲A12と同様であり、顔を中心にして、正方形状で画像を切り出す。図6の矢印D11に示すスマートフォン1の画像は、矢印D1のスマートフォン1の画像に対応している。図6の矢印D12に示すスマートフォン1の画像は、矢印D2のスマートフォン1の画像に対応している。
【0057】
スマートフォン1のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲A15は、図6の矢印D12〜D14に示すように、顔の移動量より小さい移動量で移動する。言い換えれば、切り出し範囲A15は、顔の移動速度より遅い速度で移動する。
【0058】
例えば、図6の矢印D12のスマートフォン1に示すように、顔の位置が、所定の移動量を超えて下方に移動したとする。この場合、切り出し範囲A15は、顔の動きに直ちに追従するのではなく、図6の矢印D13および矢印D14のスマートフォン1に示すように、顔の位置が徐々に中心に来るよう移動する。
【0059】
図6の矢印D21〜D24に示す室内親機2には、矢印D1,D2に示すスマートフォン1で撮影された画像がディスプレイに表示された様子を示している。上記したように、スマートフォン1のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲A15は、顔の移動量より小さい移動量で移動する。スマートフォン1は、小さい移動量で移動する切り出し範囲A15で切り出した画像を室内親機2に送信する。従って、図6の切り出し範囲A15で切り出された画像は、図6の矢印D21〜D24に示す4つの室内親機2のディスプレイに示すように、表示される。
【0060】
図7は、スマートフォン1のブロック構成例を示した図である。図7に示すように、スマートフォン1は、通信部11と、記憶部12と、制御部13と、音声処理部14と、画像処理部15と、ディスプレイ16と、操作部17と、マイクロフォン18と、スピーカ19と、インカメラ20と、アウトカメラ21と、を有している。
【0061】
通信部11は、無線通信回路を有し、無線通信回線によりネットワーク5を構成している無線基地局(図示せず)に接続する。そして、通信部11は、ネットワーク5を介して、室内親機2に接続する。通信部11は、室内親機2から送信されたデータを受信して、制御部13に出力する。また、通信部11は、制御部13から出力されたデータを室内親機2に送信する。
【0062】
記憶部12には、制御部13が動作するためのプログラムが記憶される。また、記憶部12には、制御部13が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。
【0063】
制御部13は、例えば、CPU(Central Processing Unit)で構成され、接続されている各部を制御する。
【0064】
音声処理部14は、制御部13から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ19へ出力する。また、音声処理部14は、マイクロフォン18から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部13へ出力する。
【0065】
画像処理部15は、インカメラ20およびアウトカメラ21から出力されるデジタル映像データを制御部13へ出力する。画像処理部15は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。
【0066】
ディスプレイ16は、スマートフォン1の正面側に設けられている。ディスプレイ16は、例えば、液晶ディスプレイであり、制御部13から出力されるデジタル映像データに基づいて映像を表示する。
【0067】
操作部17は、例えば、ディスプレイ16に重畳されるタッチパネルおよび各種ボタンを含む。操作部17は、使用者(例えば、スマートフォン1の使用者)の操作を受付け、使用者の操作内容を示す操作情報を制御部13へ出力する。
【0068】
マイクロフォン18は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部14に出力する。
【0069】
スピーカ19は、音声処理部14から出力されるアナログ音声信号を、音声に変換して出力する。
【0070】
インカメラ20は、スマートフォン1の正面側に設けられている。インカメラ20は、撮影した画像データを画像処理部15に出力する。
【0071】
アウトカメラ21は、スマートフォン1の背面側に設けられている。アウトカメラ21は、撮影した画像データを画像処理部15に出力する。
【0072】
図8は、制御部13のブロック構成例を示した図である。図8に示すように、制御部13は、画像取り込み部31と、顔検出部32と、移動量算出部33と、切り出し部34と、を有している。
【0073】
画像取り込み部31は、インカメラ20が撮影した画像(動画像)データを、画像処理部15から取り込む。
【0074】
顔検出部32は、画像取り込み部31が取り込んだ画像データに含まれる顔を検出する。顔検出部32は、検出した顔の位置(例えば、顔の中心座標)や顔のサイズを検出する。顔検出部32の機能は、一般的な顔認証技術を用いて実現できる。
【0075】
移動量算出部33は、顔検出部32によって検出された顔の位置の移動量を算出する。
【0076】
切り出し部34は、画像を切り出す切り出し範囲の中央に、顔検出部32によって検出された顔が位置するように、切り出し範囲を移動する。そして、切り出し部34は、画像を切り出し範囲で切り出し、切り出し画像を生成する。例えば、切り出し部34は、図3および図5で説明したように、正方形状の切り出し範囲で画像を切り出し、切り出し画像を生成する。
【0077】
切り出し部34は、画像を切り出す際、移動量算出部33によって算出された顔の移動量が所定量以上の場合に、切り出し範囲を、顔の位置が中心に来るように移動させる。例えば、切り出し部34は、図6で説明したように、切り出し範囲を、顔の移動量より小さい移動量で、顔の位置が徐々に中心に来るよう移動させる。
【0078】
図9は、室内親機2のブロック構成例を示した図である。図9に示すように、室内親機2は、通信部41,48と、記憶部42と、制御部43と、音声処理部44と、画像処理部45と、ディスプレイ46と、操作部47と、マイクロフォン49と、スピーカ50と、カメラ51と、を有している。図9には、玄関子機3と無線ルータ4も示してある。
【0079】
通信部41は、無線通信回路を有し、無線通信回線により無線ルータ4に接続する。そして、通信部41は、無線ルータ4およびネットワーク5を介して、スマートフォン1に接続する。通信部41は、スマートフォン1から送信されたデータを受信して、制御部43に出力する。また、通信部41は、制御部43から出力されたデータをスマートフォン1に送信する。
【0080】
記憶部42には、制御部43が動作するためのプログラムが記憶される。また、記憶部12には、制御部43が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。
【0081】
制御部43は、例えば、CPUで構成され、接続されている各部を制御する。
【0082】
音声処理部44は、制御部43から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ50へ出力する。また、音声処理部44は、マイクロフォン49から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部43へ出力する。
【0083】
画像処理部45は、カメラ51から出力されるデジタル映像データを制御部43へ出力する。画像処理部45は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。
【0084】
ディスプレイ46は、室内親機2の正面側に設けられている。ディスプレイ46は、例えば、液晶ディスプレイであり、制御部43から出力されるデジタル映像データに基づいて映像を表示する。
【0085】
操作部47は、例えば、ディスプレイ46に重畳されるタッチパネルおよび各種ボタンを含む。操作部47は、使用者(例えば、建物A1の居住者)の操作を受けつけ、使用者の操作内容を示す操作情報を制御部43へ出力する。
【0086】
通信部48は、有線通信回路を有し、玄関子機3に接続する。制御部43は、通信部48を介して、玄関子機3と通信を行う。通信部48は、玄関子機3から送信されたデータを制御部43に出力し、制御部43から出力されたデータを玄関子機3に送信する。
【0087】
マイクロフォン49は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部44に出力する。
【0088】
スピーカ50は、音声処理部44から出力されるアナログ音声信号を、音声に変換して出力する。
【0089】
カメラ51は、室内親機2の正面側に設けられている。カメラ51は、撮影した画像データを画像処理部45に出力する。
【0090】
図10は、スマートフォン1のディスプレイ16と室内親機2のディスプレイ46の表示例を示した図である。図10に示すように、スマートフォン1は正面に、図7で説明したディスプレイ16と、インカメラ20と、を有している。室内親機2は正面に、図9で説明したディスプレイ46と、カメラ51と、を有している。なお、図10には、スマートフォン1を所持する親A31aと、建物A1で留守番をしている子供A31bも示してある。
【0091】
親A31aは、スマートフォン1のインカメラ20で自分を撮影する。制御部13は、インカメラ20で撮影される親A31aの画像をディスプレイ16に表示する。制御部13は、親A31aの画像をディスプレイ16に表示する際、インカメラ20で撮影される画像に含まれる顔を判定し、判定した顔を含むように、画像の一部を正方形状で切り出し、表示する。例えば、制御部13は、図10の画像A33aに示すように、親A31aの顔を含むように画像を切り出して、ディスプレイ16に表示する。
【0092】
なお、図10では、制御部13は、切り出した画像A33aを縮小して、切り出した画像A33aをディスプレイ16に表示している。制御部13は、切り出した画像A33aの横幅を、ディスプレイ16の横幅に一致させて、切り出した画像A33aをディスプレイ16に表示してもよい。
【0093】
スマートフォン1の通信部11は、制御部13によって切り出された画像A33aを、ネットワーク5を介して、室内親機2に送信する。室内親機2の制御部43は、スマートフォン1から送信された画像A33aを、ディスプレイ46に表示する。例えば、制御部43は、図10の画像A32bに示すように、親A31aの顔部分が切り出された画像を、ディスプレイ46に表示する。
【0094】
室内親機2のカメラ51は、建物A1で留守番をしている子供A31bを撮影する。制御部43は、カメラ51が撮影する子供A31bの画像をディスプレイ46に表示する。例えば、制御部43は、図10の画像A33bに示すように、子供A31bの画像を表示する。
【0095】
室内親機2の通信部41は、カメラ51が撮影する子供A31bの画像を、ネットワーク5を介して、スマートフォン1に送信する。スマートフォン1の制御部13は、室内親機2から送信された画像A33bを、ディスプレイ16に表示する。例えば、制御部13は、図10の画像A32aに示すように、子供A31bの画像を、ディスプレイ16に表示する。
【0096】
このように、ドアホンシステムは、装置(スマートフォン1および室内親機2)を使用する使用者自身の画像と、ビデオ通話相手の画像とをディスプレイ16,46に表示してもよい。これにより、装置を使用する使用者は、ビデオ通話相手の装置に、自分自身の姿がどのように表示されているかを見ることができ、また、ビデオ通話相手の様子を見ることができる。
【0097】
ドアホンシステムは、自分自身の画像をディスプレイ16,46に表示せず、ビデオ通話相手の画像をディスプレイ16,46に表示してもよい。
【0098】
図11は、スマートフォン1のディスプレイ16と室内親機2のディスプレイ46の別の表示例を示した図である。図11において、図10と同じものには同じ符号が付してある。
【0099】
図11では、スマートフォン1の制御部13は、スマートフォン1の使用者である親A31aの画像を、ディスプレイ16に表示していない。制御部13は、室内親機2から送信された子供A31bの画像A32aのみを表示している。
【0100】
室内親機2の制御部43は、室内親機2の使用者である子供A31bの画像を、ディスプレイ46に表示していない。制御部43は、スマートフォン1から送信された親A31aの画像A32bのみを表示している。
【0101】
このように、ドアホンシステムは、装置を使用する使用者自身の画像を表示せず、ビデオ通話相手の画像をディスプレイ16,46に表示してもよい。これにより、装置を使用する使用者は、自分自身の姿をディスプレイ16,46で見ることはできないが、ビデオ通話の相手の様子を見ることができる。
【0102】
なお、ドアホンシステムの表示形態は、図10および図11の例に限られない。例えば、図3に示したように、スマートフォン1は、スマートフォン1の使用者自身のみをディスプレイ16に表示してもよい。そして、室内親機2は、スマートフォン1から送信された切り出された画像のみをディスプレイ46に表示してもよい。これにより、スマートフォン1を使用する親は、子供の様子を見ることはできないが、室内親機2を使用する子供は、親の顔を見ながらビデオ通話できる。
【0103】
また、表示形態は、使用者の操作に応じて、切替えられてもよい。例えば、スマートフォン1の制御部13は、使用者の操作に応じて、図10のディスプレイ16に示した画面を表示してもよいし、図11のディスプレイ16に示した画面を表示してもよい。また、室内親機2の制御部43は、使用者の操作に応じて、図10のディスプレイ46に示した画面を表示してもよいし、図11のディスプレイ46に示した画面を表示してもよい。
【0104】
図12は、ドアホンシステムの動作例を示したシーケンス図である。スマートフォン1の制御部13は、スマートフォン1の使用者(例えば、外出中の親)から、室内親機2とのビデオ通話の要求を示す操作を受付ける。制御部13は、ビデオ通話の要求を示す操作に応じて、室内親機2を呼び出す(ステップS1)。
【0105】
室内親機2の制御部43は、ステップS1の呼び出しを受信すると、例えば、ディスプレイ46の表示またはスピーカ50の音によって、スマートフォン1から呼び出しがあったことを知らせる。制御部43は、室内親機2の使用者(例えば、留守番中の子供)から、ビデオ通話の応答操作を受付けると、スマートフォン1に呼び出しの応答を返す(ステップS2)。
【0106】
スマートフォン1の制御部13および室内親機2の制御部43は、ステップS2の処理の後、ビデオ通話を開始する(ステップS3)。ビデオ通話の開始によって、スマートフォン1のディスプレイ16および室内親機2のディスプレイ46には、例えば、図10または図11に示したような画面が表示される。
【0107】
スマートフォン1の制御部13および室内親機2の制御部43のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する(ステップS4)。
【0108】
このように、ドアホンシステムは、スマートフォン1から室内親機2への呼び出しを契機に、ビデオ通話を開始してもよい。
【0109】
なお、スマートフォン1の制御部13は、ステップS1の呼び出し処理の後、ステップS3のビデオ通話を開始する前から、画像の切り出し処理を開始してもよい。つまり、スマートフォン1の制御部13は、スマートフォン1の使用者から、室内親機2の呼び出し操作を受付けた直後から、切り出し画像をディスプレイ16に表示してもよい。これにより、スマートフォン1の使用者は、ビデオ通話を開始する前に、自分が室内親機2にどのように表示されるかを見ることができる。
【0110】
図12では、スマートフォン1から室内親機2を呼び出したが、室内親機2からスマートフォン1を呼び出してもよい。
【0111】
図13は、ドアホンシステムの動作例を示したシーケンス図である。室内親機2の制御部43は、使用者(例えば、留守番中の子供)から、スマートフォン1とのビデオ通話の要求を示す操作を受付ける。制御部43は、ビデオ通話の要求を示す操作に応じて、スマートフォン1を呼び出す(ステップS11)。
【0112】
スマートフォン1の制御部13は、ステップS11の呼び出しを受信すると、例えば、ディスプレイ16の表示またはスピーカ19の音によって、室内親機2から呼び出しがあったことを知らせる。制御部13は、スマートフォン1の使用者(例えば、外出中の親)から、ビデオ通話の応答操作を受付けると、室内親機2に呼び出しの応答を返す(ステップS12)。
【0113】
スマートフォン1の制御部13および室内親機2の制御部43は、ステップS12の処理の後、ビデオ通話を開始する(ステップS13)。ビデオ通話の開始によって、スマートフォン1のディスプレイ16および室内親機2のディスプレイ46には、例えば、図10または図11に示したような画面が表示される。
【0114】
スマートフォン1の制御部13および室内親機2の制御部43のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する(ステップS14)。
【0115】
このように、ドアホンシステムは、室内親機2からスマートフォン1への呼び出しを契機に、ビデオ通話を開始してもよい。
【0116】
図14は、スマートフォン1の画像切り出し動作例を示したフローチャートである。スマートフォン1は、例えば、スマートフォン1の使用者から室内親機2の呼び出し操作を受付けた場合、または、室内親機2から呼び出しを受けた場合、図14に示すフローチャートの処理を繰り返し実行する。
【0117】
画像取り込み部31は、インカメラ20が撮影する画像データを画像処理部15から取得する(ステップS21)。
【0118】
顔検出部32は、ステップS21にて取得された画像データに含まれる顔を検出し、検出した顔の基準点座標を検出する(ステップS22)。
【0119】
例えば、顔検出部32は、ステップS21にて取得された画像データ内の顔画像領域を検出し、検出した顔画像領域の中心座標を、顔の基準点座標として検出する。顔検出部32は、顔画像領域の中心座標以外に、目、目の中間点、鼻、口、または耳を、顔の基準点座標として検出してもよい。
【0120】
移動量算出部33は、ステップS22にて検出された顔の基準点座標から、画像データに含まれる顔画像領域の移動量を算出する(ステップS23)。例えば、移動量算出部33は、前回撮影された顔の基準点座標と、今回、ステップS22にて検出された顔の基準点座標とから、画像データに含まれる顔画像領域の移動量を算出する。
【0121】
なお、前回撮影された顔の基準点座標は、例えば、メモリ等の記憶装置に記憶されている。また、ステップS22にて検出された顔の基準点座標と比較される基準点座標は、前回撮影された顔の基準点座標に限られない。例えば、前々回に撮影された顔の基準点座標であってもよい。
【0122】
切り出し部34は、ステップS23にて算出された顔の移動量が閾値以上であるか否かを判定する(ステップS24)。
【0123】
切り出し部34は、ステップS23にて算出された顔の移動量が閾値以上である場合(ステップS24の「Yes」)、顔の基準点座標が切り出し範囲の中心に来るよう、切り出し範囲を移動させる(ステップS25)。
【0124】
例えば、切り出し部34は、顔の基準点座標が、室内親機2のディスプレイ46の基準位置(例えば、ディスプレイ46の中心またはディスプレイ46の上から1/3の位置)に配置されるよう、切り出し範囲を移動させる。
【0125】
一方、切り出し部34は、ステップS23にて算出された顔の移動量が閾値以上でない場合(ステップS24の「No」)、切り出し範囲を移動しない(ステップS26)。
【0126】
切り出し部34は、ステップS25またはステップS26の処理の後、今回の顔の基準点座標をメモリに記憶する(ステップS27)。そして、スマートフォン1は、当該フローチャートの処理を終了する。
【0127】
なお、顔画像領域の移動が、所定量を超えない量で繰り返されると、顔画像領域が、切り出し範囲から外れる場合がある。このように、顔画像領域が切り出し範囲から外れた場合、切り出し部34は、顔の基準点座標が中心に来るよう、切り出し範囲を移動する。
【0128】
また、スマートフォン1は、ステップS26の処理の後においては、ステップS27の処理を実行しなくてもよい。例えば、スマートフォン1は、ステップS25の処理の後にステップS27の処理を実行し、ステップS26の処理の後には、ステップS27の処理を実行せず、当該フローチャートの処理を終了してもよい。
【0129】
また、切り出し範囲の移動(ステップS25)には、例えば、次の3のバリエーションがあってもよい。
【0130】
1.線形または非線形の速度での連続的な移動かつ顔の移動速度より遅い速度の移動
例えば、切り出し部34は、移動した顔の基準点座標が、切り出し範囲の中心にくるよう、切り出し範囲を、線形または非線形の速度で連続的(例えば、人の目で見て連続的となるように)に追従させてもよい。その際、切り出し部34は、移動した顔の速度より遅い速度で切り出し範囲を追従させる。なお、顔の基準点座標の速度(顔の移動速度)は、例えば、次の式で求められる。
【0131】
顔の基準点座標の移動量/{(今回の画像データの取得時刻)−(前回の画像データの取得時刻)}
【0132】
2.段階的かつ顔の移動速度より遅い速度の移動
例えば、切り出し部34は、切り出し範囲を連続的でなく、段階的(例えば、人の目で見て段階的となるように)に移動させてもよい。例えば、切り出し部34は、1.による切り出し範囲の移動量より粗い移動量(大きい移動量)で切り出し範囲を移動させてもよい。
【0133】
3.予め位置が設定された切り出し範囲の移動
図15A、図15B、および図15Cは、予め決められた切り出し範囲の位置を説明する図である。図15Aでは、切り出し範囲A41aは、スマートフォン1のディスプレイの最上部に位置している。図15Bでは、切り出し範囲A41bは、スマートフォン1のディスプレイの中央に位置している。図15Cでは、切り出し範囲A41cは、スマートフォン1のディスプレイの最下部に位置している。
【0134】
切り出し範囲の移動位置は、例えば、図15A、図15B、および図15Cに示す位置に限られていてもよい。切り出し部34は、図15A、図15B、および図15Cに示すいずれかの位置に切り出し範囲を移動する。例えば、切り出し部34は、顔の基準点座標に、最も中心が近い切り出し範囲を選択する。このように、切り出し範囲の移動位置を予め設定しておく(決めておく)ことにより、スマートフォン1は、処理負荷を低減できる。
【0135】
なお、切り出し範囲の位置は、3つに限られない。例えば、切り出し範囲の位置は、スマートフォン1のディスプレイの最上部と最下部との2つであってもよい。また、切り出し範囲の位置は、4以上であってもよい。
【0136】
また、切り出し範囲は、例えば、切り出し範囲A41a、切り出し範囲A41b、切り出し範囲A41cのように連続的に移動してもよいし、切り出し範囲A41aから切り出し範囲A41cのように間を空けて移動してもよい。
【0137】
以上説明したように、玄関扉の近傍に配置される玄関子機3と通信を行う室内親機2とビデオ通話を行うスマートフォン1は、インカメラ20と、インカメラ20で撮影される画像に含まれる顔を検出する顔検出部32と、検出された顔を含むように画像の一部を切り出して切り出し画像を生成する切り出し部34と、切り出し画像を室内親機2に送信する通信部11と、を有する。
【0138】
これにより、室内親機2は、スマートフォン1で撮影される画像を大きく表示できる。また、スマートフォン1は、インカメラ20が撮影する画像を切り出して室内親機2に送信するので、送信データ量が少なくて済む。また、スマートフォン1は、インカメラ20が撮影する画像に含まれる顔を判定し、判定した顔を含むように画像を切り出すので、使用者は、インカメラ20が撮影する画像の決まった箇所が切り出される場合よりも、顔の位置合わせが容易となる。言い換えれば、使用者は、ディスプレイ16の決まった箇所に自分自身が映し出されるように、インカメラ20の撮影方向を調整しなくても済む。
【0139】
なお、切り出し部34は、画像を正方形状に切り出すとしたが、これに限られない。例えば、切り出し部34は、室内親機2のディスプレイ46と同じアスペクト比の形状で画像を切り出してもよい。
【0140】
また、正方形状の切り出し範囲の一辺の長さを、インカメラ20が撮影する画像の短手方向の幅に一致させたが、これに限られない。例えば、正方形状の切り出し範囲の一辺の長さは、インカメラ20が撮影する画像の短手方向の幅より短くてもよい。この場合、切り出し部34は、切り出し範囲の中心に顔が来るよう、切り出し範囲を画像の短手方向にも動かしてもよい。
【0141】
また、制御部13は、画像取り込み部31、顔検出部32、移動量算出部33、および切り出し部34を有するとしたが、これに限られない。例えば、画像処理部15が、前述の機能を有してもよい。
【0142】
また、室内親機2は、カメラ51を備えるとしたが、これに限られない。室内親機2は、カメラ51を備えなくてもよい。この場合、スマートフォン1のディスプレイ16には、例えば、建物A1で留守番をしている子供の様子が表示されないが、スマートフォン1を使用する外出中の親の様子は、室内親機2のディスプレイ46に表示される。これにより、建物A1で留守番をしている子供は、外出中の親の顔を見ることができ、安心できる。
【0143】
また、切り出し部34は、切り出し範囲を、顔の移動速度より遅い速度で移動させる機能を備えなくてもよい。すなわち、切り出し部34は、画像の一部を切り出す機能のみを有していてもよい。
【0144】
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0145】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、または、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【0146】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【0147】
本開示は、ドアホンシステムとして有用である。
【符号の説明】
【0148】
1 スマートフォン
2 室内親機
3 玄関子機
4 無線ルータ
5 ネットワーク
11,41,48 通信部
12,42 記憶部
13,43 制御部
14,44 音声処理部
15,45 画像処理部
16,46 ディスプレイ
17,47 操作部
18,49 マイクロフォン
19,50 スピーカ
20 インカメラ
21 アウトカメラ
31 画像取り込み部
32 顔検出部
33 移動量算出部
34 切り出し部
51 カメラ
A1 建物
A11a,A11b,A13a,A13b 余白
A12,A14,A15 切り出し範囲
A31a 親
A31b 子供
A32a,A32b,A33a,A33b 画像

関連特許

パナソニックIPマネジメント株式会社
浴室
パナソニックIPマネジメント株式会社
水栓
パナソニックIPマネジメント株式会社
浴槽
パナソニックIPマネジメント株式会社
浴槽
パナソニックIPマネジメント株式会社
携帯機
パナソニックIPマネジメント株式会社
洗濯機
パナソニックIPマネジメント株式会社
蛍光体
パナソニックIPマネジメント株式会社
送風機
パナソニックIPマネジメント株式会社
センサ
パナソニックIPマネジメント株式会社
分電盤
パナソニックIPマネジメント株式会社
調理台
パナソニックIPマネジメント株式会社
携帯機
パナソニックIPマネジメント株式会社
除湿装置
パナソニックIPマネジメント株式会社
撮像装置
パナソニックIPマネジメント株式会社
照明器具
パナソニックIPマネジメント株式会社
加湿装置
パナソニックIPマネジメント株式会社
換気装置
パナソニックIPマネジメント株式会社
温調装置
パナソニックIPマネジメント株式会社
音響装置
パナソニックIPマネジメント株式会社
電動工具
パナソニックIPマネジメント株式会社
便器装置
パナソニックIPマネジメント株式会社
便器装置
パナソニックIPマネジメント株式会社
換気装置
パナソニックIPマネジメント株式会社
照明器具