TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2019148951
公報種別公開特許公報(A)
公開日20190905
出願番号2018032762
出願日20180227
発明の名称画像処理装置
出願人個人
代理人
主分類G06T 7/20 20170101AFI20190809BHJP(計算;計数)
要約【課題】空間に投影するディスプレー付きの眼鏡などに取り付けたカメラで指先動作による表示コマンドをクリックするなどの入力を行うには、指先を検出する必要がある。簡易な前景分離手法を使いたいが、暗い場所や明るすぎる場所での検出精度が悪くなる。画像強調法を導入すれば適度な明るさの画像にできるが、既存の画像強調法は1枚の画像の強調を行うもので、連続する映像は扱えない。
【解決手段】ユーザの指示により動作入力を行う直前までは動く物のないカメラ映像は、1枚の映像の繰り返しと考えてよい。よって、「混合ガウス分布による前景分離法」を用いると、コマンド入力が通知されるまでは通常の1枚の画像強調を行っても問題ない。コマンド入力の指示以降は画像強調機能の1枚の画素ごとに最適化する強調機能をそれ以前のままのっ状態で保持することで、止まっている領域はこれまでと同じ処理でよい。動いている指や腕の領域内の処理結果は不明だが、前述の方法で動いていない領域以外として検出できる。
【選択図】図1
特許請求の範囲約 500 文字を表示【請求項1】
カメラによるジェスチャー入力を行える装置において、明るすぎる環境や暗すぎる環境で指先などのジェスチャーを抽出し、その動作をコマンドとして活用するユーザインタフェースにおいて、動画カメラによる動画像の色画素値と周辺画素の平均の値の双方の対数間の減算を行い、それぞれをその色画素値として全画面分集め、その分布を一般的な画像信号の0より255のまでの分布に比例操作により移すスケーリングを行って得られた値を新入力画素値として扱うレティネックス画像強調を行う手段と、ユーザにより別途準備したジェスチャー開始信号により、前述の周辺画素平均とスケーリング係数をそれまでの値に固定して入力操作期間中は維持した状況下で、レティネックス画像強調処理を行う手段と、画像強調出力を混合ガウスモデルによる前景分離法により指先位置を見つける手段とからなり、ジェスチャー入力時の環境が暗い場所や明るすぎる場所で用いても正確にユーザの指先動作を抽出する画像処理装置。
【請求項2】
上記請求の範囲で、周辺画素の平均を求めることに代わり画像全体の平均を代用し、各画素とも同じ平均画素を用いる方法。

発明の詳細な説明約 13,000 文字を表示【技術分野】
【0001】
本発明は画像処理装置に関する。特に、本発明は眼鏡等に取り付けられたカメラに眼鏡から空間に表示されるアイコンを指先で操作する様子を捕らえ、ユーザの指のジェスチャーによるコマンドを入力するための動画処理装置に関する。
【背景技術】
【0002】
映像による監視やジェスチャー入力システムでは、すでにマイクロソフト社からゲーム機のジェスチャー入力システムとして多数の赤外線スポットビームを前面に投射し、反射赤外線ビームを2台のカメラを用いて受光し、その受光位置の変化より、カメラからスポットビームの反射位置までの距離を測定するKinectを販売している。
【0003】
ただし、赤外線を用いる場合の問題として屋外など太陽光下では自然界の赤外線も多く存在し、この余分な赤外線が誤動作を起こす原因となるため、使用できない。屋内でも外界に近い窓近辺やヒーターなどの赤外線を発する熱源機器のある部屋では使用できない。
【0004】
一方、 眼鏡などに装着するウェアラブル端末用の指差動作の検出には、演算量が少ないことに加えて正しいジェスチャーを検出する方法が要求され、この目的には、後述の非特許文献2で示す「混合ガウス分布モデルによる前景分離」と呼ばれるものがある。指先動作入力時には頭を動かさない条件下で、カメラが捕えた映像から動きのない画素を背景画素として取り除き、動きのある画素のみを残す手法である。この方法では、固定カメラを想定しているため、動きのない画素では瞬時的な光源の微少変動は起こるものの、動くものが写っていない限り各色を示す画素は前フレームの対応する画素と同程度の値を持つ。よって、光源の微小変動を考慮に入れて、R、G、B画素ごとに複数個の背景ガウス分布を用意し、入力色画素の変動範囲を背景ガウス分布の平均μから標準偏差の2倍程度の範囲ならば背景ガウス分布に包含されると考える。複数個の背景ガウス分布を用いるのは、各ガウス分布の標準偏差を極力小さく抑えるためである。この各色画素の値に対する背景ガウス分布は、少し過去から今までの入力履歴から構築される。1画素当たりR、G、Bの3色の入力画素要素があり、それぞれが複数の背景ガウス分布を持つ。このため、ある画素が背景画素と決定するには、入力画素のR、G、B画素要素の値がそれぞれの背景ガウス分布に包含される場合を背景画素と考える。この結果、2値の前景分離画像の背景を示す画素値として出力0を与え、一方、R、G、B入力色画素が一つでも対応する色の背景ガウス分布には含まれないものがある場合は、動きがあったと判断して、前景画素と判断し、出力として対応する画素位置に画素値255を与える。よって、1画面分の前景画素/背景画素の判断が終わると、画素値0か255の2値画像が得られる。その後、各画素では各背景ガウス分布で入力色画素が背景ガウス分布に入る場合は、その背景ガウス分布の平均値と標準偏差を微小量更新して、より正確に現在の背景ガウス分布を含むように、背景ガウス分布の平均値μと標準偏差σを変化させて、今後の入力時に最適な平均値μと標準偏差σを用いて計算し前景に属するのか背景に属するのか判断できるように修正する。一方、前景画素でガウス分布に入らなかった画素は、その入力画素値の部分に新しい背景ガウスを作る準備を行なう。もしくは、この場合は近い過去にも入力がある場合はすでに成長過程に入った背景ガウス分布を強化する。さらに、今後近辺に入力画素値があれば、さらに成長させて現在の背景ガウス分布で使われなくなったものと置き換えが可能か否か、以降の入力状況により判断する。但し、詳細は省略する。演算量は画素当たりにすれば60ステップ程度である。これは、他の動きを検出する方法として明るさの等しい画素の位置を追跡して、その様な画素の集合から動作を見つけるオプティカルフロー法と比べると、けた違いに少な演算量でよい方法である。
【0005】
これによりグーグルグラスのような眼鏡の前面空間に情報表示する機能を備えたウェアラブルディスプレーがあると、空間に複数個のアイコンを表示し、ユーザの指先で目的のアイコンをクリックする動作をカメラでとらえ、指先のジェスチャーを解析することで、指先が触れたアイコンを検出できる。そのクリック情報をシステムに伝える。それにより、そのアイコンに関する情報を眼鏡の前方空間に表示することや、アイコン画面をスクロールして、画面にはない新しいアイコンを示す画面に変えるなどの操作が可能になる。つまり、眼鏡型ウェアラブル端末にカメラを加えると、モニタを見ながら指差しジェスチャーによるコマンド選択が可能になる。これで、例えば作業順序の確認などを行いたい場合は表示アイコンをスクロールして、新アイコンを見つけてクリックし、作業内容を確認するなどの操作が可能になる。よって、スマホやタブレット端末の感覚でハンズフリー状態で眼鏡端末を情報端末化することが可能になる。
【先行技術文献】
【特許文献】
【0006】
特願2015-553443
【非特許文献】
【0007】
Takeshi Okuno and Takao Nishitani, “Efficient Image Enhancement Algorithm Using Multi-Rate Image Processing”, IEICE Transaction on Fundamentals, Vol. E93-A, No.5 May 2010.
松井翔太、山下祥宏、山口亨、西谷隆夫、「GMM前景分離を用いたロバストな指先動作検出による空間ジェスチャーインタフェース」, SICEシステムインテグレーション2013, CD-ROM 1K4-3, 2013 。
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら混合ガウスモデルを用いた前景分離技術の欠点として、暗い映像や明るすぎる映像、または、これ等が入り混じった映像が入力されると以下の問題を起こす。カメラからの入力画素値はR、G、Bの色画素成分を各々8ビットの数値である0より255までの数値で現わすのが一般的である。このため、1フレーム前の画素値の影響も加味して背景ガウス分布の更新を行ない、その後に、現フレームの画素値が背景ガウス分布内に包含されるか否かの計算を8ビット演算で行なう。しかし、画素値が低い数値や高すぎる数値の場合は、このような背景ガウス分布の包含領域の計算を行う時点で、8ビット画素値自体では画素値自体の精度と演算誤差の関係により、入力画素と背景ガウス分布との包含関係の計算で誤った結果を引き起こ越す可能性が高い。特に、計算結果はガウス分布に含まれるか含まれないかの2状態の結果を出すことが期待されている。よって、本来前景であるべき画素領域を背景と判断する場合や、逆に背景部分を前景と判断する情況が多発する。
【0009】
このような場合は背景画素と前景画素の計算時に誤差が生じ、背景画素と前景画素が入り乱れた結果となることもある。このため、混合ガウスモデルによる前景分離の安定性が悪くなる。よって、このような情況を起こりにくくする方法が望まれる。
【0010】
ただし、内部計算だけを長い語調で計算しても、入力画素自体がカメラの標準的形式として各色成分を8ヒットとして扱うため、暗い映像や明るすぎる映像に関して入力データの精度は簡単には改善できない。
【0011】
こような状況を避ける方法としては「レティネックス画像強調法」がある。この画像強調法では入力画像の各画素の値から照明光成分相当と考えられる輝度値平均を対数領域で引き去り、残りの反射成分相当の信号を抽出した後、この反射成分の画素数値を元の画素の一般的数値レベルである8ビット表現の数値、つまり、0より255までの数値に変換する。変換にあたって、8ビット画素の中央値128を中心にした画素分布に変換するが、その前に、反射光を示す要素を表す成分にして8ビットレンジの数値に変換する。つまり、この方法は、個々の画素のR、G、Bカラー成分と周辺画素の輝度信号(Yと略す)の平均値(Yave)を用いて、個々の入力カラー成分画素の対数と上記の平均成分の対数の差を反射成分として計算する。以上で述べた反射光としての意味を持つ対数領域での減算結果を新たな色の3要素の基本成分にする。これをRnew, Gnew, Bnew として扱うと、次式の様になる。ただし、対数変換があるため、これ等の値は0から255の値とは直接対応付けられない。
【0012】
式1が人間の視覚特性に合う理由は、第2項が標準的な照明成分であると考えると、人間の目には照明成分と現在見えている物体からの反射光の和が到達する。また、反射光は、よく反射するものからの反射であれば照明光と同程度であろう。一方、黒い物体では殆ど照明光成分を反射する物体に吸収されることもある。つまり、反射成分をほとんど出さない物体もあり、この場合は反射成分自体が小さくなる。つまり、照明光成分は、周辺画素の平均的な成分であるとすると、反射率の高いものは平均と同程度の成分が反射により人間の目に届く。一方、光の吸収性の高い色として典型的な黒色は、人の目には照明光と反射光として少量の黒い物体から反射される光の成分が入る。ここから照明光を引き去る訳であるが、対数を取ってからの引き算である。よって、反射光成分を照明項成分で割った数値の対数と同じになる。また、反射成分を照明光であるYの周辺平均との比と考えると、その比が1となる点を8ビットで表す数値の128に設定する。吸収性の高い反射分は対数領域では負の値を持つ。これを強調するのが対数曲線であり、数1で示す式においては反射成分が少なくなるほど急速に小さくすることを意味する。逆に反射成分が照明光成分と近くなる場合は反射成分が逆対数関数として急速に明るくなるように修正する。このような操作をするのが数1で示したRnew、 Gnew、 Bnewで表される画素値を用いることになる。よって、基本的にはRnew、 Gnew、 Bnewが人間の視覚特性に合致した画像強調の原理となる。
【0013】
よって、、数1で示した3個の色成分は色の反射に関する基本的な要素であることを言っているに過ぎない。実際に前景分離回路に入力するには数1のRnew、Gnew、Bnewに関する画素値を8ビット表現、つまり0から255の値にする必要がある。8ビット表現の中央値128の位置は、Rnew、Gnew、Bnewが反射性の強い色ではプラス、逆に吸収性の強い色ではマイナスとなるため、対数表現での0に置くのが適当である。よって、画像1枚の画像強調は全ての画素を一度数1の式で計算し、計算結果として得られた全ての画素の値に変換した後、求めた数値分布を全体が0から255までの数値とし、128はRnew、Gnew、Bnewの0に対応させる比例係数を定めて、求めた画素値分布から新しい分布へ分布間の比例配分を行えばよい。つまり、Rnew、 Gnew、 Bnewに対応する値を求めた分布を求め、その分布を画素値128を中心とした分布で数値0から255の値に納まるように比例拡大する。この操作を「スケーリング操作」と呼ぶ。以下の説明では数1で示した画素成分と輝度平均との差を対数領域で求める操作を「強調差分」と呼ぶことにする。
【0014】
ただし、この技術は1枚の画像の強調を行うものであり、動画像を対象にしたものではない。動画像の1枚1枚にレティネックス画像強調して混合ガウス分布を用いた前景分離を行った例は実在し、非特許文献1として示した論文にも紹介されている。ただし、この例は、元々の画像が適当な明るさで、かつ、前景となる動物体が小さい場合に関するもので、元々画質改善を狙った一環の実験に過ぎない。そこではレティネックス画像強調の最後の処理である「スケーリング」を行う時に、1フレーム前に用いたスケーリング係数を主として、現在のフレームの最適なスケーリング係数を少し加味させる方法を取っている。このような方法でよいのは、監視用固定カメラを対象にして行っているためで、前景部分の画面全体に占める割合が非常に小さい事と、監視カメラであるためにある程度明るい場所を監視対象に設定できたためと思われる。暗い場所の監視では電灯をあらかじめ準備することも可能である。このため、ウェアラブル眼鏡端末の様に昼間の消灯時の廊下など、画像全体が暗い状態や、腕と指が指差しジェスチャー入力のためにカメラ全面を覆うように映り、指や腕が画面全体の30%前後の大きさになるような極端な状況は考慮されていない。
【0015】
また、非特許文献1では数1の照明光成分を求める平均計算を行うにあたって、画質を向上させる目的で各画素を中心にしたローカルな画像平均を使いたいため、その画素を中心にした複数の次数の異なる低域通過型ガウシアンフィルタを用いて求めている。さらに、複数のフィルタのうちの一つは相当高次のガウシアンフィルタを用いており、フィルタ次数を全てのフィルタで加算すると総計では100次程度のフィルタ相当になる。よって、フィルタによって周辺画素の平均を求めるための計算量を、全画素の平均を求めるために計算すると総計100次以上の2次元フィルタ演算が画素ごとに必要となる。さらに、ガウシアンフィルタは非巡回型フィルタを用いるため、100次の1次元ガウスフィルタを実行する場合は、100回の乗算と100回の加算および100回のデータシフト演算が必要である。画像を対象にする2次元フィルタでは、縦方向と横方向に同じ量の演算を必要とする。よって、一画素当たり600回の演算が必要であるが、一方の混合ガウスモデルによる前景分離における1画素当たりの演算量と比べると10倍以上の演算量を必要とする。非特許文献1では、レティネックス画像強調の性能を確かめる目的で前景分離を扱ったものであり、眼鏡などに取り付けるウェアラブル装置としての前景分離が目的のためではない。ウェアラブルシステムの前景分離用前処理としてはガウシアンフィルタを使うと演算量が大量の演算を要求しすぎ、低消費電力で低コストの眼鏡型システムを実現するには向かない。前景分離作業と画面強調作業の役割が演算量の観点からすると、余りにも重い平均処理となる。よって、ウェアラブル端末に使うにはこの方法は実用的ではない。
【課題を解決するための手段】
【0016】
以下に述べる方法は、カメラからRGB映像信号が入力されると、レティネックス画像処理により画像強調を行なうが、指先動作検出で指をカメラの視野に挿入する合図とともにレティネックス変換で必要となる対数領域の「強調差分」機能用に供給されるY信号成分と「スケーリング係数」を直前に求めた値に固定し、入力が終了するまでその状態を維持する。また、画面平均を求める機能は、単純な画面平均で代用する。
【0017】
まず、カメラ付きの眼鏡をかけて、動きのない方向を見て頭を固定すると、すべての画素はレティネックス画像強調を行った後に前景分離回路内では各々の画像強調された画素に対する背景ガウス分布を構築しだす。これには1〜2秒程度で十分である。つまり、1〜2秒も経過すると、前景分離回路内は出力は常時背景のみの画素だけになる。これは、前景となるものが現れないため、前景分離回路内の全ての画素の背景ガウス分布が常時入力される画素を包含する状態となるためである。ただし、結果となる前景分離画像は通常はユーザには表示してまでは見せない。
【0018】
ユーザが指先ジェスチャー認識による情報入力を行なおうとする時点では、外部よりの信号で前景が出てくる準備を指示する。例えば眼鏡に付けられたボタンをユーザが触れるものとする。この時点でこれまで使っていた画素ごとの輝度平均とスケーリング係数を記憶させ、指先入力が終わるまでは保持する。よって、記憶した輝度平均とスケーリング変換係数を指入力の間は変えない。また、頭の位置も、ユーザの意志で、それまでの位置で固定する。入力が終わり、画面から消え去るまではこの状態を保持する。
【0019】
眼鏡のボタンを押してすぐに指や腕が出てきてもよいし、1秒程度は指や腕は現れなくてもよい。しかし、指や腕がすぐに現れない場合でも、ボタンを押す前の画像の輝度平均とスケーリング係数はボタンを押した直前に使われたものを用いることになる。この状態では、各時点の輝度平均とスケーリグ係数は記憶されたものと殆ど変化がない。これは、前景に対応するものがまだカメラに現れないためであり、容易に想像されよう。つまり、この時点ではレティネックス画像強調も、ほぼ以前と大差なく行われ、前景分離部の結果も全ての画素で背景判定となる。
【0020】
次に、カメラから入力される画像で、指や腕などの前景が現れた場合について述べる。この場合も指や腕の動きが映っていない背景画素領域ではカメラからの入力画素値はほとんど変化しない。これは指や腕が目の前20〜30cm以内と極めてカメラから近い領域に現れ、指や腕以外からの光はそれよりも後方から反射された光であるためで、背景画素領域に指や腕の反射分が影響しにくいためである。つまり、指や腕で妨害されていない従来の背景領域の画素は、指や腕が現れる前の画像平均に固定したので、現在の入力と対数領域で差分を取られても、指や腕で妨げられない画素に関してはほとんど同じ状態の入力である。つまり、その時刻以前の眼鏡のボタンを押された時点での画素ごとの平均を用い、また、スケーリング係数を用いて0より255までの画素値に変換しても、ほぼ同程度の値となる。よって、これを混合ガウスモデルによる前景分離回路に導入しても、前景分離回路内に構築されている背景ガウスモデルの包含領域内に落ち込む。つまり、正しく背景判定される。
【0021】
一方、指や腕が現れた領域の画素は、このような過去の色平均値やスケーリング係数で処理されると、どのような値になるかは不明となる。しかし、前景分離回路内部で構築された背景ガウス分布に包含されるか否かの判定領域はせいぜい背景ガウス分布の平均値より片側2画素程度の範囲のみと狭いのが普通である。また、最終的な背景画素判定はR,G,Bのどれか1つの色領域での背景ガウス分布に含まれていなくなると、その時点で前景画素とみなされる。よって、この領域は高い確率で前景画素となる。つまり、前景分離したい目的では正しい結果を与える。
【0022】
また、前景分離回路内では、前景判断されると、背景ガウス分布は修正されない。従来の背景ガウス分布に代わって新しいガウス分布を誕生させるには、ある時点より連続的に毎フレーム同じ位置周辺に入力がある場合であり、この様な場合が連続的に発生すると、最終的には既存のガウス分布を抑えて、成長してきたガウス分布に置き換わる可能性はある。また、指とともに腕の領域の画素も同様の取り扱いをされる。よって、指や腕をカメラの前でしばらくの間、完全に固定さえしなければ、これまでの背景ガウス分布を置き換えることはない。よって、同一場所に固定させないことが重要であるが、ある程度素早く指先や腕を動作させるか、アイコンクリックを行うと、一旦指や腕をカメラの前から離せば問題は起こらない。
【0023】
注意すべきは、前景分離結果はその画素が前景であるか否かの2値で表され、細かい色表現は不要である。レティネックス変換技術は多くの場合、1枚の写真画像の画質改善が目的の応用が多いため、写真のローカルな色調の変化を求めて、画素周辺平均を取りたい。このため、演算量が多く必要となる画素ごとの平均フィルタ演算を実行している。しかし、今回の応用はカメラからの画像が暗い場合や画素の分布が低い領域に偏るとか、高い領域に偏ることを防ぐのが目的である。平均は簡単に求めればよく、画面平均を個々の画素の平均とみても不都合はない。
【0024】
また、このシステムでは指先ジェスチャー入力時間は短時間であり、この間,使用環境の照明は、微小変動を許すものの、ほぼ一定だと仮定している。よって、暗い場所で使用する場合は、途中で電灯をつけないなど、照明条件は指先ジェスチャー入力を行っている間は変化させないという条件が必要である。 しかし、この条件は、指先ジェスチャー認識に費やす時間はコマンド入力だけであり、通常短期間で終わる。よって、厳しい制約にはならない。
【0025】
指先と腕が出てくる今回の応用の場面では、これらの前景が周辺の背景画素に対して影や反射の影響を与える可能性もないとは言い切れない。しかし、そのような状況に対しては前景分離時に前景が引き起こした影や反射を除去する方法が特許文献1に記載されており、前景分離回路内部では影や反射で一旦前景になった領域を再チェックして背景領域に戻す方法が記載されている。よって、このような問題も回避できる。但し、以下の発明の記述ではこのような影響を省略して説明している。
【発明の効果】
【0026】
以上、述べた方法を導入することで、暗さや明るさを気にすることなく前景分離手法を用いても、1時的にレティネックス画像強調の内部状態を固定化する変形レティネックス技術の導入により、正確な指先や腕の前景分離法によるコマンド入力が可能になる。よって、ハンズフリーでの作業手順の確認や現在眼前に表示している説明文の早送りなどのコマンド入力が指先ジェスチャーでも可能になる。このため、ハンズフリー状態での情報検索や情報取得が可能になり、作業効率が飛躍的に改善する。
【図面の簡単な説明】
【0027】
本発明の一実施形態を示す画像処理装置の構成を示す図である。
【発明を実施するための形態】
【0028】
図1は本発明によるレティネックス画像強調回路であり、カメラ1、平均化回路2、平均保持回路3、平均選択回路4、強調差分回路5、分布決定回路6、分布保持回路7、分布選択回路8、分布修正回路9、混合ガウス分布を用いた前景分離回路10、指先検出モード信号入力端子11から構成される。
【0029】
図1の、カメラ1、平均化回路2、強調差分回路5、分布決定回路6、分布修正回路9で構成される部分は以下の記述で明らかになるが、通常は1枚の画像を最適化するレティネックス画像協調を行うためのものである。これを1枚の画像から時間的に連続するフレーム映像に入力が変わっても混合ガウス分布を用いた前景分離回路10で正しく安定的に前景分離を行えるようにする機能が平均保持回路3、平均選択回路4、分布保持回路7、分布選択回路8、および指先検出モード信号入力端子11に加えられる信号である。
【0030】
まず、前景が登場しない状態で、指先指示を行う時点以前の回路動作に関して、図1を用いて述べる。この場合、平均選択回路4と分布選択回路6は各々平均化回路2および分布決定回路7の出力を選択しているとする。
【0031】
よって、カメラ1からの出力は平均化回路2でR、G、B要素からY信号に変換し、画面平均を求める。この信号が平滑選択回路4を介して強調差分回路5でカメラ1からの信号と平滑選択回路4を介した平均回路2の信号との対数領域の差分を取る。この結果は分布決定回路6で画素の分布状況を調べ、他の画素から大きく離れて最大、最小が発生している場合はそれらを取り除く。また、この分布を0から255の範囲に拡大するスケーリング係数を求める。この結果は分布選択回路8を介して分布修正回路9に渡され、スケーケーリングする前の分布の最大値以上と、最小値以下がある場合、つまり、最大や最小画素が主だった分布から離れている場合は、それらの画素値を新しく決めた最大と最小に変更した後、最大と最小が255と0に拡大する。この操作がスケーリングである。以上の流れは、先に述べたレティネックス処理そのものである。その後、この8ビット相当の画素符号を持った画素値を前景分離回路10で前景分離を行う。ただし、最初は腕や指を出さないとしたので、すべて背景となる。これはカメラをスタートさせてから、前景分離回路10の内部でR、G、Bの各色画素の背景ガウス分布を構築するためである。このためには1〜2秒程度は必要である。
【0032】
1〜2秒ほど後以降に指先ジェスチャーモードによる情報インプットをするために、端子11に信号を送る。ここでは、眼鏡に付随したスイッチボタンを押す。すると、端子11が活性化される。この信号により、平滑化回路2のY信号平均値が平均保持回路3に、また、分布決定回路6の情報が分布保持回路7に取り込まれ、同時に平均選択回路4は平均保持回路3を、また、分布選択回路8は分布保持回路7を選択するようになる。このような変化が起こると、カメラからの次のフレームの画素と平均保持回路3に蓄えられた、かつてのY平均信号が平均選択回路4を介して強調差分回路5に供給される。切り替わった当初はまだ指や腕がカメラ1で捕らえられないので、この場合の平均保持回路3の値は現在の平均化回路2の値とほぼ等しい。よって、強調差分回路5の出力もほぼ1フレーム前の出力とほぼ等しい。また、分布保持回路7も1フレーム前の分布であるものの、現在の分布決定回路6の出力と大差がない。分布選択回路8の出力も1フレーム前と同じである。このため、以前の分布修正回路9の動作と大差は発生しない。よって、前景分離回路10へ伝えられる画素値の変化はほとんどない。この結果、前景分離回路でのこれらの画素は全て背景のままである。
【0033】
指先や腕がカメラ1で捉えられると、指先や腕で覆われた領域はこれまでと大幅に異なった値を示す。指や腕はカメラの前方20〜30cmほど前方に現れる。よって、強調差分回路5ではこの画像と平均保持回路3に蓄えられた指や腕が現れる以前の平均値が平均選択回路4を介して伝えられる。よって、指や腕で妨害された区間以外はほぼ前景がない場合と同じで、強調差分回路5の出力は指や腕に対応した画素を除くと、ほぼそれまでと同じ結果である。ただし、指や腕の現れた領域の画素は大幅に異なる結果となる。しかし、この場合も、分布修正回路9は分布保持回路7の、かつての指や腕が登場しない時点での、つまり、背景領域のみの分布と同じになる最低と最高の値、および、スケーリング係数が蓄えられている。この情報が分布選択回路8によって分布修正回路9に伝えられるため、指や腕以外の領域はほぼ指や腕が現れる前と同じ値の画素に修正されるが、指や腕の領域に関してはどのような値になるのか見当がつかない。しかし、元の暗い画像や明るすぎる画像によるレティネックス機能が固定化されたスケーリング機能ではあるが画像信号の中間値に近い画素にマッピングされる可能性も従来通り精度は高い。さらに、このような画素信号が前景分離回路10に加えられると、指や腕の領域以外は前景分離回路10の内部の各画素の持つ背景ガウス分布の領域に落ち込む。しかし、指や腕の領域の画素はどのような値になるかわからないが、前景分離回路10への入力画素が背景判断となるためには対応する色画素の持つ背景ガウス分布の狭い領域に入らなければならない。その上に、この画素が背景ガウスに落ち込んだとしても、混合ガウスモデルによる前景分離法で背景判定されるのは、その画素のR、G、Bの3個のカラー画素が同時にそれぞれの背景ガウス分布内に落ち込む必要があり、それ以外は背景判定とならない。よって、高い確率で指や腕の前景領域の画素では前景の判断になる。つまり、前景分離回路10の出力は指や腕以外は背景判定となるものの、指や腕は正しく前景となる。
【0034】
ただし、腕や指がカメラアングルに入ってくる場合は、腕や指による影や反射が本来の背景領域となることも考えられる。この場合は指や腕以外の領域でそれまでと異なった画素値になることもある。よって、本来背景である画素が前景になることも考えられる。この場合は、一旦前景となるものの、特許文献1に示された前景分離回路を用いると、反射と影による誤った前景部分を消去する方法が示されており、その方法を使った前景分離回路を用いることで、このような問題も回避できる。
【0035】
以上の様に、本特許に従えば、昼間ではあるものの、消灯中の廊下などの多少暗い廊下や明るすぎる部屋での指先指示動作の検出も変形レティネックス法により確実に可能となり、指先ジェスチャーのシルエットを抽出できる。指先位置の検出方法は非特許文献2で示すように、前景の重心からの最遠点として検出可能である。
【実施例】
【0036】
図1の平均化部2でY信号の代わりに、各画素に対して入力された画素の色成分を用いて(R+G+B)/3を計算してY信号の代わりに用いることも可能である。Y信号はRGB信号を混ぜ合わせた信号であるが、人間の感覚に沿って定められたY信号のR、G、B成分比率を異なった比率で混ぜ合わせることになる。このため、青色成分が赤色に比べ大幅に小さく評価されてしまい、純粋な青い色の領域がある場合はY信号を用いる場合では検出しにくいこともある。本願は非特許文献1をベースにするため、あえてY信号を用いて説明したが、輝度の代わりに(R+G+B)/3を使うことも本願の一部であっる。
【0037】
同様に、レティネックス画像強調では多くの場合、数1に代わり 、以下の数2で定まる新しいR、G、B平均要素として定義されている。ここにRave、 Gave、 Baveは上式を求める場合の周辺画素の各色成分の平均もしくは、画面全体の平均であり、色調が変化しないことになる。これにより、前景分離部10での計算がより正確になる。このような変形を行うのも本発明のうちである。
【0038】
また、端子11を眼鏡などに取り付けたボタンを手で触ると、眼鏡自体を動かす可能性があるため、前景分離回路10の内部で構築される画素毎の背景ガウス分布が乱れることもある。よって、ユーザが入力したくなった時点でボタンを触り、2秒ほど後に端子11に信号を伝える事に代わり、ディスプレー内部に「入力スタートボタン」を設け、全画面背景になった場合には情報入力アイコンを表示すし、情報入力モードでは情報入力オフのアイコンを設けることで対応することも本願の一部である。
【符号の説明】
【0039】
1 カメラ、 2 平均化回路、 3 平均保持回路、 4 平均選択回路、 5 強調差分回路、 6 分布決定回路、 7 分布保持回路、 8 分布選択回路、 9 分布修正回路、 10 前景分離回路、 11 指先指示開始信号端子
である。

関連特許

個人
画像処理装置
個人
葉書の作成方法
個人
情報管理装置
個人
相続財産比較システム
個人
汎用人工知能実現方式
凸版印刷株式会社
表示装置
個人
支援装置
株式会社ニコン
サーバ
株式会社クボタ
支援装置
キヤノン株式会社
電子機器
株式会社東芝
支援システム
個人
買い物代行サービスシステム
株式会社ミツトヨ
入力装置
株式会社LIXIL
支援装置
株式会社リコー
画像形成装置
日本電気株式会社
ノード
飛島建設株式会社
宅配システム
株式会社デンソー
検証端末
個人
掲載データのクリッピングシステム
株式会社半導体エネルギー研究所
電子機器
株式会社リコー
文書操作機構
個人
ユーザパフォーマンス判定装置
個人
漫画を用いた入力フォームの構成方法
株式会社野村総合研究所
運用管理システム