特許ウォッチ

公開番号2025086702
公報種別公開特許公報(A)
公開日2025-06-09
出願番号2023200904
出願日2023-11-28
発明の名称画像処理システム及び画像処理方法
出願人国立大学法人静岡大学
代理人個人,個人
主分類G09G 5/00 20060101AFI20250602BHJP(教育;暗号方法;表示;広告;シール)
要約【課題】光学装置を複雑化させることなく、死角の発生を十分に防止する。
【解決手段】画像処理システム1は、対象者S_Pの顔を撮像するステレオカメラを含み、対象者S_Pの瞳孔の検出に必要な顔画像を取得するための対象者検出用光学系3と、対象者S_Pの観察対象の観察対象物S_Bを撮像するカメラを含み、観察対象物S_Bの画像である対象物画像を取得するための対象物検出用光学系5と、対象物画像を加工した加工画像を表示面7a上に表示するディスプレイ装置7と、顔画像及び対象物画像を基に、加工画像を生成する画像処理を実行するコンピュータ9と、を備え、コンピュータ9は、顔画像を基に瞳孔のディスプレイ装置7に対する相対的な位置を特定し、位置を基に、対象物画像のうちディスプレイ装置7によって遮られている範囲の観察対象物S_Bの画像が表示面7a上に表示されるように、加工画像を生成する。
【選択図】図1
特許請求の範囲【請求項１】
対象者の顔を撮像する対象者検出用カメラを含み、前記対象者の眼部の検出に必要な顔画像を取得するための対象者検出用光学系と、
前記対象者の観察対象の観察対象物を撮像する対象物検出用カメラを含み、前記観察対象物の画像である対象物画像を取得するための対象物検出用光学系と、
前記対象物画像を加工した加工画像を表示面上に表示するディスプレイ装置と、
前記顔画像及び対象物画像を基に、前記加工画像を生成する画像処理を実行する算出部と、を備え、
前記算出部は、
前記顔画像を基に前記眼部の前記ディスプレイ装置に対する相対的な位置を特定し、前記位置を基に、前記対象物画像のうち前記ディスプレイ装置によって遮られている範囲の前記観察対象物の画像が表示面上に表示されるように、前記加工画像を生成する、
画像処理システム。
続きを表示（約 1,700 文字）【請求項２】
前記対象者検出用光学系は、前記眼部の三次元位置を特定可能な前記顔画像を取得し、
前記対象物検出用光学系は、前記観察対象物の三次元位置を特定可能な前記対象物画像を取得し、
前記算出部は、前記眼部の三次元位置と前記観察対象物の三次元位置とを基に、前記対象物画像のうちで前記ディスプレイ装置によって遮られている範囲の画像を画定する、
請求項１記載の画像処理システム。
【請求項３】
前記算出部は、前記対象物画像の画素を、当該画素に対応する三次元位置と前記眼部の三次元位置とを結ぶ線上の前記表示面の画素に割り当てる割当処理を繰り返すことにより、前記加工画像を生成する、
請求項２に記載の画像処理システム。
【請求項４】
前記算出部は、前記対象物画像の複数の画素を対象にした前記割当処理において、前記表示面の同一の画素に割り当てられた場合には、前記複数の画素の画素値を考慮して前記同一の画素の画素値を決定する、
請求項３に記載の画像処理システム。
【請求項５】
前記算出部は、前記割当処理において前記対象物画像の何れの画素も割り当てられない前記表示面の画素が発生した場合には、当該画素の画素値を周囲の画素の画素値を基に決定する、
請求項３に記載の画像処理システム。
【請求項６】
前記対象者検出用光学系は、前記対象者の左の眼部及び右の眼部の位置を特定可能な前記顔画像を取得し、
前記ディスプレイ装置は、前記対象物画像を加工した左眼用加工画像及び右眼用加工画像を、前記表示面上に表示可能に構成され、
前記算出部は、前記顔画像を基に特定された前記左の眼部の前記相対的な位置を基に、前記対象物画像のうち前記ディスプレイ装置によって遮られている範囲の前記観察対象物の画像が表示面上に表示されるように、前記左眼用加工画像を生成し、前記顔画像を基に特定された前記右の眼部の前記相対的な位置を基に、前記対象物画像のうち前記ディスプレイ装置によって遮られている範囲の前記観察対象物の画像が表示面上に表示されるように、前記右眼用加工画像を生成する、
請求項１～５のいずれか１項に記載の画像処理システム。
【請求項７】
前記対象者検出用光学系は、前記ディスプレイ装置の前記表示面の反対側の裏面において前記ディスプレイ装置に覆われるように配置され、
前記ディスプレイ装置は、前記表示面から入射した光を前記裏面へ透過させるように構成され、
前記算出部は、前記加工画像を表示させる第１の期間と、前記加工画像を表示させない第２の期間とを繰り返すように前記ディスプレイ装置を制御し、前記第２の期間において前記顔画像を取得するように対象者検出用光学系を制御する、
請求項１～５のいずれか１項に記載の画像処理システム。
【請求項８】
前記ディスプレイ装置は、自動車のピラーあるいはサンバイザー上に配置されている、
請求項１～５のいずれか１項に記載の画像処理システム。
【請求項９】
画像処理システムが実行する画像処理方法であって、
対象者の顔を撮像して、前記対象者の眼部の検出に必要な顔画像を取得するステップと、
前記対象者の観察対象の観察対象物を撮像して、前記観察対象物の画像である対象物画像を取得するステップと、
対象物画像を加工した加工画像を表示面上に表示するステップと、
前記顔画像及び対象物画像を基に、前記加工画像を生成する画像処理を実行するステップと、を備え、
前記画像処理を実行するステップでは、
前記顔画像を基に前記眼部の前記表示面に対する相対的な位置を特定し、前記位置を基に、前記対象物画像のうち前記表示面によって遮られている範囲の前記観察対象物の画像が表示面上に表示されるように、前記加工画像を生成する、
画像処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像を処理する画像処理システム及び画像処理方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、自動車等の用途において、ピラー等によって死角が発生することを防止するための技術が普及しつつある。例えば、下記特許文献１には、プリズムを利用した光学的な手法により、自動車のピラーを擬似的に透明化する技術が開示されている。また、下記非特許文献１には、外部カメラを用いて死角に入っているピラーの背景の画像を撮影し、ピラーカバーユニットにプロジェクタにより背景の映像を投影することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許公開公報２０１７／０２２７７８１号
【非特許文献】
【０００４】
長谷川洵希，「再帰性投影技術による自動車Aピラーの透明化に関する研究」，慶應技術大学大学院メディアデザイン研究科修士論文２０１３年度，２０１３年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術においては、光学装置の構成が複雑化する。また、非特許文献１に記載の技術においては、ドライバー等の対象者の頭が動いた場合に、投影された画像上の背景と、死角が生じていない場合の背景との間でずれが生じてしまい、死角の発生を十分に防止することができない。
【０００６】
本発明は、上記課題に鑑みて為されたものであり、光学装置を複雑化させることなく、死角の発生を十分に防止可能な画像処理システム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の一形態に係る画像処理システムは、対象者の顔を撮像する対象者検出用カメラを含み、対象者の眼部の検出に必要な顔画像を取得するための対象者検出用光学系と、対象者の観察対象の観察対象物を撮像する対象物検出用カメラを含み、観察対象物の画像である対象物画像を取得するための対象物検出用光学系と、対象物画像を加工した加工画像を表示面上に表示するディスプレイ装置と、顔画像及び対象物画像を基に、加工画像を生成する画像処理を実行する算出部と、を備え、算出部は、顔画像を基に眼部のディスプレイ装置に対する相対的な位置を特定し、位置を基に、対象物画像のうちディスプレイ装置によって遮られている範囲の観察対象物の画像が表示面上に表示されるように、加工画像を生成する。
【０００８】
あるいは、本発明の他の形態に係る画像処理方法は、画像処理システムが実行する画像処理方法であって、対象者の顔を撮像して、対象者の眼部の検出に必要な顔画像を取得するステップと、対象者の観察対象の観察対象物を撮像して、観察対象物の画像である対象物画像を取得するステップと、対象物画像を加工した加工画像を表示面上に表示するステップと、顔画像及び対象物画像を基に、加工画像を生成する画像処理を実行するステップと、を備え、画像処理を実行するステップでは、顔画像を基に眼部の表示面に対する相対的な位置を特定し、位置を基に、対象物画像のうち表示面によって遮られている範囲の観察対象物の画像が表示面上に表示されるように、加工画像を生成する。
【０００９】
上記形態の画像処理システムあるいは画像処理方法においては、対象者検出用光学系によって取得された顔画像を基に、対象者の眼部のディスプレイ装置に対する相対的な位置が特定され、その位置を基に、対象物画像のうちのディスプレイ装置によって遮られている範囲の画像がディスプレイの表示面上に表示される。これにより、例えば、ディスプレイ装置を遮蔽物の手前に配置することによって遮蔽物による死角の発生を十分に防止することができる。加えて、遮蔽物にディスプレイ装置を配置すれば済むので光学装置の構成を複雑化させることもない。
【００１０】
ここで、対象者検出用光学系は、眼部の三次元位置を特定可能な顔画像を取得し、対象物検出用光学系は、観察対象物の三次元位置を特定可能な対象物画像を取得し、算出部は、眼部の三次元位置と観察対象物の三次元位置とを基に、対象物画像のうちでディスプレイ装置によって遮られている範囲の画像を画定する、こととしてもよい。この場合、対象物画像のうちディスプレイ装置によって遮られている観察対象物の範囲の画像を精度よく画定することができる。その結果、遮蔽物による死角の発生をより十分に防止することができる。
（【００１１】以降は省略されています）

関連特許