特許ウォッチ

公開番号2024127872
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2024035397
出願日2024-03-07
発明の名称画像処理方法、装置およびコンピュータ読み取り可能記憶媒体
出願人株式会社リコー
代理人個人,個人
主分類G06T 7/00 20170101AFI20240912BHJP(計算;計数)
要約【課題】本発明は、パノラマ画像を処理する画像処理方法を提供する。
【解決手段】かかる方法は、部屋に関するパノラマ画像を取得し;前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第1の情報を特定し;及び、前記第1の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示することを含む。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータが実行する画像処理方法であって、
部屋に関するパノラマ画像を取得し；
前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；及び
前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、
ことを含む画像処理方法。
続きを表示（約 1,700 文字）【請求項２】
前記パノラマ画像に対して構造検出を行うことにより、前記部屋の構造面に関する第２の情報を特定し；
前記第２の情報に基づいて、前記部屋の二次元平面図を生成し；及び
前記第１の情報と前記第２の情報に基づいて、前記二次元平面図において、前記少なくとも一つのドアについて、ドア毎に少なくとも二次元ドア表示、ドアタイプ及び開け方を示す平面標識を表示する、
ことをさらに含む請求項１に記載の画像処理方法。
【請求項３】
前記部屋の二次元平面図を生成することは、
前記第２の情報に基づいて、三次元空間座標系において前記部屋の三次元表示を生成し；及び
前記三次元表示を二次元平面座標系に変換して、前記部屋の二次元平面図を生成する、
ことを含む請求項２に記載の画像処理方法。
【請求項４】
前記二次元平面図において、前記少なくとも一つのドアについて、ドア毎に平面標識を表示することは、
前記第１の情報と前記第２の情報に基づいて、前記ドア毎に、二次元ドア表示を前記部屋の二次元平面図において相応する構造面に対応する辺に垂直に投影して、代替二次元表示を生成し；及び
前記代替二次元表示を二次元ドア表示として、前記ドア毎に前記二次元平面図に表示する、
ことを含む請求項３に記載の画像処理方法。
【請求項５】
前記パノラマ画像において、前記少なくとも１つのドアについて、ドア毎にパノラマ標識または平面標識を表示する前に、
前記第１の情報と前記第２の情報に基づいて、前記少なくとも一つのドアのそれぞれの代表点から相応する構造面までの距離を特定し；及び
前記少なくとも一つのドアから前記距離がしきい値範囲に合致しないドアを取り除く、
ことを更に含む請求項２に記載の画像処理方法。
【請求項６】
前記少なくとも１つのドアのそれぞれのパノラマ標識または平面標識は前記ドアの両側の部屋のタイプをさらに示す、
請求項１に記載の画像処理方法。
【請求項７】
前記ドア検出と前記構造検出はディープラーニングに基づくニューラルネットワークを用いて行われる、
請求項２に記載の画像処理方法。
【請求項８】
請求項７に記載のディープラーニングに基づくニューラルネットワークのトレーニングに用いるニューラルネットワークトレーニング方法であって、
前記パノラマ画像に対して空間変換を行うことにより、前記パノラマ画像と異なる視点を有する複数のサンプルパノラマ画像を生成し；及び
前記複数のサンプルパノラマ画像を使用して前記ニューラルネットワークをトレーニングする、
ことを含むニューラルネットワークトレーニング方法。
【請求項９】
建物中の所定の部屋に関する複数のパノラマ画像を取得し；
前記複数のパノラマ画像に対して、パノラマ画像毎にドア検出を行うことにより、前記所定の部屋における少なくとも一つのドアに関する第１の情報を特定し；
前記複数のパノラマ画像に対して、パノラマ画像毎に構造検出を行うことにより、前記所定の部屋の構造面に関連する第２の情報を特定し；
前記第１の情報と前記第２の情報に基づいて、所定の部屋中の前記少なくとも一つのドアのドア表示、ドアタイプ、開け方及び前記ドアの両側の部屋のタイプ中の少なくとも一つを示す標識を含み、前記建物中の部屋に関する複数の部屋平面図を生成し；及び
前記複数の部屋平面図のそれぞれに基づいて、複数の部屋間のドアに対してマッチングを行い、マッチングドア候補を決定する、
ことを含む画像処理方法。
【請求項１０】
前記マッチングドア候補に基づいて、前記複数の部屋平面図を繋ぎ合わせて、前記建物の建築平面図を生成する、
ことをさらに含む請求項９に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像処理分野に関し、特にパノラマ画像を処理する画像処理方法、装置およびコンピュータ読み取り可能な記憶媒体に関する。更に具体的には、本発明にかかる画像処理方法は、パノラマ画像にドアに関する標識の表示と複数の部屋の間にマッチングドア候補を特定する方法、及びディープランニングに基づくニューラルネットワークを訓練するサンプルを生成する方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
バーチャルローミングはバーチャルリアリティー（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、ＶＲ）の技術一つ重要な部分であり、建築、旅行、ゲーム、航空宇宙、医学などの多数の業界に及ぶ。バーチャルシーン構築技術とバーチャルローミング技術の組み合わせにより、ユーザは、建物、都市またはゲームシーンなどの三次元シーンで自律的にローミングし、シーンに直観的に感じられる。また、近年、オンライン不動産やデジタルインテリア・デザインなどの事業が大きく成長し、バーチャルローミング技術が関連分野で広く利用されるようになった。この技術を利用することにより、建物や部屋のバーチャルナビゲーションが可能になり、更に、顧客がオンラインで建物全体や特定の室内空間を簡単に閲覧できるように、相応の間取り図を生成することもできる。
【０００３】
しかしながら、既存のバーチャルローミングを利用して顧客に提供される情報は依然として限られており、場合によっては不正確である可能性があるため、顧客は実地調査を必要とすることが多く、平面図の生成にも悪影響を与える。
【０００４】
そのため、パノラマ画像を処理する画像処理方法および装置を改善する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情を鑑みて、従来技術中の少なくとも上記問題を解決または改善するために、以下の画像処理方法、装置とコンピュータ読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本発明の一つの側面は、部屋に関するパノラマ画像を取得し；パノラマ画像に対してドア検出を行うことにより、部屋中の少なくとも一つのドアに関する第１の情報を特定し；第１の情報に基づいて、パノラマ画像において、少なくとも一つのドアについて、ドア毎にドア輪郭、ドアタイプ及び開け方を少なくとも示すパノラマ標識を表示する、ことを含む画像処理方法を提供する。
【０００７】
本発明の実施例によれば、パノラマ画像に対して構造検出を行うことにより、部屋の構造面に関する第２の情報を特定し；第２の情報に基づいて、部屋の二次元平面図を生成し；第１の情報と第２の情報に基づいて、二次元平面図において、少なくとも一つのドアについて、ドア毎に二次元ドア表示、ドアタイプ及び開け方を少なくとも示す平面標識を表示する、ことをさらに含む。
【０００８】
本発明の実施例によれば、二次元平面図を生成することは、第２の情報に基づいて、三次元空間座標系において部屋の三次元表示を生成し；三次元表示を二次元平面座標系に変換して、部屋の二次元平面図を生成する、ことを含む。
【０００９】
本発明の実施例によれば、二次元平面図において、少なくとも一つのドアについて、ドア毎に平面標識を示すことは、第１の情報と第２の情報に基づいて、ドア毎に、二次元ドア表示を部屋の二次元平面図において相応の構造面に対応する辺に垂直に投影して、代替二次元表示を生成し；代替二次元表示を二次元ドア表示として、ドア毎に二次元平面図に表示する、ことを含む。
【００１０】
本発明の実施例によれば、パノラマ画像において少なくとも１つのドアについて、ドア毎にパノラマ標識または平面標識を表示する前に、第１の情報と第２の情報に基づいて、少なくとも一つのドアのそれぞれの代表点と相応構造面との距離を特定し；少なくとも一つのドアから距離がしきい値範囲に合致しないドアを除去する、ことを更に含む
本発明の実施例によれば、少なくとも１つのドアのそれぞれのパノラマ標識または平面標識は前記ドアの両側の部屋のタイプをさらに示す。
（【００１１】以降は省略されています）

関連特許