特許ウォッチ

公開番号2025165739
公報種別公開特許公報(A)
公開日2025-11-05
出願番号2024070015
出願日2024-04-23
発明の名称検索システム及び検索方法
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06F 16/53 20190101AFI20251028BHJP(計算;計数)
要約【課題】利便性の高い3Dオブジェクト検索を実現すること。
【解決手段】入力画像から入力3Dオブジェクトを生成する3Dオブジェクト生成部と、前記入力3Dオブジェクトを複数視点から見た複数の画像を検索用画像群として生成する画像生成部と、前記検索用画像群に含まれる各画像から画像特徴量を計算する画像特徴量抽出部と、前記検索用画像群に含まれる画像の各々を検索クエリとして、検索対象となる複数の3Dオブジェクトについて複数視点から見た複数の画像を登録したデータベースを検索する画像検索部と、前記検索用画像群に含まれる画像の各々についての検索結果を、前記検索対象の3Dオブジェクトごとに統合し、前記検索対象の3Dオブジェクトのうち前記入力画像に類似する3Dオブジェクトを類似3Dオブジェクトとして出力する画像検索結果統合部と、を備える。
【選択図】図1

特許請求の範囲【請求項１】
入力画像から入力３Ｄオブジェクトを生成する３Ｄオブジェクト生成部と、
前記入力３Ｄオブジェクトを複数視点から見た複数の画像を検索用画像群として生成する画像生成部と、
前記検索用画像群に含まれる各画像から画像特徴量を計算する画像特徴量抽出部と、
前記検索用画像群に含まれる画像の各々を検索クエリとして、検索対象となる複数の３Ｄオブジェクトについて複数視点から見た複数の画像を登録したデータベースを検索する画像検索部と、
前記検索用画像群に含まれる画像の各々についての検索結果を、前記検索対象の３Ｄオブジェクトごとに統合し、前記検索対象の３Ｄオブジェクトのうち前記入力画像に類似する３Ｄオブジェクトを類似３Ｄオブジェクトとして出力する画像検索結果統合部と、
を備えることを特徴とする検索システム。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の検索システムであって、
前記データベースに登録された画像には、前記検索対象となる３Ｄオブジェクトの識別情報が対応付けられており、
前記画像検索部は、検索クエリに対する検索結果である複数の画像について前記検索クエリに対する類似度を求め、
前記画像検索結果統合部は、前記検索用画像群に含まれる画像の各々の検索結果から、同一の３Ｄオブジェクトの識別情報を対応付けられた画像の類似度を合計し、当該３Ｄオブジェクトの類似度とすることを特徴とする検索システム。
【請求項３】
請求項２に記載の検索システムであって、
前記画像検索結果統合部は、同一の３Ｄオブジェクトの識別情報を対応付けられた画像の類似度を合計する際に、所定の重みをつけて合計するものであり、
前記重みは、前記検索用画像群に含まれる各画像の視点と、前記入力画像の視点との差に応じて定まることを特徴とする検索システム。
【請求項４】
請求項２に記載の検索システムであって、
前記入力画像と検索用画像群に含まれる画像とを表示する表示部と、
前記検索用画像群に含まれる画像に対する重みの指定を受け付ける入力部とをさらに備え、
前記画像検索結果統合部は、同一の３Ｄオブジェクトの識別情報を対応付けられた画像の類似度を合計する際に、指定された重みをつけて合計することを特徴とする検索システム。
【請求項５】
請求項１に記載の検索システムであって、
前記データベースに画像を登録する登録部をさらに備え、
前記３Ｄオブジェクト生成部は、検索対象として画像を受け付けた場合には検索対象としての３Ｄオブジェクトを生成し、
前記画像生成部は、検索対象として受け付けた３Ｄオブジェクト、または検索対象として受け付けた画像から生成した３Ｄオブジェクトを用い、当該３Ｄオブジェクトを複数視点から見た複数の画像を登録用の画像群として生成し、
前記登録部は、前記画像生成部が生成した画像群に前記検索対象としての３Ｄオブジェクトの識別情報を対応付けて前記データベースに登録することを特徴とする検索システム。
【請求項６】
請求項１に記載の検索システムであって、
前記データベースは、検索対象の３Ｄオブジェクトを示す３Ｄオブジェクトデータに３Ｄオブジェクト識別情報を対応付け、検索対象の画像を示す画像データに３Ｄオブジェクト識別情報と画像特徴量と視点位置とを対応付けることを特徴とする検索システム。
【請求項７】
請求項１に記載の検索システムであって、
前記画像検索部は、前記データベースに登録された画像のうち代表画像を対象として検索を行い、
前記代表画像は、特徴量空間を分割したクラスタごとに選択されていることを特徴とする検索システム。
【請求項８】
請求項１に記載の検索システムであって、
前記画像検索部は、前記データベースに登録された画像のうち代表画像を対象として検索を行い、
前記代表画像は、特徴量空間において密度が閾値未満の領域に存在する画像であることを特徴とする検索システム。
【請求項９】
請求項２に記載の検索システムであって、
前記画像検索結果統合部は、前記検索用画像群における視点の組み合わせと、同一の３Ｄオブジェクトの識別情報を対応付けられた画像における視点の組み合わせとの一致度に応じて検索対象の３Ｄオブジェクトの類似度を修正することを特徴とする検索システム。
【請求項１０】
請求項１に記載の検索システムであって、
前記画像生成部は、前記入力３Ｄオブジェクトからマルチモーダル画像を生成し、マルチモーダル画像から生成した画像を検索用画像群に含まれる画像として出力することを特徴とする検索システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、３Ｄオブジェクトを検索する検索システム及び検索方法に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
コンピュータ支援設計（ＣＡＤ：ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｅｓｉｇｎ）技術やソフトウェアの普及に伴い、製品設計・製造や建築・施工等において３Ｄ（３Ｄｉｍｅｎｓｉｏｎ）データの活用が広まっている。これらの３Ｄデータはデジタルデータであるため容易に保存可能であり、大量に蓄積された３Ｄデータを効率的に検索したいというニーズが生じている。また、３Ｄデータに付随する書誌情報だけでなく、アイデア段階のスケッチや写真などの画像１枚を手がかりに、見た目の類似した３Ｄデータを検索することができれば、設計初期段階の作業効率化や、現場の写真からの関連情報の探索など、３Ｄデータの活用を加速することができる。
【０００３】
見た目の似た画像をデータベースから見つけ出す方法として類似画像検索技術が知られている。類似画像検索では、画像から色や形状などを表す画像特徴量を数値ベクトルとして計算しておき、ベクトル間距離が近い画像をデータベース内で検索する。近年では、大規模なデータセットと深層学習を用いて画像特徴量を計算することにより、検索精度が向上している。一方で、３Ｄデータは視点によって見た目が大きく異なるため、画像１枚を手がかりに類似する３Ｄデータを検索することは困難である。
【０００４】
このような３Ｄデータの検索に対して、特許文献１の物体検索装置は、第一のニューラルネットワークで構成され、画像を入力して画像特徴量を抽出する画像特徴抽出部と、第二のニューラルネットワークで構成され、三次元データを入力して三次元データ特徴量を抽出する三次元データ特徴抽出部と、同一個体から得られた物体の画像と三次元データから、それぞれ画像特徴量と三次元データ特徴量を抽出し、画像特徴量と三次元データ特徴量との差分を減らすように画像特徴抽出用のパラメータを更新する学習部と、更新された画像特徴抽出用のパラメータを使用した画像特徴抽出部が物体のクエリ画像及びギャラリー画像の画像特徴量を抽出し、両画像の画像特徴量の類似度を算出して物体を検索する検索部と、を備える。これにより、形状や凹凸に特徴のある物体の検索において、画像のみでそれらの情報を特徴量に表現し、正確な検索を行うことを可能とする物体検索装置を提供する。
【０００５】
一方で、深層学習の発展により、文章や簡易なスケッチなどの単純な入力から画像を自動生成する手法が急速に発展している。例えば、拡散モデルを用いて画像を生成する手法、文章や画像を入力として３Ｄオブジェクトを生成する手法が知られている。
【先行技術文献】
【特許文献】
【０００６】
特許第７１９６０５８号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１が示す先行技術には２つの主要な課題が存在する。第一に、画像と三次元データの特徴量学習に訓練データが必要という課題である。この場合、新しい種類の３Ｄオブジェクトや画像がデータベースに追加されるたびに、新たな訓練データが必要となる。これは非常に労力を要し、また全ての可能性をカバーするに足りうる訓練データを提供するのは現実的ではない。
【０００８】
第二に、特許文献１の装置ではユーザが中間結果を確認したり、制御することができない問題がある。ユーザは検索結果を直接利用するしかなく、検索結果に対して画像と三次元データのどの部分が類似していたかというような根拠を調べたり、具体的な指示や調整をおこなって検索クエリにフィードバックをかけて再検索することが困難である。
これらのことから、３Ｄオブジェクトの検索に際し、学習の負荷がなく、検索のフィードバックが可能な利便性の高い検索システムを実現することが求められている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、代表的な本発明の検索システムの一つは、入力画像から入力３Ｄオブジェクトを生成する３Ｄオブジェクト生成部と、前記入力３Ｄオブジェクトを複数視点から見た複数の画像を検索用画像群として生成する画像生成部と、前記検索用画像群に含まれる各画像から画像特徴量を計算する画像特徴量抽出部と、前記検索用画像群に含まれる画像の各々を検索クエリとして、検索対象となる複数の３Ｄオブジェクトについて複数視点から見た複数の画像を登録したデータベースを検索する画像検索部と、前記検索用画像群に含まれる画像の各々についての検索結果を、前記検索対象の３Ｄオブジェクトごとに統合し、前記検索対象の３Ｄオブジェクトのうち前記入力画像に類似する３Ｄオブジェクトを類似３Ｄオブジェクトとして出力する画像検索結果統合部と、を備えることを特徴とする。
また、代表的な本発明の検索方法の一つは、検索装置が、入力画像から入力３Ｄオブジェクトを生成する３Ｄオブジェクト生成ステップと、前記入力３Ｄオブジェクトを複数視点から見た複数の画像を検索用画像群として生成する画像生成ステップと、前記検索用画像群に含まれる各画像から画像特徴量を計算する画像特徴量計算ステップと、前記検索用画像群に含まれる画像の各々を検索クエリとして、検索対象となる複数の３Ｄオブジェクトについて複数視点から見た複数の画像を登録したデータベースを検索する画像検索ステップと、前記検索用画像群に含まれる画像の各々についての検索結果を、前記検索対象の３Ｄオブジェクトごとに統合し、前記検索対象の３Ｄオブジェクトのうち前記入力画像に類似する３Ｄオブジェクトを類似３Ｄオブジェクトとして出力する画像検索結果統合ステップと、を含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、利便性の高い３Ｄオブジェクト検索が実現できる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許