特許ウォッチ

公開番号2025160113
公報種別公開特許公報(A)
公開日2025-10-22
出願番号2025040593
出願日2025-03-13
発明の名称生涯学習に基づくロボットのシーン認識方法
出願人杭州電子科技大学,Hangzhou Dianzi University
代理人弁理士法人ATEN
主分類G06V 20/00 20220101AFI20251015BHJP(計算;計数)
要約【課題】本発明は生涯学習に基づくロボットのシーン認識方法を提供する。
【解決手段】先進的な特徴抽出技術と集約技術を集積することによって、長期記憶と短期記憶のメカニズム、及び知能的知識蒸留と記憶知覚シナプスポリシーを統合し、ロボットのシーンに対する認識正確性と生涯学習能力を向上させる。本発明の生涯学習ロボットのシーン認識方法は、性能が著しく向上し、特に複雑で変化に富む環境において、従来の技術と比べ、本方法はより高い識別正確率とより優れた長期学習能力を提供することができる。複数の季節のNordlandと複数の照明条件のOxfordデータセットへの適用とテストによって、本発明はその異なるシーンに対する強力な識別能力、及び生涯学習シーンにおいて古い知識の保持と新しい知識の学習とを調和させることに成功した。
【選択図】図1
特許請求の範囲【請求項１】
生涯学習に基づくロボットのシーン認識方法であって、以下のステップを含み、
ステップＳ１：ロボットカメラにより撮影されたシーン画像を取得し、
ステップＳ２：シーン画像に対して前処理を行い、
ステップＳ３：前処理後のシーン画像を長短期三重記憶モジュールに入力し、前記長短期三重記憶モジュールからランダムに一つのアンカーデータＩ
ａ
をサンプリングして学習シーンとし、その後、学習シーンＩ
ａ
と同じシーンに属する複数の正のサンプルデータＩ
ｐｉ
をランダムにサンプリングして学習サンプルとし、前記学習シーンＩ
ａ
と異なるシーンに属する複数の負のサンプルデータＩ
ｎｉ
をランダムにサンプリングし、
前記学習シーンＩ
ａ
、前記複数の正のサンプルデータＩ
ｐｉ
、前記複数の負のサンプルデータＩ
ｎｉ
から小サンプルセットを構成し、
ステップＳ４：前記小サンプルセット内のデータをシーン認識ネットワークに入力し、対応する特徴ベクトルの小サンプルセットｆ
ａ
,ｆ
ｐｉ
,ｆ
ｎｉ
を出力し、特徴ベクトル間のコサイン類似度によって、最も類似しない同じシーンの特徴ベクトルｆ
ｐ
と最も類似する異なるシーンの特徴ベクトルｆ
ｎ
を探し出し、前記学習シーンに対応する特徴ベクトルｆ
ａ
と１つのディープマイニング後の三つのグループを構成し、
ステップＳ５：前記長短期三重記憶モジュールに対して記憶更新を行い、
ステップＳ６：ステップＳ１～Ｓ５を繰り返し、シーン認識ネットワークの学習を完了し、
ステップＳ７：シーン画像をシーン認識ネットワークに入力し、特徴ベクトルｆ’を出力し、
ステップＳ８：前記特徴ベクトルｆ’とデータベース内の既存のシーン特徴ベクトルとを比較し、類似度が最も高いシーンを認識結果として探し出し、シーン認識機能を実現する
ことを特徴とする生涯学習に基づくロボットのシーン認識方法。
続きを表示（約 2,000 文字）【請求項２】
前記長短期三重記憶モジュールは、短期記憶モジュール、パノラマ記憶モジュール及び長期記憶モジュールを含み、
短期記憶モジュールは、先入れ先出し画像列を用いて実現され、
パノラマ記憶モジュールは、短期記憶モジュールが画像を出力し、内部フィルタリングを行うことによって形成され、
長期記憶モジュールは、履歴シーンのパノラマ記憶モジュールによってフィルタリングされて得られる、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記シーン認識ネットワークは、ＶＧＧ特徴抽出器、ＶＬＡＤアグリゲータを含む、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記ＶＧＧ特徴抽出器は、ＶＧＧ１６特徴抽出器を用い、
前記ＶＬＡＤアグリゲータは、ＮｅｔＶＬＡＤアグリゲータを用い、
前記ＮｅｔＶＬＡＤアグリゲータは、具体的には、クラスタリング及び残差加算によって特徴の集約を実現する、ことを特徴とする請求項３に記載の方法。
【請求項５】
前記シーン認識ネットワークの損失関数が以下のとおりであり、
JPEG
2025160113000018.jpg
18
134
ここで、ｔはｔ番目の環境の損失関数を示し、λ
１
、λ
２
はハイパーパラメータであり、Ｌ
ｈａｒｄ－ｔｒｉｐｌｅｔ
はディープマイニングの三つのグループの損失関数であり、Ｌ
ＲＭＡＳ
は関係型記憶知覚シナプス損失関数であり、Ｌ
ＫＤ
は分布に基づく知識蒸留損失関数であり、
前記ディープマイニングの三つのグループの損失関数Ｌ
ｈａｒｄ－ｔｒｉｐｌｅｔ
は、具体的には以下のとおりであり、
JPEG
2025160113000019.jpg
35
129
ここで、符号（２－１）はシーン認識ネットワークが出力したｉ番の負のサンプル画像特徴とアンカー画像特徴のコサイン類似度であり、符号（２－２）はシーン認識ネットワークが出力したｊ番の正のサンプル画像特徴とアンカー画像特徴の類似度であり、δは人為的に設定したハイパーパラメータであり、
前記関係型記憶知覚シナプス損失関数であるＬ
ＲＭＡＳ
は、具体的には以下のとおりであり、
JPEG
2025160113000020.jpg
50
142
ここで、符号（３－１）はシーン認識ネットワークがｔ番目のタスクを学習したときのｉ番目のパラメータを示し、Ｎ
ｔ
は訓練バッチにおけるサンプル数を示し、符号（４－１）はタスクｔまで訓練したときの三つのグループのサンプルからなるグラム行列を示し、Ｆはフロベニウスノルムであり、
前記分布に基づく知識蒸留損失関数Ｌ
ＫＤ
は、具体的には以下のとおりであり、
JPEG
2025160113000021.jpg
62
168
ここで、式（６）の、符号（６－１）はｔ番目の環境においてシーン認識ネットワークが抽出したｉ番目の特徴ベクトルを示し、ｄは符号（６－１）の次元である、ことを特徴とする請求項１に記載の方法。
【請求項６】
前記ステップＳ５において、具体的には、短期記憶モジュールの中で最も古いシーンがパノラマ記憶モジュールに書き込まれ、パノラマ記憶モジュールの空間がいっぱいになれば、読み込まれたデータ量に対する空間容量の割合を更新の確率として、パノラマ記憶モジュール内部のデータをランダムに入れ替え、パノラマ記憶モジュールが現在の完全な環境を表現できることを確保し、新しい環境に入った後、前の環境のパノラマ記憶モジュールを前記割合に応じて長期記憶モジュールに書き込み、長期記憶モジュールが現在までの複数の環境を表現できるようにする、ことを特徴とする請求項１に記載の方法。
【請求項７】
コンピュータが読み取り可能な記憶媒体であって、
コンピュータプログラムが記憶され、前記コンピュータプログラムがコンピュータ内で実行されると、請求項１～６のいずれか１項に記載方法をコンピュータに実行させる、ことを特徴とするコンピュータが読み取り可能な記憶媒体。
【請求項８】
コンピュータ装置であって、
メモリ及びプロセッサを含み、
前記メモリに実行可能コードを記憶し、前記プロセッサが前記実行可能コードを実行するとき、請求項１～６のいずれか１項に記載の方法を実施する、ことを特徴とするコンピュータ装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ロボット技術分野に属し、特に生涯学習に基づくロボットのシーン認識方法に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
広義に言えば、ループ閉鎖検出タスクはシーン認識タスクに相当し、目標は現在いるシーンを探し出すことである。ループ閉鎖検出は現代同期位置決めと作図（ＳＬＡＭ）システムの重要な構成部分であり、主にループ閉鎖検出後の累積オフセット誤差の除去に用いられ、作図の正確性を向上させ、かつロボットのシーン認識機能を実現する。ループ閉鎖検出の目標は、ある環境の画像が与えられたとき、その環境を過去に経験したことがあれば、それを認識することであり、ロボットにシーン認識能力を持たせることである。
【０００３】
従来のループ閉鎖検出方法は手動で特徴を計算する方式を採用し、例えばＨｏＧ、ＳＩＦＴなどのアルゴリズムを使用し、視覚言語を生成し、且つそれに基づいて語の袋（ＢｏＷ：ＢａｇｏｆＷｏｒｄｓ）モデルを構築する。ループ閉鎖検出はその後、人工知能の発展にともない、深層学習の手法を用いて実現されるようになる。主なモデルは２つの部分から構成され、すなわち画像内のいくつかの特徴を抽出する特徴抽出器と、複数の特徴を統合するアグリゲータである。最後にアグリゲータから出力された各結果を互いに比較し、ループ閉鎖検出問題を画像検索問題に変換する。
【０００４】
このような方法は理論的にロボットのシーン認識を実現することができるが、実際の応用では多くの他の問題に直面する。実際にプロジェクトに配備されたロボットは単一のシーンで活動するわけではないため、ロボットのシーン認識能力は様々な状況に応じて増えていく環境に対応する必要がある。しかし、ロボットの記憶能力は限られており、特別な設計を行わなければ、次の２つの結果しかもたらさない。
１、ロボットは新しいシーンを学習した後、古いシーンの認識能力を忘れる。これは壊滅的な忘却である。
２、ロボットはすべてのシーンのデータを保持するが、ロボットが使用されるにつれて、記憶オーバーヘッドが巨大になり、オンライン配備を実現することが難しい。
したがって、上記の問題を解決するために、本発明は生涯学習に基づくロボットのシーン認識方法を提案する。
【０００５】
ロボットの生涯学習は、人間を模倣した学習過程である。人間は学習の過程で孤立しているのではなく、過去に学んだ知識を絶えず蓄積し、かつ過去の知識を利用してより多くの知識を学習し、ある程度は忘れるが、時間が経つにつれて、ますます多くの知識を学習する。生涯学習は３つの特徴を有する。
１．継続的に学習する。
２．知識が知識ベースに蓄積される。
３．過去の知識を利用して未来の知識を学習することを助ける。
生涯学習をロボットのシーン認識に応用することで、ロボットは壊滅的な忘却を起こさずにより多くのシーンを学習することができる。
【０００６】
近年、生涯学習に基づくいくつかの方法でロボットのシーン認識を実現したが、以下の面で欠陥がある。まず、アグリゲータで単純なプーリング方法を使用すると、連続撮影されたシーン画像にうまく適応できない。次に、比較学習では通常、三つのグループの損失関数を使用するため、学習過程が不安定になり、学習効率が悪い。次に、知識蒸留の設計が簡単すぎて、モデルの全体的な蒸留効果を考慮していない。最後に、記憶再生において記憶モジュールの設計が十分に詳細化されていないため、性能が悪い。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は生涯学習に基づくロボットのシーン認識に用いるループ閉鎖検出方法を設計し、生涯学習の方法を採用し、手作業設計の複雑さを減少させるだけでなく、オンライン配置と複数のシーンへの適応を容易にする。これまでのループ閉鎖検出方法に存在する欠陥に対して、本発明は性能がより優れたアグリゲータを採用し、三つのグループに基づく計量学習方法を改善する。モデルの壊滅的な忘却を予防するために、本発明は生物学に基づく長短期三重記憶モジュールを提案し、生涯学習を実現すると同時に、比較学習を促進してモデルの学習効率を向上させ、これによってロボットの領域を超えたシーン認識機能を実現する。
【０００８】
本発明の目的は、前記従来技術の不足を克服し、生涯学習に基づくロボットのシーン認識方法を提供することである。
【課題を解決するための手段】
【０００９】
第１の態様では、本発明は生涯学習に基づくロボットのシーン認識方法を提供し、前記方法は以下を含む。
ステップＳ１：ロボットカメラにより撮影されたシーン画像を取得する。
ステップＳ２：シーン画像に対して前処理を行う。
ステップＳ３：前処理後のシーン画像を長短期三重記憶モジュールに入力する。長短期三重記憶モジュールから共同でランダムにアンカーデータＩ
ａ
をサンプリングして学習シーンとし、その後、学習シーンＩ
ａ
と同じシーンに属する複数の正のサンプルデータＩ
ｐｉ
をランダムにサンプリングして学習のサンプルとし、学習シーンＩ
ａ
と異なるシーンに属する複数の負のサンプルデータＩ
ｎｉ
をランダムにサンプリングする。
学習シーンＩ
ａ
、複数の正のサンプルデータＩ
ｐｉ
、複数の負のサンプルデータＩ
ｎｉ
から小サンプルセットを構成する。
ステップＳ４：小サンプルセット内のデータをシーン認識ネットワークに入力し、対応する特徴ベクトルの小サンプルセットｆ
ａ
,ｆ
ｐｉ
,ｆ
ｎｉ
を出力し、特徴ベクトル間のコサイン類似度によって、最も類似しない同じシーンの特徴ベクトルｆ
ｐ
と最も類似する異なるシーンの特徴ベクトルｆ
ｎ
を探し出し、学習シーンに対応する特徴ベクトルｆ
ａ
と１つのディープマイニング後の三つのグループを構成する。ディープマイニング後の三つのグループｆ
ａ
,ｆ
ｐ
,ｆ
ｎ
によって損失関数を計算する。
前記シーン認識ネットワークはＶＧＧ１６特徴抽出器、ＮｅｔＶＬＡＤアグリゲータを含む。
前記ＮｅｔＶＬＡＤアグリゲータは、具体的にクラスタリングと残差合計によって特徴の集約を実現する。
【００１０】
前記シーン認識ネットワークの損失関数は以下のとおりである。
（【００１１】以降は省略されています）

関連特許