TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2019149642
公報種別公開特許公報(A)
公開日20190905
出願番号2018032411
出願日20180226
発明の名称ネットワークシステム、トポロジ管理方法、およびプログラム
出願人日本電信電話株式会社
代理人特許業務法人磯野国際特許商標事務所
主分類H04L 12/70 20130101AFI20190809BHJP(電気通信技術)
要約【課題】障害の原因箇所の特定を迅速に行うことができるネットワークシステム、トポロジ管理方法、およびプログラムを提供する。
【解決手段】ネットワークシステムは、仮想網11の論理リソース間の端点情報およびその接続情報と、物理網1の物理リソース間の端点情報およびその接続情報と、論理リソースと物理リソースの対応情報と、からなるトポロジ情報220Aを時系列でグラフDB220に記憶する記憶部130と、オーケストレータ300からの変更通知を契機として、オーケストレータ300から仮想網11の設定情報を取得する時系列管理装置100の設定情報取得部121と、取得した設定情報をもとに、記憶部130のグラフDB220に記憶されたトポロジ情報220Aを更新するトポロジ情報管理部120と、を備える。
【選択図】図2
特許請求の範囲約 1,500 文字を表示【請求項1】
物理網上に形成された仮想網と、仮想網の環境変化に対して設定制御を行うオーケストレータと、を備えるネットワークシステムであって、
前記仮想網の論理リソース間の端点情報およびその接続情報と、前記物理網の物理リソース間の端点情報およびその接続情報と、前記論理リソースと前記物理リソースの対応情報と、からなるトポロジ情報を時系列でデータベースに記憶する記憶部と、
前記オーケストレータからの変更通知を契機として、前記オーケストレータから前記仮想網の設定情報を取得する設定情報取得部と、
取得した前記設定情報をもとに、前記記憶部の前記データベースに記憶された前記トポロジ情報を更新するトポロジ情報管理部と、を備える
ことを特徴とするネットワークシステム。
【請求項2】
前記トポロジ情報の参照要求を受付け、前記記憶部に記憶された前記トポロジ情報に、参照したい期間のデータがある場合には、該当期間の前記トポロジ情報を参照するトポロジ参照部を、備える
ことを特徴とする請求項1に記載のネットワークシステム。
【請求項3】
前記記憶部は、前記物理網の各装置のコンフィグ情報を前記データベースに記憶しており、
前記トポロジ参照部は、前記トポロジ情報に、参照したい期間のデータがない場合には、前記記憶部に記憶された前記コンフィグ情報をもとに、トポロジを計算するトポロジ計算部を、備える
ことを特徴とする請求項2に記載のネットワークシステム。
【請求項4】
前記トポロジ情報管理部は、
参照する確率が所定値以下の前記トポロジ情報、および/または、所定よりも過去の前記トポロジ情報は、前記データベースから破棄する
ことを特徴とする請求項1に記載のネットワークシステム。
【請求項5】
前記トポロジ参照部が参照した前記トポロジ情報、または前記トポロジ計算部が計算したトポロジを出力する出力部を備える
ことを特徴とする請求項3に記載のネットワークシステム。
【請求項6】
物理網上に形成された仮想網と、仮想網の環境変化に対して設定制御を行うオーケストレータと、を備えるネットワークシステムにおけるトポロジ管理方法であって、
前記仮想網の論理リソース間の端点情報およびその接続情報と、前記物理網の物理リソース間の端点情報およびその接続情報と、前記論理リソースと前記物理リソースの対応情報と、からなるトポロジ情報を時系列でデータベースに記憶するステップと、
前記オーケストレータからの変更通知を契機として、前記オーケストレータから前記仮想網の設定情報を取得するステップと、
取得した前記設定情報をもとに、記憶部に記憶された前記トポロジ情報を更新するステップと、
を実行することを特徴とするトポロジ管理方法。
【請求項7】
物理網上に形成された仮想網と、仮想網の環境変化に対して設定制御を行うオーケストレータと、を備えるサーバ装置としてのコンピュータを、
前記仮想網の論理リソース間の端点情報およびその接続情報と、前記物理網の物理リソース間の端点情報およびその接続情報と、前記論理リソースと前記物理リソースの対応情報と、からなるトポロジ情報を時系列でデータベースに記憶する記憶手段、
前記オーケストレータからの変更通知を契機として、前記オーケストレータから前記仮想網の設定情報を取得する設定情報取得手段、
取得した前記設定情報をもとに、記憶部に記憶された前記トポロジ情報を更新するトポロジ情報管理手段、として機能させるためのプログラム。

発明の詳細な説明約 22,000 文字を表示【技術分野】
【0001】
本発明は、ネットワークシステム、トポロジ管理方法、およびプログラムに関する。
【背景技術】
【0002】
従来から、ネットワーク資源の有効利用を実現する技術としてネットワークの仮想化が提案されている。仮想化とは、物理的なインフラ網(物理網)上に、複数の論理的な仮想網トポロジ(VNT、Virtual Network Topology)を収容するものである。このVNTは、例えば、音声系サービス、映像系サービス等、サービスごとに割り当てられる。この仮想化において、個別のVNTに対してはVNT制御技術(非特許文献1参照)により自律的に最適な制御を行いつつ、各VNTに対する配分リソース(資源)制御技術によって物理網全体の資源利用の効率化を図っている。なお、ここでの配分リソース制御とは、各VNTを構成する物理リンクへの割り当て帯域の制御等を示す。
【0003】
特許文献1には、物理網に収容されるVNTの情報を表示するNW可視化装置が記載されている。特許文献1に記載のNW可視化装置は、NW可視化によりVNT間の資源の共有状態や、各VNTへの資源割り当て状況や、各VNTの挙動を把握することができる。
【0004】
図12は、物理網および仮想網から構成される仮想化NWを示す概略の構成図である。
図12に示すように、物理網(インフラ網)1は、ノード2と、それぞれノード2間を接続するリンク3とを備える。物理網1は、例えば、各ノード2が光ファイバで接続されているWDMネットワークである。
物理網1上には、仮想網11−1、仮想網11−2、仮想網11−3が構成されている。仮想網11−1、仮想網11−2、仮想網11−3は、WDM(Wavelength Division Multiplexing)やTDM(Time Division Multiplexing)などのレイヤ1技術、Ethernet(登録商標)などのレイヤ2技術、および、パケット交換などのレイヤ3技術を組み合わせてネットワーク仮想化を行い、物理網1の物理リソースを仮想的に分割したのちに組み合わせられる。
【0005】
仮想網11−1は、物理網1の上に仮想的に構築されているネットワークである。仮想網11−1は、例えば、IEEE802.1Qで規定された仮想ネットワークである。仮想網11−1は、物理網1と同様にノード12を備え、物理網1とは異なるパス13を備えている。エンドユーザ21−1は、エッジルータ22−1を通して仮想網11−1に接続され、仮想網11−1を経由して、IAサーバ23−1(PCサーバ)が接続される。エンドユーザ21−1は、仮想網11−1を通してIAサーバ23−1上のアプリケーションサービスに接続可能である。
【0006】
仮想網11−2は、仮想網11−1と同様に、物理網1の上に仮想的に構築されているネットワークである。仮想網11−2は、物理網1と同様にノード12を備え、物理網1とは異なるパス13を備えている。エンドユーザ21−2は、エッジルータ22−2を通して仮想網11−2に接続され、仮想網11−2を経由して、IAサーバ23−2が接続される。エンドユーザ21−2は、仮想網11−2を通してIAサーバ23−2上のアプリケーションサービスに接続可能である。
【0007】
仮想網11−3は、仮想網11−1,11−2と同様に、物理網1の上に仮想的に構築されているネットワークである。仮想網11−3は、物理網1と同様にノード12を備え、物理網1とは異なるパス13を備えている。エンドユーザ21−3は、エッジルータ22−3を通して仮想網11−3に接続され、ノード「#5」の移設前には、仮想網11−3を経由して、IAサーバ23−3が接続されていた。エンドユーザ21−3は、ノード「#5」の移設前には、仮想網11−3を通してIAサーバ23−3上のアプリケーションサービスに接続可能であった。
【0008】
以下、仮想網11−1、仮想網11−2、仮想網11−3を特に区別しないときには、単に仮想網11と記載する。仮想網11−1、仮想網11−2、仮想網11−3は、オペレータ50によって管理される。
【0009】
仮想網11には、オペレータ50によって管理されるリソース管理装置30が接続されている。リソース管理装置30は、各ノード12を制御することによって、このインフラ網1と仮想網11とを制御する。リソース管理装置30は、仮想網トポロジを動的に再構成するとともに、各仮想網11を安定的にインフラ網1に収容するように、各仮想網11に対して物理リソースを配分する。
【0010】
各仮想網11は、運用条件により固定的に経路やトポロジを構築する場合もあれば、動的トポロジ最適化制御を行い、環境変化に適応して各仮想網11のトポロジを変更する場合もある。動的トポロジ最適化制御により、各仮想網11は、環境変化への適応性を向上させることができる。
【0011】
ところで、複数の物理/論理リソースで構成される仮想化NWでは、ソフトウェアのアップデートやメンテナンス等により、障害発生時以外でもNW構成は絶えず動的に変化する。例えば、図12の破線囲みに示す物理網1のノード2(ノード「#5」)がメンテナンスの場合、仮想網11−2のノード12(ノード「#5」)が消失する。この場合、図Aの符号aに示すように、リソース管理装置30は、仮想網11−2と仮想網11−3のノード12(ノード「#5」)を、それぞれ仮想網11−2のノード12(ノード「#4」)に移設する。さらに、IAサーバ23−3のアプリケーション(APL「#3」)のアップデートを行った場合、図12の符号bに示すように、IAサーバ23−3は、仮想網11−3のノード12(ノード「#4」)に接続される。
加えて、リソース最適化やオートヒーリング等、オペレータを介さないネットワーク(以下、適宜「NW」という)構成の変化が行われることがある。
【先行技術文献】
【特許文献】
【0012】
特許5256406号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
しかしながら、複数の物理/論理リソースで構成される仮想化NWにおいては、ソフトウェアアップデートや装置のメンテナンス等によって、障害発生時以外でもNW構成は絶えず動的に変化するので、下記の課題がある。
絶えずトポロジが変化するため、リアルタイムでのトポロジ把握が困難になる。
また、オートヒーリング等によって、障害発生前と後でNWトポロジが変化する可能性があるため、障害の原因箇所の特定(以下、適宜「切り分け」という)が困難となる。
【0014】
図13は、物理網および仮想網から構成される仮想化NWの課題を説明する図である。図12と同一構成部分には、同一符号を付している。
図13の符号cに示すように、例えば、障害発生をトリガとして自動制御により、仮想網11−3のノード12(ノード「#4」)を、仮想網11−3のノード12(ノード「#5」)に移設する。これに伴い、仮想網11−3のノード12(ノード「#4」)に接続されていた、IAサーバ23−1のアプリケーション(APL「#1」)は仮想網11−3のノード12(ノード「#5」)に接続される。
【0015】
図13の符号dに示すように、自動制御によるNW構成の変更により、IPレイヤの疎通確認では障害箇所の特定が困難になる。
また、図13の符号eおよび物理レイヤの破線矢印と丸印fに示すように、物理構成も変化する。
上述したように、絶えずトポロジが変化するため、リアルタイムでのトポロジ把握が困難になる。
【0016】
このような背景を鑑みて本発明がなされたのであり、本発明は、障害の原因箇所の特定を迅速に行うことができるネットワークシステム、トポロジ管理方法、およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【0017】
前記した課題を解決するため、請求項1に記載の発明は、物理網上に形成された仮想網と、仮想網の環境変化に対して設定制御を行うオーケストレータと、を備えるネットワークシステムであって、前記仮想網の論理リソース間の端点情報およびその接続情報と、前記物理網の物理リソース間の端点情報およびその接続情報と、前記論理リソースと前記物理リソースの対応情報と、からなるトポロジ情報を時系列でデータベースに記憶する記憶部と、前記オーケストレータからの変更通知を契機として、前記オーケストレータから前記仮想網の設定情報を取得する設定情報取得部と、取得した前記設定情報をもとに、前記記憶部の前記データベースに記憶された前記トポロジ情報を更新するトポロジ情報管理部と、を備えることを特徴とするネットワークシステムとした。
【0018】
また、請求項6に記載の発明は、物理網上に形成された仮想網と、仮想網の環境変化に対して設定制御を行うオーケストレータと、を備えるネットワークシステムにおけるトポロジ管理方法であって、前記仮想網の論理リソース間の端点情報およびその接続情報と、前記物理網の物理リソース間の端点情報およびその接続情報と、前記論理リソースと前記物理リソースの対応情報と、からなるトポロジ情報を時系列でデータベースに記憶するステップと、前記オーケストレータからの変更通知を契機として、前記オーケストレータから前記仮想網の設定情報を取得するステップと、取得した前記設定情報をもとに、記憶部に記憶された前記トポロジ情報を更新するステップと、を実行することを特徴とするトポロジ管理方法とした。
【0019】
また、請求項7に記載の発明は、物理網上に形成された仮想網と、仮想網の環境変化に対して設定制御を行うオーケストレータと、を備えるサーバ装置としてのコンピュータを、前記仮想網の論理リソース間の端点情報およびその接続情報と、前記物理網の物理リソース間の端点情報およびその接続情報と、前記論理リソースと前記物理リソースの対応情報と、からなるトポロジ情報を時系列でデータベースに記憶する記憶手段、前記オーケストレータからの変更通知を契機として、前記オーケストレータから前記仮想網の設定情報を取得する設定情報取得手段、取得した前記設定情報をもとに、記憶部に記憶された前記トポロジ情報を更新するトポロジ情報管理手段、として機能させるためのプログラムとした。
【0020】
このようにすることで、現在から過去のトポロジ情報を持つことで、リアルタイムでのトポロジ把握が可能になる。障害発生前と後でNWトポロジが変化する可能性に対処でき、障害の原因箇所の特定を迅速に行うことができる。また、膨大な数の仮想化NWを再構成する必要がなくなるので、計算量を格段に減らすことができる。
【0021】
請求項2に記載の発明は、前記トポロジ情報の参照要求を受付け、前記記憶部に記憶された前記トポロジ情報に、参照したい期間のデータがある場合には、該当期間の前記トポロジ情報を参照するトポロジ参照部を、備えることを特徴とする請求項1に記載のネットワークシステムとした。
【0022】
このようにすることで、ユーザからの申告に迅速に応えることができ、迅速な障害切り分けが可能となる。
【0023】
請求項3に記載の発明は、前記記憶部が、前記物理網の各装置のコンフィグ情報を前記データベースに記憶しており、前記トポロジ参照部は、前記トポロジ情報に、参照したい期間のデータがない場合には、前記記憶部に記憶された前記コンフィグ情報をもとに、トポロジを計算するトポロジ計算部を、備えることを特徴とする請求項2に記載のネットワークシステムとした。
【0024】
このようにすることで、データベースに、参照したい期間の時系列データがない場合であっても、コンフィグ情報からトポロジを計算することで、ユーザからの申告に応えることができ、障害切り分けが可能となる。
【0025】
請求項4に記載の発明は、前記トポロジ情報管理部が、参照する確率が所定値以下の前記トポロジ情報、および/または、所定よりも過去の前記トポロジ情報は、前記データベースから破棄することを特徴とする請求項1に記載のネットワークシステムとした。
【0026】
このようにすることで、参照する確率が低い過去のデータなどは、データベースから削除して、データベースに蓄積されるデータ量を削減することができる。
【0027】
請求項5に記載の発明は、前記トポロジ参照部が参照した前記トポロジ情報、または前記トポロジ計算部が計算したトポロジを出力する出力部を備えることを特徴とする請求項3に記載のネットワークシステムとした。
【0028】
このようにすることで、ユーザに、トポロジを可視化して回答しつつ、切り分け業務を行うことができる。
【発明の効果】
【0029】
本発明によれば、障害の原因箇所の特定を迅速に行うことができるネットワークシステム、トポロジ管理方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【0030】
本発明の実施形態に係るネットワークシステムを示す構成図である。
本発明の実施形態に係るネットワークシステムの時系列管理装置、データベース(DB)およびオーケストレータの構成を示すブロック図である。
本発明の実施形態に係るネットワークシステムのリレーショナルDBに格納されるコンフィグ情報の例を説明する図である。
本発明の実施形態に係るネットワークシステムの管理するトポロジ情報の例を説明する図である。
本発明の実施形態に係るネットワークシステムのグラフDBが管理するトポロジ情報を説明する図であり、(a)はそのトポロジ情報のグラフ表現のイメージ図、(b)はそのトポロジ情報の記憶例である。
本発明の実施形態に係るネットワークシステムのトポロジ管理方法を示すシーケンス図である。
本発明の実施形態に係るネットワークシステムのトポロジ管理方法を示すシーケンス図である。
本発明の実施形態に係るネットワークシステムの時系列データ取得およびデータ参照を示すフローチャートである。
本発明の実施形態に係るネットワークシステムのトポロジ情報を用いたオペレーションを説明する図である。
本発明の実施形態に係るネットワークシステムのネットワーク構成変更の頻度を説明する図である。
本発明の実施形態に係るネットワークシステムのネットワーク構成変更点のデータ更新を説明する図である。
物理網および仮想網から構成される仮想化NWを示す概略の構成図である。
物理網および仮想網から構成される仮想化NWの課題を説明する図である。
既存のNWトポロジ把握手法を説明する図である。
仮想化NWの動的変化への追従の課題を説明するイメージ図である。
【発明を実施するための形態】
【0031】
以下、図面を参照して本発明を実施するための形態(以下、「本実施形態」という)におけるネットワークシステム等について説明する。
(既存技術)
既存のNWトポロジ把握手法について説明する。
過去のトポロジを参照する手法の一つに、各装置や管理システムのログから、トポロジの再構成を行う方法がある。
図14は、既存のNWトポロジ把握手法を説明する図である。図12と同一構成部分には、同一符号を付している。
図14の矢印hに示すように、オペレータ60が、各装置のコンフィグ設定(図14の矢印g)や管理システム(オーケストレータ70)のログ71(図14の矢印h)を入手し、上記コンフィグ設定やログから、トポロジの再構成を行う方法がある。
しかしながら、キャリア網の物理装置(物理網1のノード2)や管理システムのログなどから、膨大な数の仮想化NWを再構成する(論理リソース同士の接続関係をみる)場合、計算量が膨大になる。
【0032】
(仮想化NWの動的変化への追従の課題)
図15は、仮想化NWの動的変化への追従の課題を説明するイメージ図である。図15中、ユーザA,B,C、仮想化NW#1およびVNFは、図12の仮想化NW構成を簡略化して、符号αで示したものである。図15は、この仮想化NW構成αが、横軸の時間軸に従って変化していることを示し、各時刻t=0,t=0.5,t=1,t=0,t=1.4,t=2…において、図14のオペレータ60が参照するデータベースに保存される過去の仮想化NW構成のイメージを示している。
【0033】
図15に示す仮想化NW構成αは、定期的(例えば一日数回の定期更新)に、図15(b)のDB(図14のオペレータ60が参照するデータベース、以下同様。)に保存される。図15の場合、t=0の仮想化NW構成α

は、時刻t=0でDBに保存され、次の時刻t=1で、t=1の仮想化NW構成α

がDBに保存され、次の時刻t=2で、t=2の仮想化NW構成α

がDBに保存される。
【0034】
図15の符号iに示すように、t=0.5で仮想化NW構成α

の構成変更があった場合、その構成変更は時刻t=1でDBに保存される。図15の符号jに示すように、t=1.4で仮想化NW構成α

の構成変更があった場合、その構成変更は時刻t=2でDBに保存される。このように、仮想化NW構成αの変更が発生した場合、同時刻でDBには保存されず、次の更新時刻で保存される。換言すれば、図15のt=0.5の仮想化NW構成やt=1.4の仮想化NW構成は、定期更新では追従不能である(図15の符号k参照)。
【0035】
図15の符号lに示すように、t=1.8で障害発生があった。この障害発生の影響範囲を把握するには、障害発生時の仮想化NWの構成情報(トポロジ情報や論物対応情報)を参照する必要がある。そのため、図14のオペレータ60はDBに保存されている仮想化NWの構成情報を参照する。図15に示すように、t=1.4で仮想化NW構成α

の構成変更があり、t=1.8で障害発生があったので、本来は図15のt=1.4で構成変更された仮想化NW構成α

の構成情報(トポロジ情報等)を参照する必要がある。しかし、図15に示すように、DBには時刻t=1での仮想化NW構成α

しか保存されておらず、障害発生時と異なるトポロジ情報等しか参照できない。
【0036】
(実施形態)
図1は、本発明の実施形態に係るネットワークシステムを示す構成図である。本実施形態のネットワークシステムは、物理網1および仮想網11から構成される仮想化NWに適用される。
図1に示すように、ネットワークシステムは、物理網1上に形成された仮想網11と、時系列管理装置100(後記)と、データベース(DB)200(後記)を有する記憶部130(図2参照)と、仮想網11の環境変化に対して設定制御を行うオーケストレータ300(後記)と、を備える。
時系列管理装置100は、オペレーション業務に用いるオペレーションシステムにより実現される。
オーケストレータ300は、仮想NWの設定制御を行う統合管理ソフトウェアである。 オペレータ80は、仮想NWの切り分けを行うオペレータであり、各レイヤの管理(監視や故障切り分けなど)を時系列管理装置100およびグラフDB220を用いて実行する。
なお、オペレータ80は、物理IPレイヤのオペレータ60(図14参照)や、仮想NWのオペレータ50(図14参照)とは異なるオペレータである。また、グラフDB220は、図14のオペレータ60が参照するデータベース(図15(b)のDB)とは異なるデータベースである。
【0037】
物理網(インフラ網)1は、ノード2と、それぞれノード2間を接続するリンク3とを備える。インフラ網1は、例えば、各ノード2が光ファイバで接続されているWDMネットワークである。
物理網1上には、WDMやTDMなどのレイヤ1技術、Ethernet(登録商標)などのレイヤ2技術、および、パケット交換などのレイヤ3技術を組み合わせてネットワーク仮想化を行い、物理網1の物理リソースを仮想的に分割したのちに組み合わせた仮想網11−1、仮想網11−2、仮想網11−3が構成されている。
【0038】
仮想網11−1は、物理網1の上に仮想的に構築されているネットワークである。仮想網11−1は、例えば、IEEE802.1Qで規定された仮想ネットワークである。仮想網11−1は、物理網1と同様にノード12を備え、物理網1とは異なるパス13を備えている。エンドユーザ21−1は、エッジルータ22−1を通して仮想網11−1に接続され、仮想網11−1を経由して、IAサーバ23−1(PCサーバ)が接続される。エンドユーザ21−1は、仮想網11−1を通してIAサーバ23−1上のアプリケーションサービスに接続可能である。
【0039】
仮想網11−2は、仮想網11−1と同様に、物理網1の上に仮想的に構築されているネットワークである。仮想網11−2は、物理網1と同様にノード12を備え、物理網1とは異なるパス13を備えている。エンドユーザ21−2は、エッジルータ22−2を通して仮想網11−2に接続され、仮想網11−2を経由して、IAサーバ23−2が接続される。エンドユーザ21−2は、仮想網11−2を通してIAサーバ23−2上のアプリケーションサービスに接続可能である。
【0040】
仮想網11−3は、仮想網11−1と同様に、物理網1の上に仮想的に構築されているネットワークである。仮想網11−3は、物理網1と同様にノード12を備え、物理網1とは異なるパス13を備えている。エンドユーザ21−3は、エッジルータ22−3を通して仮想網11−3に接続され、ノード「#5」の移設前には、仮想網11−3を経由して、IAサーバ23−3が接続されていた。エンドユーザ21−3は、ノード「#5」の移設前には、仮想網11−3を通してIAサーバ23−3上のアプリケーションサービスに接続可能であった。
【0041】
以下、仮想網11−1、仮想網11−2、仮想網11−3を特に区別しないときには、単に仮想網11と記載する。
【0042】
複数の物理/論理リソースで構成される仮想化NWでは、ソフトウェアのアップデートやメンテナンス等により、障害発生時以外でもNW構成は絶えず動的に変化する。例えば、図1の破線囲みに示す物理網1のノード2(ノード「#5」)がメンテナンスの場合、仮想網11−2のノード12(ノード「#5」)が消失する。この場合、図1の符号mに示すように、リソース管理装置(図示省略)は、仮想網11−2と仮想網11−3のノード12(ノード「#5」)を、それぞれ仮想網11−2のノード12(ノード「#4」)に移設する。さらに、IAサーバ23−3のアプリケーション(APL「#3」)のアップデートを行った場合、図1の符号nに示すように、IAサーバ23−3を仮想網11−3のノード12(ノード「#4」)に移設する。加えて、リソース最適化やオートヒーリング等、オペレータを介さないNW構成の変化が行われることがある。
【0043】
図2は、本発明の実施形態に係るネットワークシステムの時系列管理装置100、データベース(DB)200およびオーケストレータ300の構成を示すブロック図である。
図2に示すように、時系列管理装置100は、リレーショナルDB210のコンフィグ情報210Aを参照するトポロジ参照部110と、グラフDB220のトポロジ情報220Aを管理するトポロジ情報管理部120と、を備える。
【0044】
<時系列管理装置100>
トポロジ参照部110は、表示部111(出力部)と、時系列データ選択部112と、トポロジ計算部113と、を備える。
トポロジ参照部110は、オーケストレータ300からのトポロジ情報220Aの参照要求を受付け、記憶部130のグラフDB220に記憶されたトポロジ情報に、参照したい期間のデータがある場合には、該当期間のトポロジ情報を参照・出力する。
表示部111は、トポロジ参照部110が参照したトポロジ情報220AA、またはトポロジ計算部113が計算したトポロジを表示する。
時系列データ選択部112は、トポロジ情報の参照要求を受付け、記憶部130のグラフDB220に記憶されたトポロジ情報に、参照したい期間の時系列データ(参照したい時間でのトポロジ情報220A)を選択する。
トポロジ計算部113は、参照したい期間のデータがない場合(指定した時間のトポロジ情報がない場合)には、記憶部130のグラフDB220に記憶されたコンフィグ情報210Aをもとに、トポロジを計算する。
【0045】
トポロジ情報管理部120は、設定情報取得部121と、変更通知取得部122と、を備える。
トポロジ情報管理部120は、取得した設定情報をもとに、記憶部130のグラフDB220に記憶されたトポロジ情報220Aを更新する。
トポロジ情報管理部120は、参照する確率が低いトポロジ情報220A、および/または、所定以上過去のトポロジ情報220Aは、グラフDB220から破棄する。
設定情報取得部121は、オーケストレータ300からの変更通知を契機(トリガ)として、オーケストレータ300の設定部310から仮想網11の設定情報(一般的なオーケストレータが持つ設定系の機能(設定情報))を取得する。
変更通知取得部122は、新たに追加する変更通知機能(オーケストレータ300からの変更通知)を取得する。
【0046】
<記憶部130>
記憶部130は、データベース200を有する。データベース200は、コンフィグ情報210Aを格納するリレーショナルDB210(図3参照)と、トポロジ情報220Aを格納するグラフDB220(図4および図5参照)とを備える。
記憶部130は、物理網1の各装置のコンフィグ情報210AをリレーショナルDB210に記憶する。
記憶部130は、仮想網11の論理リソース間の端点情報およびその接続情報と、物理網1の物理リソース間の端点情報およびその接続情報と、論理リソースと物理リソースの対応情報と、からなるトポロジ情報220Aを時系列でグラフDB220に記憶する。
なお、記憶部130は、どのような記憶媒体や記憶手段であってもよく、時系列管理装置100の内部または外部のいずれに設置されていてもよい。上記外部に設置する場合、ネットワークを介して他の装置に設置されてもよい。
【0047】
<オーケストレータ300>
オーケストレータ300は、仮想NWの設定制御を行う統合管理ソフトウェアである。オーケストレータ300は、一般的なオーケストレータ(例えば、図14の仮想NWのオペレータ50)が持つ設定系の機能である設定部310と、新たに追加する変更通知機能である変更通知部320と、を有する。
設定情報330は、NWに対する設定変更を行う際のオーダの情報である。設定情報330をもとに、各装置のコンフィグ情報等が書き換えられる。
【0048】
[リレーショナルDB210]
まず、リレーショナルDB210に格納されるコンフィグ情報210Aについて述べる。
図3は、リレーショナルDB210に格納されるコンフィグ情報210Aの例を説明する図である。
リレーショナルDB210は、図3の符号z

に示す各装置のコンフィグ情報210Aを格納する。コンフィグ情報210Aは、例えば
装置名: xxx
NIC1:IP Address:
yyy.yyy.yyy.yyy
NIC2:
IP Address:
zzz.zzz.zzz.zzz
etc...
である。
図3の符号z

に示すように、管理しておく過去のコンフィグ情報210Aは、各装置のもつコンフィグの中で、接続関係に関係する部分を抽出したデータである。これらは装置ごとの個別データであり、格納するデータベースは、リレーショナルデータベースなどの利用を想定する。
なお、トポロジ情報220Aは、下記グラフDB220を用いる。
【0049】
[グラフDB220]
グラフDB220は、NWに関する管理情報を管理(データ作成、データ読み出し、データ更新、データ削除)する。
グラフDB220は、トポロジ情報220A(図4で後記)を管理する。
グラフDB220は、トポロジ情報の管理(データ作成、データ読み出し、データ更新、データ削除)を行うためのデータベースである。本実施形態では、グラフ型のデータベースを用いているが、他の形式のデータベースも可能である。各データベースについて、比較する。
・キー・バリュー型
Key : Valueを単位としてデータを格納する。読み取りの負荷が大きいシステム(APL (Application)など)、例えばゲーム、動画共有などの用途に適している。
・カラム指向型
カラム(列)単位でデータを処理する。収集、分析系システムなどの用途に適している。
【0050】
・グラフ型
ノード、属性、関係性を単位にデータを格納する。ネットワーク状のデータを格納する場合に適している。例えばSNS(Social Networking Service)のユーザ同士のつながり、関係性がある管理システムである。グラフ型は、トポロジ情報の管理に向いていると考えられるので、本実施形態では、グラフ型のデータベースを用いている。
・ドキュメント指向型
JSON(JavaScript Object Notation)やXML(Extensible Markup Language)など、構造を持ったドキュメントを単位としてデータを格納する。ログ分析、Webシステムなどの用途に適している。
【0051】
[トポロジ情報220A]
次に、グラフDB220が管理するトポロジ情報220Aについて述べる。
図4は、グラフDB220が管理するトポロジ情報220Aの例を説明する図である。
管理とは、データ作成、データ読み出し、データ更新、およびデータ削除をいう。
トポロジ情報として取得するデータは、各リソースの接続情報であり、例えば、下記(1)−(3)である。
(1)論理リソース間の端点情報(図4の細白丸,符号o参照)およびその接続情報(図4の太実線,符号p参照)
論理リソース間の端点は、例えば論理ポート、仮想NIC(Network Interface Card)である。
【0052】
(2)物理リソース間の端点情報(図4の太白丸,符号q参照)およびその接続情報(図4の細実線,符号r参照)
物理リソース間の端点は、例えば物理ポート、物理NICである。また、物理装置とその接続では、例えば、IPレイヤと伝送レイヤのようにレイヤが分かれる可能性がある。
【0053】
(3)論理/物理リソースの対応情報(図4の黒丸および破線,符号s参照)
論理/物理リソースの対応情報は、具体的には物理NW/装置と仮想NW/装置の対応関係である。対応付けの例として、論理リソースのIDと物理装置名との対応付けが挙げられる。
【0054】
図5は、本発明の実施形態に係るネットワークシステムのグラフDB220が管理するトポロジ情報を説明する図であり、(a)はそのトポロジ情報のグラフ表現のイメージ図、(b)はそのトポロジ情報の記憶例である。
図5(a)に示すネットワークでは、図5(b)に示すように、仮想網11と物理網1のノード(LogicalDevice#1,LogicalDevice#3,…/Physical Device #1,Physical Device #3,…)、属性(論物対応)、関係性(Runs,Connects)を単位に、トポロジ情報として格納される。
例えば、仮想網11のLogicalDevice#1は、エッジルータ22を介してエンドユーザ21に接続されるが、図5(b)に示すようにLogicalDevice#1が、Userに対し矢印に示すユーザ収容で示される。LogicalDevice#1は、VMで実行(Runs)され、このVMは論理物理対応(論物対応)でPhysical Device #1で構築される。また、LogicalDevice#1は、仮想網上でLogicalDevice#3と相互接続され、LogicalDevice#3は、VMで実行(Runs)され、このVMは論物対応でPhysical Device #3で構築される。
図5(a)に示す仮想網11を通してIAサーバ23上のアプリケーションサービスへの接続は、図5(b)に示すようにVNF #1が、VNF_VM#1で実行(Runs)され、このVNF #1にPhysical Server #1で構築される。
【0055】
以下、上述のように構成されたネットワークシステムの動作を説明する。
[制御シーケンス]
図6および図7は、ネットワークシステムのトポロジ管理方法を示すシーケンス図である。
図6および図7おいて、仮想NW_Aは、図1の仮想網11−1、仮想NW_Bは、図1の仮想網11−2、物理NW1は、図1の物理網1であるとする。また、オペレータ80は、仮想NWの切り分けを行うオペレータである。
【0056】
<障害発生:1>
仮想NW_Aで障害が発生した場合(図6の符号t参照)、オーケストレータ300の設定部310に障害発生が通知される(ステップS1)。オーケストレータ300の設定部310は、障害が発生した仮想NW_Aの設定変更を行う(設定変更情報を送信する)とともに(ステップS2)、物理NWに対しても物理NW_Aの設定変更を行う(設定変更情報を送信する)(ステップS3)。以上は、一般的なオーケストレータ(例えば図14のオーケストレータ70)が持つ設定系の機能である。
【0057】
オーケストレータ300は、新たに追加した変更通知機能である変更通知部320が下記の制御を行う。すなわち、オーケストレータ300の変更通知部320は、時系列管理装置100の変更通知取得部122に設定変更を通知し(ステップS4)、変更通知取得部122は、オーケストレータ300から送信された設定変更通知を設定情報取得部121に渡す(内部処理のため信号は省略)。
設定情報取得部121は、オーケストレータ300からの変更通知を契機(トリガ)として、オーケストレータ300の設定部310から仮想NW_A11−1の設定情報(一般的なオーケストレータが持つ設定系の機能(設定情報))を取得する(ステップS5)。
【0058】
オーケストレータ300の設定部310は、グラフDB220に設定情報を送信し、グラフDB220は、送信された設定情報をトポロジ情報として格納してトポロジ情報220Aを更新する(ステップS6)。
物理NW1は、オーケストレータ300の設定部310により設定変更が通知され、設定変更が完了すると、リレーショナルDB210にコンフィグ情報を送信し(ステップS7)、リレーショナルDB210は、送信されたコンフィグ情報を格納してコンフィグ情報210Aを更新する。
【0059】
<オペレータ80切り分け:1>
一方、ユーザは、上記とは非同期のシーケンスで、仮想NWの切り分けを行うオペレータ80に対して申告を行う(ステップS8)。オペレータ80は、申告に従って時系列管理装置100の時系列データ選択部112に対しデータ参照を行う(ステップS9)。
時系列データ選択部112は、トポロジ情報の参照要求を受付け、記憶部130のグラフDB220に記憶されたトポロジ情報に、参照したい期間の時系列データ(参照したい時間でのトポロジ情報220A)を選択する(ステップS10)。グラフDB220は、選択されたトポロジ情報220Aを時系列管理装置100の表示部111に送信し(ステップS11)、表示部111は、グラフDB220から送信されたトポロジ情報220Aを表示する(ステップS12)。
オペレータ80は、表示部111に表示されたトポロジ情報220Aをもとに、ユーザに申告に対する回答を行う(ステップS13)。
【0060】
<障害発生:2>
仮想NW_Bで障害が発生した場合(図7の符号u参照)、オーケストレータ300の設定部310に障害発生が通知される(ステップS14)。オーケストレータ300の設定部310は、障害が発生した仮想NW_Bの設定変更を行うとともに(ステップS15)、物理NWに対しても物理NW_Bの設定変更を行う(ステップS16)。
【0061】
オーケストレータ300の変更通知部320は、時系列管理装置100の変更通知取得部122に設定変更を通知し(ステップS17)、変更通知取得部122は、オーケストレータ300から送信された設定変更通知を設定情報取得部121に渡す(内部処理のため信号は省略)。
設定情報取得部121は、オーケストレータ300からの変更通知を契機(トリガ)として、オーケストレータ300の設定部310から仮想NW_B11−2の設定情報を取得する(ステップS18)。
【0062】
オーケストレータ300の設定部310は、グラフDB220に設定情報を送信し、グラフDB220は、送信された設定情報をトポロジ情報として格納してトポロジ情報220Aを更新する(ステップS19)。
物理NW1は、オーケストレータ300の設定部310により設定変更が通知され、設定変更が完了すると、リレーショナルDB210にコンフィグ情報を送信し(ステップS20)、リレーショナルDB210は、送信されたコンフィグ情報を格納してコンフィグ情報210Aを更新する。
【0063】
<オペレータ80切り分け:2>
一方、ユーザは、上記とは非同期のシーケンスで、オペレータ80に対して申告を行う(ステップS21)。オペレータ80は、申告に従って時系列管理装置100の時系列データ選択部112に対しデータ参照を行う(ステップS22)。
時系列データ選択部112は、トポロジ情報の参照要求を受付け、記憶部130のグラフDB220に記憶されたトポロジ情報に、参照したい期間の時系列データ(参照したい時間でのトポロジ情報220A)を選択する(ステップS23)。
この場合、グラフDB220のトポロジ情報220Aには、指定した時間のトポロジ情報がないとする。グラフDB220は、該当するデータがない旨を時系列データ選択部112に送信する(ステップS24)。
【0064】
時系列データ選択部112は、該当するデータがない通知を受けた場合、リレーショナルDB210のコンフィグ情報210Aを参照する(ステップS25)。リレーショナルDB210は、コンフィグ情報210Aから該当データを抽出して時系列管理装置100のトポロジ計算部113に送信する(ステップS26)。
トポロジ計算部113は、参照したい期間のデータがない場合(指定した時間のトポロジ情報がない場合)には、記憶部130のリレーショナルDB210に記憶されたコンフィグ情報210Aをもとに、トポロジを計算する(ステップS27)。
【0065】
トポロジ計算部113は、トポロジ計算によるトポロジを抽出して表示部111に送信する(ステップS28)。表示部111は、トポロジ計算部113により計算されたトポロジを表示する(ステップS29)。
オペレータ80は、トポロジ計算部113により計算されたトポロジをもとに、ユーザに申告に対する回答を行う(ステップS30)。
【0066】
[時系列データ取得およびデータ参照]
図8は、ネットワークシステムの時系列データ取得およびデータ参照を示すフローチャートである。本フローは、主として時系列管理装置100を構成する制御部(CPU)により実行される。
ステップS101で時系列管理装置100は、NWが定常状態にあることを確認する。具体的には、時系列管理装置100の変更通知取得部122が、オーケストレータ300から設定変更通知を受信しない場合、NWが定常状態にあると判定する。
ステップS102で時系列管理装置100は、障害発生を確認する。具体的には、時系列管理装置100の変更通知取得部122が、オーケストレータ300から送信された設定変更通知を受信した場合、当該設定変更通知の内容から障害発生を判定する。
【0067】
ステップS102で障害発生を判定すると、ステップS103の処理とステップS105の処理を実行する。
ステップS103で変更通知取得部122は、トポロジ変更通知があるか否かを判別する。トポロジ変更通知がない場合(ステップS103:No)、ステップS101に戻る。
トポロジ変更通知がある場合(ステップS103:Yes)、ステップS104で設定情報取得部121は、変更通知を契機(トリガ)として、オーケストレータ300の設定部310から仮想網11の設定情報を取得しグラフDB220のトポロジ情報220Aに格納してステップS101に戻る。
【0068】
ステップS105で時系列管理装置100は、ユーザ申告があるか否かを判別する。ユーザ申告がない場合(ステップS105:No)、ステップS101に戻る。
ユーザ申告がある場合(ステップS105:Yes)、ステップS106で時系列データ選択部112は、グラフDB220のトポロジ情報220Aを参照する。
【0069】
ステップS107で時系列データ選択部112は、該当時間の時系列データ(参照したい時間でのトポロジ情報220A)があるか否かを判別する。該当時間の時系列データがある場合(ステップS107:Yes)、ステップS108でトポロジ情報管理部120は、トポロジ情報220Aを参照してステップS111に進む。
該当時間の時系列データがない場合(ステップS107:No)、ステップS109でトポロジ計算部113は、リレーショナルDB210のコンフィグ情報210Aを参照する。ステップS110でトポロジ計算部113は、指定した時間のトポロジ情報がない場合に、リレーショナルDB210のコンフィグ情報210Aからトポロジを計算(トポロジの再計算)してステップS111に進む。
【0070】
ステップS111で表示部111は、グラフDB220を参照したトポロジ情報220A、またはトポロジ計算部113により計算されたトポロジ情報220Aを表示する。
ステップS112でオペレータ80は、トポロジ情報220Aをもとに、ユーザに申告に対する回答を行って本フローの処理を終了する。
【0071】
[トポロジ情報を用いたオペレーション業務]
次に、トポロジ情報220Aを用いたオペレーションについて説明する。
図9は、トポロジ情報220Aを用いたオペレーションを説明する図である。
時系列管理装置100およびグラフDB220を備えるネットワークシステムは、ユーザ申告時の切り分け業務に適用できる。
図9に示すように、ユーザからの申告は、フロントでの電話対応となる。フロントとオペレータ80は、連携している。オペレータ80は、ユーザからの申告内容に合わせて、仮想NWの切り分け業務を行う。オペレータ80は、時系列管理装置100およびグラフDB220を用いて、過去のトポロジを参照し、障害原因の特定を行う。この際、オペレータ80には、迅速な切り分けが求められる。なお、障害原因の特定については、図6〜図8で述べた。
【0072】
[ネットワーク構成変更の頻度]
次に、ネットワーク構成変更の頻度について説明する。
図10は、ネットワーク構成変更の頻度を説明する図である。
仮想網11では、オートヒーリング等の自動的な措置(図10の符号vの「自動制御」参照)や、物理網1のノード2(図10の符号wの「♯4のメンテナンス」参照)によるリソースのアロケーション(図10の符号xの「リソース再配置」参照)などが発生しうる。仮想網11での変更の頻度は、既存網よりも上がると想定される。ネットワークの仮想化と、論理/物理の分離により、単純に考えても変化対象は増加する。
したがって、1日1回のネットワーク構成変更の頻度では、追従が困難と想定される。そこで、数十分〜1時間程度の変更頻度を想定する。
【0073】
[ネットワーク構成変更点のデータ更新]
次に、ネットワーク構成変更点のデータ更新について説明する。
図11は、ネットワーク構成変更点のデータ更新を説明する図である。
図11に示すように、オーケストレータ300は、設定部310(図2参照)が、仮想NWに対して設定情報330を送信して仮想NWの設定変更を実行する。この場合、オーケストレータ300の変更通知部320(図2参照)は、時系列管理装置100の変更通知取得部122に設定変更を通知する。
時系列管理装置100は、この変更通知に合わせて設定情報からトポロジ情報220Aを取得する。このため、時系列管理装置100は、変更点がある部分のみグラフDB220のデータを更新する。時系列管理装置100は、毎回、NW全体の情報は取得しない。
例えば、グラフDB220のトポロジ情報220Aは、20XX/MM/DD/Time1の更新タイミングでデータ更新され、次に20XX/MM/DD/Time2の更新タイミングでデータ更新される。このように、時系列管理装置100は、変更点がある部分のみ、その更新タイミングでグラフDB220のデータを更新する。
【0074】
以上説明したように、本実施形態に係るネットワークシステム(図1参照)は、仮想網11の論理リソース間の端点情報およびその接続情報と、物理網1の物理リソース間の端点情報およびその接続情報と、論理リソースと物理リソースの対応情報と、からなるトポロジ情報220A(図5参照)を時系列でグラフDB220に記憶する記憶部130と、オーケストレータ300からの変更通知を契機として、オーケストレータ300から仮想網11の設定情報を取得する時系列管理装置100の設定情報取得部121と、取得した設定情報をもとに、記憶部130のグラフDB220に記憶されたトポロジ情報220Aを更新するトポロジ情報管理部120と、を備える。
【0075】
複数の物理/論理リソースで構成される仮想化NWでは、ソフトウェアのアップデートやメンテナンス等により、障害発生時以外でもNW構成は絶えず動的に変化する。絶えずトポロジが変化するため、リアルタイムでのトポロジ把握が困難であった。加えて、リソース最適化やオートヒーリング等、オペレータを介さないNW構成の変化が行われることがある。
本実施形態では、現在から過去のトポロジ情報を持つことで、リアルタイムでのトポロジ把握が可能になる。障害発生前と後でNWトポロジが変化する可能性に対処でき、障害の原因箇所の特定を迅速に行うことができる。
【0076】
また、前記図14に示す過去のトポロジを参照する手法では、各装置や管理システムのログから、トポロジの再構成を行う。この方法では、キャリア網の物理装置や管理システムのログなどから、膨大な数の仮想化NWを再構成する(論理リソース同士の接続関係をみる)場合、計算量が膨大になる課題があった。
本実施形態では、過去から現在までのトポロジ情報を持つことで、膨大な数の仮想化NWを再構成する必要がなくなるので、計算量を格段に減らすことができ、障害の原因箇所の特定を迅速に行うことができる。
【0077】
また、時系列管理装置100は、トポロジ情報の参照要求を受付け、記憶部130に記憶されたトポロジ情報に、参照したい期間のデータがある場合には、該当期間のトポロジ情報を出力するトポロジ参照部110を備える。ユーザから申告があった場合には、申告時点でのNW構成の情報を参照し、切り分け業務を行う必要がある。本実施形態では、ユーザからの申告に迅速に応えることができ、迅速な障害切り分けが可能となる。
【0078】
また、記憶部130は、物理網1の各装置のコンフィグ情報をリレーショナルDB210に記憶している。トポロジ参照部110は、グラフDB220のトポロジ情報220Aに、参照したい期間のデータがない場合には、リレーショナルDB210に記憶されたコンフィグ情報をもとに、トポロジを計算するトポロジ計算部113を備える。これにより、グラフDB220に、参照したい期間の時系列データ(参照したい時間でのトポロジ情報220A)がない場合であっても、コンフィグ情報210Aからトポロジを計算することで、ユーザからの申告に応えることができ、障害切り分けが可能となる。
【0079】
また、トポロジ情報管理部120は、参照する確率が所定値以下のトポロジ情報、および/または、所定よりも過去のトポロジ情報は、グラフDB220から破棄する。これにより、参照する確率が低い過去のデータなどは、グラフDB220から削除して、グラフDB220に蓄積されるデータ量を削減することができる。
【0080】
また、トポロジ参照部110は、トポロジ参照部110が参照したトポロジ情報、またはトポロジ計算部113が計算したトポロジを出力する表示部111を備える。これにより、ユーザに、トポロジの可視化して回答しつつ、切り分け業務を行うことができる。
【0081】
なお、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手作業で行うこともでき、あるいは、手作業で行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中に示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0082】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、IC(Integrated Circuit)カード、SD(Secure Digital)カード、光ディスク等の記録媒体に保持することができる。
【符号の説明】
【0083】
1 物理網(インフラ網)
2,12 ノード
3 リンク
11 仮想網
21 エンドユーザ
22 エッジルータ
80 オペレータ
100 時系列管理装置
110 トポロジ参照部
120 トポロジ情報管理部
111 表示部(出力部)
112 時系列データ選択部
113 トポロジ計算部
121 設定情報取得部
122 変更通知取得部
130 記憶部
200 データベース
210 リレーショナルDB
210A コンフィグ情報
220 グラフDB
220A トポロジ情報
300 オーケストレータ
310 設定部
320 変更通知部

関連特許

日本電信電話株式会社
光演算器
日本電信電話株式会社
生体電極
日本電信電話株式会社
光変調器
日本電信電話株式会社
波長合波器
東日本電信電話株式会社
撮影器具
日本電信電話株式会社
ミキサ回路
日本電信電話株式会社
光ノード装置
日本電信電話株式会社
光ノード装置
日本電信電話株式会社
光信号処理装置
日本電信電話株式会社
可変利得増幅器
日本電信電話株式会社
光信号処理装置
日本電信電話株式会社
光周波数計測装置
日本電信電話株式会社
擬似力覚発生装置
東日本電信電話株式会社
自転車用運搬器具
日本電信電話株式会社
分散深層学習システム
日本電信電話株式会社
監視装置及び監視方法
日本電信電話株式会社
送信装置及び送信方法
日本電信電話株式会社
分析装置および分析方法
日本電信電話株式会社
監視装置および監視方法
日本電信電話株式会社
分類装置および分類方法
日本電信電話株式会社
磁性材料および磁性素子
日本電信電話株式会社
制御装置、及び制御方法
日本電信電話株式会社
通信システム及び転送方法
日本電信電話株式会社
特定システム及び特定方法