特許ウォッチ

公開番号2024154278
公報種別公開特許公報(A)
公開日2024-10-30
出願番号2023068024
出願日2023-04-18
発明の名称集約装置、通信システム、通信方法、及びプログラム
出願人日本電信電話株式会社,大学共同利用機関法人情報・システム研究機構
代理人弁理士法人ITOH,個人,個人,個人
主分類H04W 4/00 20180101AFI20241023BHJP(電気通信技術)
要約【課題】強化学習によりスケジューリングを行う通信装置において、学習における収束の速度、及び精度を向上させるための技術を提供する。
【解決手段】集約装置において、強化学習を用いてスケジューリングを実行する複数の通信装置からフィードバック情報を収集する情報収集部と、前記フィードバック情報を用いて、前記複数の通信装置についての全体報酬を算出する報酬計算部と、前記全体報酬を、前記複数の通信装置に配信する情報配信部とを備える。
【選択図】図5
特許請求の範囲【請求項１】
強化学習を用いてスケジューリングを実行する複数の通信装置からフィードバック情報を収集する情報収集部と、
前記フィードバック情報を用いて、前記複数の通信装置についての全体報酬を算出する報酬計算部と、
前記全体報酬を、前記複数の通信装置に配信する情報配信部と
を備える集約装置。
続きを表示（約 540 文字）【請求項２】
前記フィードバック情報は、リスク状態を表す指標、受信成功パケット数、及び送信パケット数を有する
請求項１に記載の集約装置。
【請求項３】
前記報酬計算部は、全デバイスの平均パケット受信成功率と、各無線インタフェースでのリスク状態によるペナルティーの、前記複数の通信装置についての総和を計算することにより前記全体報酬を算出する
請求項１に記載に集約装置。
【請求項４】
請求項１ないし３のうちいずれか１項に記載の前記集約装置と、前記複数の通信装置とを含む通信システム。
【請求項５】
コンピュータが実行する通信方法であって、
強化学習を用いてスケジューリングを実行する複数の通信装置からフィードバック情報を収集する情報収集ステップと、
前記フィードバック情報を用いて、前記複数の通信装置についての全体報酬を算出する報酬計算ステップと、
前記全体報酬を、前記複数の通信装置に配信する情報配信ステップと
を備える通信方法。
【請求項６】
コンピュータを、請求項１ないし３のうちいずれか１項に記載の集約装置における各部として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、無線通信システムにおけるパケットスケジューリングに関連するものである。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
現在、無線通信システムは発展し、マルチバンド・マルチアクセスのシステムによるヘテロジニアスなネットワークになっている。セルラー通信では、第５世代移動通信（５Ｇ）が実用化され、１ＧＨｚ以下の周波数から、ミリ波帯まで幅広い周波数が利用され、スモールセルからマクロセルまで様々なサイズのセルが重畳するように提供される世界になってきている。
【０００３】
また、もう一つの代表的な無線アクセスシステムである無線ＬＡＮでも、２．４／５／６０ＧＨｚ帯の無線周波数が利用されており、６ＧＨｚ帯の利用も検討されている。スマートフォンなどの無線端末はセルラーと無線ＬＡＮのアクセスに対応したＩ／Ｆを一般的に備え、またそれぞれのＩ／Ｆにおいて複数のバンドへの対応となっている。端末は複数の周波数、アクセス方式から接続する無線基地局を選択し、通信を行うことが一般的となってきており、デュアルコネクティビティなど、１台の端末が複数の基地局を統合利用することも行われる。
【０００４】
このようなヘテロジニアス環境において、端末がどのＩ／Ｆでどの基地局を選択するかはシステム全体で制御し、最適化を図ることがシステムのリソースの有効利用に有効である。
【０００５】
また、５Ｇの発展として、ｕＲＬＬＣ（Ultra-Reliable and Low Latency Communications、超高信頼低遅延通信）等、従来の無線通信ではあまり使われていなかった超高信頼・超低遅延な用途に向けた通信機能の実現が目標とされている。
【０００６】
高信頼性（低パケットロス）、低遅延性を実現するための手段の一つとして、非特許文献１に開示されているように、強化学習を用いて送信パケットをより高信頼に送るための利用回線を最適化する手法がある。
【先行技術文献】
【非特許文献】
【０００７】
T. H. L. Dinh, M. Kaneko, K. Kawamura, T. Moriyama and Y. Takatori, "Improving Reliability by Risk-Averse Reinforcement Learning over Sub6GHz/mmWave Integrated Networks, " ICC 2022 - IEEE International Conference on Communications, 2022, pp. 3178-3183, doi: 10.1109/ICC45855.2022.9839175
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に開示された技術では、通信装置で強化学習により利用回線の最適化を行うことが可能である。しかし、複数の通信装置がある場合において、個々の通信装置は、周囲の通信装置の情報を得ることができないため、学習の収束に時間がかかり、学習の精度も劣化するという課題がある。なお、「通信装置」とは、例えば、無線基地局、又は、無線端末、又は、無線基地局と無線端末の両方である。
【０００９】
本発明は上記の点に鑑みてなされたものであり、強化学習によりスケジューリングを行う通信装置において、学習における収束の速度、及び精度を向上させるための技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
開示の技術によれば、強化学習を用いてスケジューリングを実行する複数の通信装置からフィードバック情報を収集する情報収集部と、
前記フィードバック情報を用いて、前記複数の通信装置についての全体報酬を算出する報酬計算部と、
前記全体報酬を、前記複数の通信装置に配信する情報配信部と
を備える集約装置が提供される。
【発明の効果】
（【００１１】以降は省略されています）

関連特許