51PLC智控网

 找回密码
 立即注册
51PLC智控网 51PLC智控网 工控头条 查看内容

物联网边缘系统中负载平衡感知网络控制的深度强化学习

2022-3-27 18:27| 发布者: JimmyScall| 查看: 126| 评论: 0

摘要: 作者:CBCS磕盐室研究目的负载平衡与并行和分布式计算系统的整体性能直接相关。尽管在数据中心环境中已经对通信和计算中的相关问题进行了很好的研究,但很少有工作考虑到物联网(IoT) 边缘场景中的问题。事实上,对于 ...
作者:CBCS磕盐室


研究目的

负载平衡与并行和分布式计算系统的整体性能直接相关。尽管在数据中心环境中已经对通信和计算中的相关问题进行了很好的研究,但很少有工作考虑到物联网(IoT) 边缘场景中的问题。事实上,对于后一种情况,以负载均衡的方式处理数据更具挑战性。主要原因是,与数据中心不同,物联网边缘系统中的数据源和网络基础设施都可以是动态的。此外,由于物联网网络和边缘服务器对性能的要求不同,很难对性能模型进行表征,并对整个系统进行运行时优化。为了解决这个问题,在这项工作中,我们提出了一种负载平衡感知网络方法,用于物联网边缘系统中的高效数据处理。
研究方法

通常,为了从物联网设备收集数据到边缘服务器,网络被划分为集群。每个边缘服务器负责收集和处理来自相应集群的成员节点的数据。在每个集群中,物联网设备形成网状网络,并通过多跳通信将数据包传输到边缘服务器。每个物联网设备都会定期感知其周围的物理区域,如下图所示。系统控制的目的是动态改变集群,以平衡边缘服务器上收集的数据大小和集群上的通信负载,同时移动对象在物联网区域中移动。


DRL 方案。本节中我们介绍了DRL 模型的设计,该模型负责控制网络的聚类。然后我们使用LSTM 模型训练 DRL 模型并提高DRL模型。DRL Model. 我们选择Dueling Double Deep Q-Learning Network (D3QN) 模型作为DRL 解决方案。 D3QN 由双重DQN 和对决 DQN 组成,它们是自然深度Q 学习网络(DQN) 的扩展。我们选择此模型是因为在所有DQN 衍生模型中,D3QN 具有相对简单的结构和更高的性能。我们的解决方案并非旨在找到通信和存储的最佳负载平衡。相反,我们使用D3QN 模型来寻找动态集群解决方案以实现次优负载平衡。Actions. 我们DRL模型的Actions主要是集群核心的动作,包括“上、下、左、右、停留、收缩和扩展”七个动作。States. DRL模型的States主要包含物联网网络和移动对象的状态数据。Reward. DRL模型的Reward包括两方面,一是集群通信负载均衡的奖励,另一个是平衡边缘服务器中的数据大小的奖励。Q-value. 相比于传统的DQN的Q值计算,本模型的Q值计算依据以下公式。其中,第一个公式是用DuelingDQN公式计算Q值,后两个公式则是DoubleDQN的Q值计算方法。



模型的工作流程。本模型的训练训练流程如下图的(a)所示。首先,我们收集现实世界环境中移动对象的位置跟踪数据。然后,我们使用这些数据来训练LSTM 模型。之后,经过训练的 LSTM 模型生成模拟位置跟踪数据。我们通过模拟边缘服务器、物联网设备和移动对象的状态来构建训练环境。最后,在这个仿真环境中训练DRL 模型。而模型的决策过程如下图的(b)所示。LSTM模型预测移动对象下一个状态的概率。边缘服务器、物联网设备的状态和移动对象的预测状态被输入到DRL 模型中。我们选择具有最大期望奖励的动作作为现实世界环境的最终输出。


研究结果

在实验中,我们通过多个指标(训练数据集的大小、边缘服务器的数量、IoT设备的数量以及消息大小比率)来对比其他的解决方案。实验表明,本文提出的方案相比基准解决方案,在负载平衡方面实现显着的性能提升。


Reference

Q.Liu, T. Xia, L. Cheng, M. van Eijk, T. Ozcelebi and Y. Mao, "DeepReinforcement Learning for Load-Balancing Aware Network Control in IoT EdgeSystems," in IEEETransactions on Parallel and Distributed Systems, vol. 33, no. 6,pp. 1491-1502, 1 June 2022, doi: 10.1109/TPDS.2021.3116863.





版权归原作者所有,[url=www.51plc.com]51PLC.COM[/url]转载

鲜花

握手

雷人

路过

鸡蛋

最新评论

相关分类

Archiver|手机版|小黑屋|51PLC智控网

GMT+8, 2022-10-2 23:19 , Processed in 0.072348 second(s), 18 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部