基于強化學習的骨干輔助實時PD-NOMA網(wǎng)絡中數(shù)據(jù)基站的部署策略
中文題目：基于強化學習的骨干輔助實時PD-NOMA網(wǎng)絡中數(shù)據(jù)基站的部署策略
論文題目：Data Sinks Deployment for Backbone-Assisted Real-Time PD-NOMA Networks based on Reinforcement Learning
錄用期刊/會議：The 21st IEEE International Conference on Ubiquitous Intelligence and Computing (CCF C)
作者列表：
1) 呂振杰 中國石油大學（北京）人工智能學院 計算機科學與技術專業(yè) 碩 22
2) 徐朝農 中國石油大學（北京）人工智能學院 計算機系教師
3) 魏嘉辰 中國石油大學（北京）人工智能學院 計算機科學與技術專業(yè) 碩 22
摘要:
實時性能是骨干網(wǎng)輔助功率域非正交多址接入無線網(wǎng)絡（BA-PDNOMAWNs）在工業(yè)物聯(lián)網(wǎng)應用中的關鍵指標之一。由于數(shù)據(jù)基站與無線傳感器之間的地理位置關系對實時性能有極大影響，因此在無線傳感器固定的場景下，合理設置數(shù)據(jù)基站的位置是一種實現(xiàn)高實時性能的有效方法。本文將骨干網(wǎng)輔助PD-NOMA無線網(wǎng)絡中尋找最佳數(shù)據(jù)基站位置的問題建模為一個最小化上行傳輸時延的優(yōu)化問題。為了找到一種低復雜度的算法，我們首先將該問題形式化為馬爾可夫決策過程，并提出了一種基于經(jīng)典多智能體深度確定性策略梯度的強化學習算法，其中獎勵函數(shù)經(jīng)過精心設計，以加速收斂。實驗結果表明，相較于單個數(shù)據(jù)基站，多個數(shù)據(jù)基站在BA-PDNOMAWNs中可以將上行傳輸時延減少2.2倍。此外，與經(jīng)典的模擬退火優(yōu)化算法及其他部署算法（如CC和GP算法）相比，所提出的算法可以將上行傳輸時延減少2倍，從而實現(xiàn)更優(yōu)的實時性能。
主要內容:
1、問題建模
為了更清晰地描述問題，我們給出了“可行解碼序列”的定義，對于一個擁有m個數(shù)據(jù)基站的BA-PDNOMAWN網(wǎng)絡，我們需要找到m個可行的位置 (X1,Y1),(X2,Y2),…,(Xm,Ym) 來最小化幀長度。因此，該問題可以表述如下。
其中Ne表示一個可解碼用戶序列。
2、算法設計
為了解決上面的問題，首先我們將問題轉化為一個馬爾可夫過程，并對其中的獎勵策略進行了詳細設計。我們同時給出了“序列干擾度”和“序列全局干擾增量”的定義。基于上述BA-PDNOMAWNs的原則以及“可行解碼序列”的定義，首先順序選擇尚未被分配的所有可行UE。然后，計算該序列的全局干擾增量，選擇全局干擾增量值最小的UE，并將其分配到當前時槽的下一階段。該過程將持續(xù)進行，直到?jīng)]有UE可以分配到該時槽為止，從而完成該時槽的UE分配。此過程將在后續(xù)的時槽中重復進行，直到所有UE都完成分配。從而可以計算出獎勵值。
然后，我們提出了一種基于MADDPG的骨干網(wǎng)輔助多數(shù)據(jù)基站部署（BAMDSP）算法來解決這個問題。
實驗結果及分析:
我們還將所提出算法與模擬退火（SA）算法及現(xiàn)有的BA-PDNOMAWNs多數(shù)據(jù)基站部署算法如CC、GP進行比較。在僅有一個數(shù)據(jù)基站的非骨干無線網(wǎng)絡中，我們的方法將上行幀長度分別減少了2.2倍、1.22倍和1.33倍。在BA-PDNOMAWNs中，我們提出的方法甚至可以將接入時延減少2倍。
小結:
本文探討了靈活部署數(shù)據(jù)基站對BA-PDNOMAWNs中接入時延性能的影響。本文提出的BAMDSP算法為提升實時性能提供了有效的解決方案。隨著NOMA技術的廣泛應用以及骨干網(wǎng)連接數(shù)據(jù)基站所帶來的優(yōu)勢，BA-PDNOMAWNs預計將在不久的將來成為一個重要的研究熱點。
作者簡介:
徐朝農，中國石油大學（北京）人工智能學院教師，主要研究領域為邊緣智能、嵌入式系統(tǒng)、無線網(wǎng)絡。