科研動(dòng)態(tài)
基于聯(lián)邦深度強(qiáng)化學(xué)習(xí)的無(wú)人機(jī)輔助車聯(lián)網(wǎng)聯(lián)合數(shù)據(jù)緩存和計(jì)算卸載方法
中文題目：基于聯(lián)邦深度強(qiáng)化學(xué)習(xí)的無(wú)人機(jī)輔助車聯(lián)網(wǎng)聯(lián)合數(shù)據(jù)緩存和計(jì)算卸載方法
論文題目：Joint Data Caching and Computation Offloading in UAV-assisted Internet of Vehicles via Federated Deep Reinforcement Learning
錄用期刊/會(huì)議：IEEE Transactions on Vehicular Technology (中科院大類二區(qū)、TOP)
原文DOI：10.1109/TVT.2024.3429507
錄用/見(jiàn)刊時(shí)間：2024年7月18日
作者列表：
1）黃霽崴 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 教授
2）張 曼 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專業(yè) 碩22
3）萬(wàn)江源 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專業(yè) 碩20
4）陳 瑩 北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院 教授
5）張 寧 University of Windsor Professor
摘要:
隨著移動(dòng)邊緣計(jì)算（MEC）技術(shù)在車輛互聯(lián)網(wǎng)（IoV）中的日益普及，部署在宏基站（MBSes）等靜態(tài)位置的邊緣服務(wù)器可以為其覆蓋區(qū)域內(nèi)的車輛提供計(jì)算和緩存服務(wù)，有效地減少了任務(wù)處理延遲。然而，由于MBSes周圍的建筑密集和特定區(qū)域（如熱點(diǎn)請(qǐng)求，交通交叉口），IoV的服務(wù)質(zhì)量（QoS）保證是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。為了解決這些挑戰(zhàn)，無(wú)人機(jī)（UAV）可以通過(guò)利用其移動(dòng)靈活性、低價(jià)格和視線（LoS）通信鏈路的優(yōu)勢(shì)，集成到IoV的MEC中。在本文中，我們建立了一個(gè)聯(lián)合無(wú)人機(jī)輔助的IoV場(chǎng)景，其中無(wú)人機(jī)和MBSes都可以為智能車輛提供計(jì)算和數(shù)據(jù)緩存服務(wù)。然后，我們提出了一個(gè)動(dòng)態(tài)數(shù)據(jù)緩存和計(jì)算卸載的聯(lián)合優(yōu)化問(wèn)題，旨在最小化平均任務(wù)處理延遲和最大化無(wú)人機(jī)緩存命中率。通過(guò)應(yīng)用深度強(qiáng)化學(xué)習(xí)（DRL）技術(shù)，我們?cè)O(shè)計(jì)了一種智能數(shù)據(jù)緩存和計(jì)算卸載（IDCCO）算法來(lái)處理大規(guī)模和連續(xù)的狀態(tài)和動(dòng)作空間。此外，為了在保護(hù)DRL模型訓(xùn)練的同時(shí)保護(hù)原始用戶數(shù)據(jù)的收斂速度，我們提出了一種基于聯(lián)邦學(xué)習(xí)（FL）的分布式訓(xùn)練機(jī)制，其中DRL模型在無(wú)人機(jī)上進(jìn)行局部訓(xùn)練，在MBS上進(jìn)行全局參數(shù)聚合。最后，進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該方法在縮短訓(xùn)練時(shí)間、減少任務(wù)處理延遲、最大化緩存命中率方面優(yōu)于幾種比較算法。
背景與動(dòng)機(jī):
對(duì)于數(shù)據(jù)密集型的任務(wù)，現(xiàn)有的數(shù)據(jù)緩存算法可以分為傳統(tǒng)方法和基于學(xué)習(xí)的方法。然而，由于IoV中的各種屬性都是動(dòng)態(tài)的，傳統(tǒng)的策略難以適應(yīng)動(dòng)態(tài)環(huán)境。同時(shí)，大多數(shù)采用集中學(xué)習(xí)的算法會(huì)導(dǎo)致以下問(wèn)題。隨著用戶數(shù)量的增加，數(shù)據(jù)傳輸和模型訓(xùn)練將消耗過(guò)多的通信和計(jì)算資源。此外，訓(xùn)練數(shù)據(jù)的增加也使得集中式學(xué)習(xí)模型的訓(xùn)練越來(lái)越困難。最后，用戶數(shù)據(jù)的傳輸引發(fā)了人們對(duì)潛在的個(gè)人隱私泄露的擔(dān)憂。因此，在保護(hù)IoV用戶隱私的同時(shí)，設(shè)計(jì)一種在動(dòng)態(tài)場(chǎng)景中獲得高效、低成本的最優(yōu)全局?jǐn)?shù)據(jù)緩存策略至關(guān)重要。
主要內(nèi)容:
圖1 無(wú)人機(jī)輔助IoV網(wǎng)絡(luò)架構(gòu)圖
如圖1所示，本文考慮了一個(gè)由MBS、無(wú)人機(jī)和車輛組成的車聯(lián)網(wǎng)邊緣計(jì)算場(chǎng)景。在道路上的車輛產(chǎn)生異構(gòu)的數(shù)據(jù)密集型任務(wù)，無(wú)人機(jī)和MBS都可以為車輛提供數(shù)據(jù)緩存和計(jì)算卸載服務(wù)。針對(duì)IoV的動(dòng)態(tài)性，本文考慮了ES可用的時(shí)變計(jì)算資源、車輛移動(dòng)性和區(qū)域流行的數(shù)據(jù)動(dòng)態(tài)。我們提出了一個(gè)數(shù)據(jù)緩存和計(jì)算卸載的聯(lián)合優(yōu)化問(wèn)題，目的是最小化任務(wù)平均處理延遲和最大化無(wú)人機(jī)緩存命中率。優(yōu)化問(wèn)題表示為：
為了解決大規(guī)模的動(dòng)態(tài)場(chǎng)景問(wèn)題，我們?cè)O(shè)計(jì)了一種基于DRL的算法，可以有效地解決由此引起的馬爾可夫決策過(guò)程（MDP）空間爆炸問(wèn)題。考慮到用戶隱私性的重要性和加快模型訓(xùn)練收斂性的必要性，本文引入一種基于聯(lián)邦學(xué)習(xí)（FL）的分布式訓(xùn)練機(jī)制，如圖2所示。
圖2 基于FL的模型訓(xùn)練過(guò)程
DRL代理可以以分布式方式進(jìn)行訓(xùn)練，每個(gè)代理都可以在本地維護(hù)其數(shù)據(jù)，而無(wú)需向互聯(lián)網(wǎng)上的MBS透露任何用戶私有信息。具體的算法偽代碼如下：
實(shí)驗(yàn)結(jié)果及分析:
實(shí)驗(yàn)結(jié)果表明，與幾種基線算法相比，本文提出的Fed-IDCCO算法能夠有效地降低動(dòng)態(tài)網(wǎng)絡(luò)場(chǎng)景下的平均任務(wù)處理延遲，最大化無(wú)人機(jī)緩存命中率，同時(shí)與集中式算法相比，加快了DRL模型的收斂速度。
圖3 Fed-IDCCO和集中式IDCCO之間的損失函數(shù)
圖4 不同的緩存容量下的緩存命中率和時(shí)延
圖5 不同的內(nèi)容數(shù)下的緩存命中率和時(shí)延
圖6 不同無(wú)人機(jī)和MBS計(jì)算資源下的平均時(shí)延
結(jié)論:
在本文中，我們考慮了一個(gè)UAV-MBS輔助的IoV移動(dòng)邊緣計(jì)算場(chǎng)景。我們研究了聯(lián)合數(shù)據(jù)緩存和計(jì)算卸載的問(wèn)題以最小化任務(wù)平均處理延遲和最大化無(wú)人機(jī)緩存命中率。我們?cè)O(shè)計(jì)了一種基于DRL和FL的分布式智能算法，從而獲得了最優(yōu)的數(shù)據(jù)緩存和計(jì)算卸載策略。訓(xùn)練過(guò)程可以并行地加速，而不需要向核心網(wǎng)絡(luò)傳輸任何對(duì)用戶敏感的數(shù)據(jù)。最后，我們基于真實(shí)數(shù)據(jù)集進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法對(duì)幾種基線算法的效率和優(yōu)越性。
作者簡(jiǎn)介:
黃霽崴，教授，博士生導(dǎo)師，中國(guó)石油大學(xué)（北京）人工智能學(xué)院副院長(zhǎng)，石油數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室主任。入選北京市優(yōu)秀人才、北京市科技新星、北京市國(guó)家治理青年人才、昌聚工程青年人才、中國(guó)石油大學(xué)（北京）優(yōu)秀青年學(xué)者。本科和博士畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，美國(guó)佐治亞理工學(xué)院聯(lián)合培養(yǎng)博士生。研究方向包括：物聯(lián)網(wǎng)、服務(wù)計(jì)算、邊緣智能等。已主持國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、北京市自然科學(xué)基金等科研項(xiàng)目18項(xiàng)；以第一/通訊作者在國(guó)內(nèi)外著名期刊和會(huì)議發(fā)表學(xué)術(shù)論文70余篇，其中1篇獲得中國(guó)科協(xié)優(yōu)秀論文獎(jiǎng)，2篇入選ESI熱點(diǎn)論文，5篇入選ESI高被引論文；出版學(xué)術(shù)專著1部；獲得國(guó)家發(fā)明專利6項(xiàng)、軟件著作權(quán)4項(xiàng)；獲得中國(guó)計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算“青年才俊獎(jiǎng)”；獲得中國(guó)通信學(xué)會(huì)科學(xué)技術(shù)一等獎(jiǎng)1項(xiàng)、中國(guó)產(chǎn)學(xué)研合作創(chuàng)新成果一等獎(jiǎng)1項(xiàng)、廣東省計(jì)算機(jī)學(xué)會(huì)科學(xué)技術(shù)二等獎(jiǎng)1項(xiàng)。擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)服務(wù)計(jì)算專委會(huì)委員，CCF和IEEE高級(jí)會(huì)員，電子學(xué)報(bào)、Chinese Journal of Electronics、Scientific Programming等期刊編委。聯(lián)系方式：huangjw@cup.edu.cn