科研動(dòng)態(tài)
基于上下文感知圖卷積網(wǎng)絡(luò)的圖對(duì)比學(xué)習(xí)在口語(yǔ)理解中的應(yīng)用
中文題目：基于上下文感知圖卷積網(wǎng)絡(luò)的圖對(duì)比學(xué)習(xí)在口語(yǔ)理解中的應(yīng)用
論文題目：Spoken Language Understanding via Graph Contrastive Learning on The Context-aware Graph Convolutional Network
錄用期刊：Pattern Analysis and Applications (CCF C類(lèi)期刊)
錄用時(shí)間：2024.10.18
作者列表：
1) 曹 澤 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 碩21級(jí)
2) 劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
摘要:
口語(yǔ)理解系統(tǒng)是對(duì)話系統(tǒng)的關(guān)鍵組成部分，其任務(wù)是理解用戶的言語(yǔ)表達(dá)并相應(yīng)地執(zhí)行相應(yīng)的任務(wù)。語(yǔ)境口語(yǔ)理解（語(yǔ)境SLU）是該領(lǐng)域的一個(gè)極其關(guān)鍵的問(wèn)題，因?yàn)樗兄谙到y(tǒng)更準(zhǔn)確地理解用戶的言語(yǔ)表達(dá)，從而提高系統(tǒng)的性能和準(zhǔn)確性。本文旨在提高語(yǔ)境SLU分析的有效性。基于上下文的語(yǔ)言單元系統(tǒng)主要關(guān)注有效地整合對(duì)話上下文信息。當(dāng)前的方法通常使用相同的上下文信息來(lái)指導(dǎo)所有標(biāo)記的槽填充，這可能會(huì)引入不相關(guān)的信息，導(dǎo)致理解偏差和歧義。為了解決這個(gè)問(wèn)題，我們應(yīng)用了基于圖卷積網(wǎng)絡(luò)（GCN）的圖對(duì)比學(xué)習(xí)原理來(lái)增強(qiáng)模型聚合上下文信息的能力。同時(shí)，應(yīng)用圖對(duì)比學(xué)習(xí)可以通過(guò)增強(qiáng)模型的意圖來(lái)提高模型的有效性。更確切地說(shuō)，圖卷積網(wǎng)絡(luò)可以考慮上下文信息并自動(dòng)聚合上下文信息，使模型不再依賴(lài)于傳統(tǒng)設(shè)計(jì)的啟發(fā)式聚合函數(shù)。對(duì)比學(xué)習(xí)模塊利用對(duì)比學(xué)習(xí)原理實(shí)現(xiàn)意圖增強(qiáng)的效果，它可以學(xué)習(xí)更深層次的語(yǔ)義信息和上下文關(guān)系，并提高模型在三個(gè)關(guān)鍵任務(wù)中的有效性：槽填充、對(duì)話動(dòng)作識(shí)別和意圖檢測(cè)。在合成對(duì)話數(shù)據(jù)集上的實(shí)驗(yàn)表明，我們的模型達(dá)到了最先進(jìn)的性能，并且明顯優(yōu)于其他先前的方法（Sim-M上的Slot F1值+1.03%，Sim-R上的+2.32%；Sim-M上動(dòng)作F1值+0.26%，Sim-R上浮0.56%；Sim-M上浮幀Acc值+3.15%，Sim-R為+1.62%）。
背景與動(dòng)機(jī):
在自然語(yǔ)言處理（NLP）領(lǐng)域，口語(yǔ)理解（SLU）是一個(gè)關(guān)鍵分支，專(zhuān)注于將口語(yǔ)轉(zhuǎn)換為結(jié)構(gòu)化表達(dá)。語(yǔ)境口語(yǔ)理解技術(shù)在智能語(yǔ)音助手、人機(jī)交互、智能客戶服務(wù)和其他領(lǐng)域有著廣泛的應(yīng)用。對(duì)于面向任務(wù)的對(duì)話系統(tǒng)，SLU是必不可少的任務(wù)，因?yàn)樗梢詫⒆匀徽Z(yǔ)言翻譯成有利于用戶意圖、對(duì)話行為和時(shí)隙信息的語(yǔ)義信息。
主要內(nèi)容:
1.我們提出了一種改進(jìn)圖卷積網(wǎng)絡(luò)的方法，增強(qiáng)了它們聚合上下文信息的能力。這種方法消除了模型中手動(dòng)聚合功能的需要，增強(qiáng)了跨各種場(chǎng)景的靈活性和適應(yīng)性。具體來(lái)說(shuō)，我們?cè)趫D卷積網(wǎng)絡(luò)之后添加了一個(gè)圖對(duì)比學(xué)習(xí)模塊，利用它對(duì)歷史對(duì)話信息進(jìn)行建模，并整合來(lái)自不同對(duì)話回合的信息。該方法有助于更好地利用上下文信息，從而提高多輪SLU的性能和準(zhǔn)確性。
2.我們采用圖對(duì)比學(xué)習(xí)模型來(lái)提高實(shí)驗(yàn)結(jié)果。在多回合對(duì)話中，歧義是一個(gè)關(guān)鍵挑戰(zhàn)，可能會(huì)導(dǎo)致對(duì)話系統(tǒng)性能下降和用戶體驗(yàn)下降。為了解決這個(gè)問(wèn)題，我們創(chuàng)新性地提出了一種基于圖對(duì)比學(xué)習(xí)的意圖增強(qiáng)方法，該方法有效地消除了歧義，從而提高了多回合SLU的準(zhǔn)確性。
3.全面的驗(yàn)證實(shí)驗(yàn)，驗(yàn)證了我們提出的框架的有效性。實(shí)驗(yàn)涉及公共基準(zhǔn)數(shù)據(jù)集，我們與現(xiàn)有的基準(zhǔn)方法進(jìn)行了比較實(shí)驗(yàn)。結(jié)果明確表明，我們的框架在多回合SLU領(lǐng)域取得了顯著的增強(qiáng)，達(dá)到了最先進(jìn)的性能水平。
結(jié)論:
i） 在利用BiLSTM從對(duì)話中學(xué)習(xí)每個(gè)話語(yǔ)級(jí)編碼器的問(wèn)題上，我們引入了遞歸機(jī)制來(lái)掌握同一對(duì)話中當(dāng)前話語(yǔ)前后的上下文信息；
ii）在利用上下文圖聚合層學(xué)習(xí)多級(jí)層次上下文感知圖節(jié)點(diǎn)隱表示方面，在充分利用圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取節(jié)點(diǎn)局部相關(guān)關(guān)系并學(xué)習(xí)節(jié)點(diǎn)隱表示的基礎(chǔ)上，我們引入了多級(jí)層次圖架構(gòu)，以進(jìn)一步抓住同一對(duì)話中當(dāng)前話語(yǔ)前后不同的抽象層次上下文信息；
iii）通過(guò)引入圖對(duì)比學(xué)習(xí)輔助任務(wù)，我們?cè)诔跫?jí)上下文SLU任務(wù)中引入了歸納偏差，使多級(jí)分層上下文感知圖節(jié)點(diǎn)隱表示具有正確的上下文信息和更強(qiáng)的判別能力。
作者簡(jiǎn)介:
劉建偉，教師，學(xué)者。