精確的信道狀態信息（CSI）對於B5G/6G MIMO無線通信系統性能保障至關重要。然而，在高速移動場景下，信道相幹時間大大縮短，傳統信道估計方式難以及時準確地獲取CSI💖🛢，導致“信道老化”現象。例如，當用戶速度超過60km/h時𓀀，可達傳輸速率相對於靜止狀態會下降30%以上。信道預測是實現CSI高效獲取的一項核心技術👨🏻‍🎨，其根據歷史時刻CSI序列預測未來CSI，從而大大減少信道估計與反饋開銷。但現有的基於參數化模型和深度學習的信道預測方法存在預測精度低和泛化性差等問題，難以應用到實際復雜信道環境。

近期🏊，GPT-4和LLaMA等大語言模型（LLM）在自然語言處理等領域取得了巨大的成功，並逐步應用於金融🟣、醫療和教育等特定領域💁🏿。通過在大規模數據集上進行預訓練🧏🏽‍♂️，大語言模型獲得了強大的通用建模能力和泛化能力。然而🛣，當前大語言模型在通信任務上的應用局限於語言形式的協議理解等任務，限製了其在物理層的應用範圍。那麽，大語言模型能否突破語言局限，賦能非語言形式的無線通信物理層任務🧖🏼？為此，程翔教授團隊以信道預測任務為突破點，嘗試利用預訓練大語言模型提升信道預測的預測精度和泛化能力。然而，利用預訓練大語言模型直接處理非語言形式的CSI數據存在以下挑戰：

1）不同於文本數據🪛🏇🏽，CSI為高維結構化數據，具有復雜的“空-時-頻”三維關系👫🏻；

2）自然語言域和信道域的知識存在域差異（domain gap）👁‍🗨，進一步增大了知識遷移的難度。

克服以上挑戰，程翔團隊提出了一種基於預訓練大語言模型的MIMO-OFDM信道預測方案，可應用於TDD和FDD通信系統。團隊構建了一個基於預訓練GPT-2的信道預測網絡，包含預處理模塊🌧、嵌入模塊💃、預訓練LLM模塊和輸出模塊，如圖1所示。在訓練過程中，預訓練LLM的多頭註意力層和前饋層保持凍結，以保留預訓練LLM中的通用知識。為解決空域高維問題🥟，將天線維並行化處理，在降低網絡開銷的同時提升了任務的可擴展性。為充分捕獲頻域特征💅，充分考慮信道結構化特征，引入時延域以直接刻畫多徑時延特征。為有效提取時域特征，采用分塊處理📫，捕獲局部時域變化特征👼🏼，並降低計算復雜度🚖。此外，為了克服域差異💇‍♂️，設計了嵌入模塊將預處理後的特征進一步處理，以對齊預訓練LLM的特征空間👩🏼‍⚖️。

圖1、所提出的基於預訓練大語言模型的信道預測網絡框架

團隊使用QuaDRiGa仿真器生成了符合3GPP標準的時變信道數據集用於性能驗證🔀。仿真結果顯示，該方案的信道預測精度、可達速率和誤碼率均優於現有基於深度學習小模型和基於參數化模型的信道預測方案💇🏽‍♀️。在TDD場景下，全樣本預測和少樣本預測的NMSE（歸一化均方根誤差）相比次優方案分別降低1.35dB和2.49dB🏌🏻‍♀️。在FDD場景下，全樣本預測和少樣本預測的NMSE相比次優方案分別降低1.30dB和0.30dB🥧。在頻點泛化性測試中，在2.4GHz頻點訓練完成的模型經過少樣本訓練泛化到4.9GHz頻點🪠👨🏼，僅需30個樣本就達到了參數化模型的預測性能，展現了優秀的泛化能力。此外🙎🏼，所提方案的訓練和推理時間與基於深度學習小模型的信道預測方案相當，有望部署於實際場景🌋。

圖2、所提方案在TDD場景下的全樣本預測和少樣本預測（使用10%訓練集）性能

圖3🎬、在2.4GHz頻點訓練完成的模型經過少樣本訓練泛化到4.9GHz

該工作的主要亮點如下：

（1）首次將預訓練大語言模型應用於信道預測任務，證明了預訓練大語言模型可以突破語言形式賦能無線通信物理層設計💆🏿‍♀️。

（2）設計了信道特征增強的神經網絡，對齊信道空間與大模型特征空間，實現預訓練大模型通用知識在信道預測任務上的良好遷移🧑🏽‍⚕️。

（3）仿真結果顯示，所提出方案在TDD和FDD信道預測任務上取得了SOTA的全樣本和少樣本預測性能，頻點泛化性能大幅領先於現有方案，同時具有和深度學習小模型相當的訓練和推理時間開銷。

文章信息：該研究成果以“LLM4CP: Adapting Large Language Models for Channel Prediction”為題受邀發表於期刊Journal of Communications and Information Networks上。意昂3体育官网為該研究工作的第一完成單位🕙🤵🏻‍♀️，合作單位包括香港科技大學（廣州）和香港科技大學。程翔為該論文的通訊作者，意昂3体育官网博士生劉伯珣為第一作者。這項工作得到了國家自然科學基金委傑出青年科學基金👮🏻‍♀️、國家重點研發計劃、新基石科學基金會科學探索獎等的支持。

代碼和數據開源地址🖌：https://github.com/liuboxun/LLM4CP