自然語言處理被譽(yù)為“人工智能皇冠上的明珠”。深度學(xué)習(xí)等技術(shù)的引入為自然語言處理技術(shù)帶來了一場革命，尤其是近年來出現(xiàn)的基于大語言模型的方法，已成為研究自然語言處理的新范式。本書在介紹自然語言處理、深度學(xué)習(xí)等基本概念的基礎(chǔ)上，重點介紹新的基于預(yù)訓(xùn)練語言模型和大語言模型的自然語言處理技術(shù)。本書包括基礎(chǔ)知識、預(yù)訓(xùn)練語言模型和大語言模型三部分：基礎(chǔ)知識部分主要介紹自然語言處理和深度學(xué)習(xí)的基礎(chǔ)知識、基本工具集和常用數(shù)據(jù)集；預(yù)訓(xùn)練語言模型部分主要介紹語言模型、預(yù)訓(xùn)練詞向量、預(yù)訓(xùn)練語言模型的實現(xiàn)方法和應(yīng)用；大語言模型部分首先介紹大語言模型的預(yù)訓(xùn)練方法，其次介紹大語言模型的適配、應(yīng)用和評估方法，最后介紹基于預(yù)訓(xùn)練語言模型思想的各種延伸技術(shù)。除了理論知識，本書還有針對性地結(jié)合具體案例提供相應(yīng)的PyTorch代碼實現(xiàn)，讓讀者不僅能對理論有更深刻的理解，還能快速地實現(xiàn)自然語言處理模型，達(dá)到理論和實踐的統(tǒng)一。