本書是一本體系完整、算法和案例豐富的人工智能類教材。本書系統(tǒng)地講解深度學(xué)習(xí)的理論與方法,主要內(nèi)容包括緒論、深度學(xué)習(xí)基礎(chǔ)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度序列模型、深度生成網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)、注意力機制、深度強化學(xué)習(xí)、深度遷移學(xué)習(xí)、無監(jiān)督深度學(xué)習(xí)。本書通過豐富的實例講解方法的應(yīng)用;強調(diào)深度學(xué)習(xí)的系統(tǒng)性、方法的時效性,同時針對深度學(xué)習(xí)快速發(fā)展的特點,講解深度學(xué)習(xí)的最新技術(shù),本書配備了實例的數(shù)字化資源,供學(xué)習(xí)者下載。
本書既可以作為國內(nèi)各高等學(xué)校、科研院所本科生、研究生的教材,也可以供國內(nèi)外從事深度學(xué)習(xí)的研究人員和工程人員使用。
本書配有電子課件,歡迎選用本書作教材的教師登錄www.compedu.com 注冊后下載。
本書遵循教指委相關(guān)指導(dǎo)文件和高等院校學(xué)生學(xué)習(xí)規(guī)律編寫而成。踐行四新理念,融入思政元素,注重理論與實踐相結(jié)合。
前言
隨著科技的飛速發(fā)展,人工智能(AI)已經(jīng)成為這個時代最引人注目的科技之一。在AI的眾多分支中,深度學(xué)習(xí)(Deep Learning)憑借其強大的特征提取能力和對數(shù)據(jù)內(nèi)在模式的精確建模,已經(jīng)成為推動AI技術(shù)不斷突破的關(guān)鍵力量。為此,我們編寫了這本《深度學(xué)習(xí)》教材,系統(tǒng)地介紹深度學(xué)習(xí)的理論與方法。本書旨在為讀者提供一個全面而深入的深度學(xué)習(xí)知識體系。本書從深度學(xué)習(xí)的基礎(chǔ)知識出發(fā),逐步深入到各種先進的網(wǎng)絡(luò)結(jié)構(gòu)和算法,力求讓讀者在掌握基本理論的同時,能夠了解深度學(xué)習(xí)的最新發(fā)展和應(yīng)用。
本書由11章組成。第1章概述深度學(xué)習(xí),介紹深度學(xué)習(xí)的發(fā)展歷史、分類及度量指標(biāo)。第2章介紹深度學(xué)習(xí)基礎(chǔ)知識,討論深度學(xué)習(xí)相關(guān)的數(shù)學(xué)基礎(chǔ)知識、感知機與多層感知機,以及反向傳播算法。第3章詳細介紹卷積神經(jīng)網(wǎng)絡(luò)的基本概念、發(fā)展歷程、基本結(jié)構(gòu)與部件,以及代表性模型和各種卷積。第4章闡述循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)以及訓(xùn)練方法,著重分析長短期記憶網(wǎng)絡(luò)和門控循環(huán)單元等典型循環(huán)神經(jīng)網(wǎng)絡(luò)。第5章主要討論以序列到序列為代表的深度序列模型,分析編碼器-解碼器架構(gòu),重點論述Transformer架構(gòu)及其各種變體。第6章闡述各種深度生成網(wǎng)絡(luò),包括基于玻爾茲曼機的方法、基于變分自動編碼器的方法、基于生成對抗網(wǎng)絡(luò)的方法、基于流模型的方法、基于擴散模型的方法、基于自回歸網(wǎng)絡(luò)的方法,以及大語言模型。第7章深入討論圖神經(jīng)網(wǎng)絡(luò)的核心概念和運行機制,詳盡闡述了包括圖卷積神經(jīng)網(wǎng)絡(luò)、圖循環(huán)網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)等典型圖神經(jīng)網(wǎng)絡(luò)。第8章介紹深度學(xué)習(xí)領(lǐng)域注意力機制的概念、發(fā)展歷程、分類,討論注意力模型的基本架構(gòu)以及原理,以及注意力模型的性能測評。第9章主要論述深度強化學(xué)習(xí),介紹強化學(xué)習(xí)模型和馬爾可夫決策過程,重點討論深度Q學(xué)習(xí)算法和TD算法等深度價值學(xué)習(xí)算法、策略梯度算法等深度策略學(xué)習(xí)、模仿學(xué)習(xí)以及基于人類反饋的強化學(xué)習(xí)。第10章闡述深度遷移學(xué)習(xí),重點討論基于微調(diào)的深度遷移學(xué)習(xí)、基于凍結(jié)CNN層的深度遷移學(xué)習(xí)、基于漸進式學(xué)習(xí)的深度遷移學(xué)習(xí),以及基于對抗的深度遷移學(xué)習(xí),總結(jié)了每一種方法的基本實現(xiàn)思路與相關(guān)應(yīng)用,并給出了常用的數(shù)據(jù)集。第11章主要論述無監(jiān)督深度學(xué)習(xí),介紹基于掩碼的任務(wù)、基于語言模型的任務(wù)、基于時序的任務(wù)、基于對比學(xué)習(xí)的任務(wù),以及經(jīng)典無監(jiān)督深度學(xué)習(xí)模型。
本書內(nèi)容全面,體系完整,涵蓋了深度學(xué)習(xí)的基本概念、原理、算法和應(yīng)用等多個方面,為讀者呈現(xiàn)完整的深度學(xué)習(xí)知識體系。本書注重理論與實踐相結(jié)合,不僅介紹了各種算法的原理,還提供了大量的實驗案例和代碼實現(xiàn),讀者可以通過親手實踐,加深對算法的理解和掌握,提高解決實際問題的能力。隨著技術(shù)的不斷發(fā)展,機器學(xué)習(xí)領(lǐng)域也在不斷涌現(xiàn)新的研究成果和應(yīng)用場景,本書注重跟蹤前沿動態(tài),及時介紹最新的研究成果和趨勢。本書強調(diào)可讀性和可教性,充分考慮了讀者的閱讀體驗和教師的教學(xué)需求,同時,提供了豐富的教學(xué)資源,方便教師進行課堂教學(xué)和實驗教學(xué)。本書數(shù)字化資源豐富,學(xué)習(xí)體驗升級。作為新形態(tài)教材,本書配備了數(shù)字化資源,如實例源代碼等。這些資源不僅能夠幫助讀者更直觀地理解復(fù)雜的概念和算法,還能夠提升學(xué)習(xí)的趣味性和互動性。讀者可以通過掃描書中的二維碼或訪問指定網(wǎng)站,獲取這些數(shù)字化資源。通過本書的學(xué)習(xí),讀者將能夠全面掌握深度學(xué)習(xí)的理論與方法,了解深度學(xué)習(xí)領(lǐng)域的最新研究成果和應(yīng)用趨勢,為未來的研究和應(yīng)用奠定堅實的基礎(chǔ)。期待本書能為讀者提供一個深入、系統(tǒng)的深度學(xué)習(xí)知識體系,共同推動人工智能的發(fā)展。
本書既可以作為國內(nèi)各高等學(xué)校、科研院所本科生、研究生的教材,也可以供國內(nèi)外從事深度學(xué)習(xí)的研究人員和工程人員使用。希望讀者通過閱讀本書,學(xué)會各種深度學(xué)習(xí)方法,體驗學(xué)習(xí)相關(guān)知識的樂趣。
本書第1~4章、第6章、第8~10章由李侃編著,第5、7、11章由孫新編著。感謝博士生王星霖、劉鑫、袁沛文、尹航、李易為、范文驍為本書所付出的辛勤工作。感謝對本書投入過心血的所有人!另外,在本書寫作和出版的過程中,機械工業(yè)出版社的編輯團隊給予了很多幫助,在此特向他們致謝。
由于筆者水平有限,書中難免有不足之處,敬請廣大讀者批評指正。
李侃
高等院校教師
目錄
序
前言
第1章緒論
1.1深度學(xué)習(xí)簡介
1.2深度學(xué)習(xí)的發(fā)展歷史
1.2.1深度學(xué)習(xí)技術(shù)的發(fā)展歷史
1.2.2深度學(xué)習(xí)產(chǎn)業(yè)應(yīng)用的變遷史
1.3深度學(xué)習(xí)的分類
1.3.1任務(wù)類型
1.3.2模型類型
1.4度量指標(biāo)
1.4.1回歸任務(wù)指標(biāo)
1.4.2分類任務(wù)指標(biāo)
1.4.3生成任務(wù)指標(biāo)
本章小結(jié)
思考題與習(xí)題
參考文獻
第2章深度學(xué)習(xí)基礎(chǔ)
2.1線性代數(shù)
2.1.1標(biāo)量和向量
2.1.2矩陣和張量
2.1.3矩陣計算
2.1.4范數(shù)
2.2微積分
2.2.1導(dǎo)數(shù)和微分
2.2.2偏導(dǎo)數(shù)和梯度
2.2.3鏈?zhǔn)椒▌t
2.3概率論
2.3.1概率分布
2.3.2期望和方差
2.3.3條件概率和聯(lián)合概率
2.3.4全概率公式與貝葉斯定理
2.3.5邊緣概率分布
2.4距離與相似度計算
2.4.1常見的距離計算
2.4.2常見的相似度計算
2.5激活函數(shù)
2.6感知機與多層感知機
2.6.1感知機
2.6.2多層感知機
2.7反向傳播算法
本章小結(jié)
思考題與習(xí)題
參考文獻
第3章卷積神經(jīng)網(wǎng)絡(luò)
3.1簡介
3.1.1基本概念
3.1.2發(fā)展歷程
3.2基礎(chǔ)模塊
3.2.1端到端架構(gòu)
3.2.2輸入層
3.2.3卷積層
3.2.4池化層
3.2.5激活層
3.2.6全連接層
3.2.7目標(biāo)函數(shù)
3.3典型卷積神經(jīng)網(wǎng)絡(luò)
3.3.1LeNet-5
3.3.2AlexNet
3.3.3VGGNet
3.3.4GoogLeNet
3.3.5ResNet
3.3.6R-CNN系列
3.3.7YOLO系列
3.3.8MobileNet
3.3.9Conformer
3.4各種卷積
3.4.12D卷積
3.4.23D卷積
3.4.31×1卷積
3.4.4空間可分離卷積
3.4.5深度可分離卷積
3.4.6分組卷積
3.4.7擴張卷積
3.5卷積神經(jīng)網(wǎng)絡(luò)實例
3.5.1實例背景
3.5.2數(shù)據(jù)準(zhǔn)備
3.5.3模型構(gòu)建與訓(xùn)練
3.5.4模型評估與調(diào)整
本章小結(jié)
思考題與習(xí)題
參考文獻
第4章循環(huán)神經(jīng)網(wǎng)絡(luò)
4.1循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
4.2.1損失函數(shù)
4.2.2時間反向傳播算法
4.2.3梯度消失與梯度爆炸
4.3雙向循環(huán)神經(jīng)網(wǎng)絡(luò)與深度循環(huán)神經(jīng)網(wǎng)絡(luò)
4.4長短期記憶網(wǎng)絡(luò)
4.4.1LSTM記憶單元
4.4.2LSTM記憶方式
4.5門控循環(huán)單元
4.6遞歸神經(jīng)網(wǎng)絡(luò)
4.7雙向長短期記憶網(wǎng)絡(luò)與雙向門控循環(huán)單元
4.8應(yīng)用實例
4.8.1實例背景
4.8.2基本流程
本章小結(jié)
思考題與習(xí)題
參考文獻
第5章深度序列模型
5.1深度序列模型概述
5.1.1深度序列模型結(jié)構(gòu)
5.1.2序列生成模型解決的問題
5.2編碼器-解碼器架構(gòu)
5.3序列到序列模型
5.4融入注意力機制的序列到序列模型
5.5Transformer架構(gòu)
5.5.1Transformer的輸入
5.5.2Transformer編碼器
5.5.3Transformer解碼器
5.6Transformer變體
5.6.1Transformer的模塊變體
5.6.2Transformer的應(yīng)用變體
5.7深度序列模型實例
5.7.1實例背景
5.7.2數(shù)據(jù)準(zhǔn)備
5.7.3模型構(gòu)建
5.7.4模型訓(xùn)練與應(yīng)用
本章小結(jié)
思考題與習(xí)題
參考文獻
第6章深度生成網(wǎng)絡(luò)
6.1深度生成模型簡介
6.2基于玻爾茲曼機的方法
6.2.1受限玻爾茲曼機
6.2.2深度置信網(wǎng)絡(luò)
6.2.3深度玻爾茲曼機
6.3基于變分自動編碼器的方法
6.3.1VAE模型的基本原理
6.3.2幾種重要的VAE結(jié)構(gòu)
6.4基于生成對抗網(wǎng)絡(luò)的方法
6.4.1生成對抗網(wǎng)絡(luò)的基本原理
6.4.2生成對抗網(wǎng)絡(luò)的穩(wěn)定性研究
6.4.3生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)發(fā)展
6.5基于流模型的方法
6.5.1流模型的基本原理
6.5.2常規(guī)流
6.5.3流模型的衍生結(jié)構(gòu)
6.6基于擴散模型的方法
6.6.1擴散模型的基本原理
6.6.2條件擴散模型的技術(shù)方案
6.7基于自回歸網(wǎng)絡(luò)的方法
6.7.1自回歸網(wǎng)絡(luò)的基本原理
6.7.2自回歸網(wǎng)絡(luò)的衍生結(jié)構(gòu)
6.8大語言模型
6.8.1模型架構(gòu)
6.8.2常用大模型
6.8.3預(yù)訓(xùn)練大語言模型的優(yōu)化技巧
6.9深度生成模型實例
本章小結(jié)
思考題與習(xí)題
參考文獻
第7章圖神經(jīng)網(wǎng)絡(luò)
7.1圖神經(jīng)網(wǎng)絡(luò)概述
7.1.1圖神經(jīng)網(wǎng)絡(luò)的發(fā)展起源
7.1.2圖神經(jīng)網(wǎng)絡(luò)的設(shè)計
7.1.3圖神經(jīng)網(wǎng)絡(luò)計算模塊
7.2圖卷積神經(jīng)網(wǎng)絡(luò)
7.2.1基于譜的方法
7.2.2基于空間的方法
7.3圖循環(huán)網(wǎng)絡(luò)
7.3.1基于門控循環(huán)單元的方法
7.3.2基于長短期記憶網(wǎng)絡(luò)的方法
7.4圖注意力網(wǎng)絡(luò)
7.4.1基于自注意力的方法
7.4.2基于層注意力的方法
7.5圖神經(jīng)網(wǎng)絡(luò)實例
7.5.1實例背景
7.5.2數(shù)據(jù)準(zhǔn)備
7.5.3模型構(gòu)建與訓(xùn)練
本章小結(jié)
思考題與習(xí)題
參考文獻
第8章注意力機制
8.1注意力機制簡介
8.1.1基本概念
8.1.2發(fā)展歷程
8.2注意力模型基本架構(gòu)
8.3注意力機制分類
8.3.1一般模式注意力
8.3.2鍵值對模式注意力
8.3.3多頭注意力
8.4注意力模型
8.4.1通道&空間注意力
8.4.2混合注意力
8.4.3自注意力
8.4.4類別注意力
8.4.5時間注意力
8.4.6頻率注意力
8.4.7全局注意力
8.5注意力機制實例
8.5.1實例背景
8.5.2數(shù)據(jù)準(zhǔn)備
8.5.3模型構(gòu)建與訓(xùn)練
8.5.4模型評估與調(diào)整
8.5.5實例運行結(jié)果
本章小結(jié)
思考題與習(xí)題
參考文獻
第9章深度強化學(xué)習(xí)
9.1強化學(xué)習(xí)基本概念
9.1.1強化學(xué)習(xí)基礎(chǔ)框架
9.1.2強化學(xué)習(xí)關(guān)鍵要素
9.1.3馬爾可夫決策過程
9.2深度價值學(xué)習(xí)
9.2.1DQN
9.2.2TD算法
9.2.3噪聲DQN
9.3深度策略學(xué)習(xí)
9.3.1策略梯度
9.3.2策略梯度理論證明
9.3.3REINFORCE算法
9.3.4Actor-Critic學(xué)習(xí)
9.3.5帶基線的策略梯度方法
9.4模仿學(xué)習(xí)
9.4.1模仿學(xué)習(xí)基礎(chǔ)
9.4.2逆強化學(xué)習(xí)
9.5基于人類反饋的強化學(xué)習(xí)
9.6深度強化學(xué)習(xí)實例
9.6.1實例背景
9.6.2環(huán)境準(zhǔn)備
9.6.3模型構(gòu)建
9.6.4模型訓(xùn)練
本章小結(jié)
思考題與習(xí)題
參考文獻
第10章深度遷移學(xué)習(xí)
10.1遷移學(xué)習(xí)
10.1.1深度遷移學(xué)習(xí)簡介
10.1.2深度遷移學(xué)習(xí)分類
10.2基于微調(diào)的方法
10.3基于凍結(jié)CNN層的方法
10.4漸進式學(xué)習(xí)方法
10.5基于對抗思想的方法
10.6相關(guān)數(shù)據(jù)集
10.7深度遷移學(xué)習(xí)實例
10.7.1背景
10.7.2數(shù)據(jù)準(zhǔn)備
10.7.3模型構(gòu)建與訓(xùn)練
本章小結(jié)
思考題與習(xí)題
參考文獻
第11章無監(jiān)督深度學(xué)習(xí)
11.1概述
11.2基于掩碼的任務(wù)
11.3基于語言模型的任務(wù)
11.4基于時序的任務(wù)
11.5基于對比學(xué)習(xí)的任務(wù)
11.6經(jīng)典無監(jiān)督深度學(xué)習(xí)模型
11.6.1掩碼自動編碼器
11.6.2BERT模型
11.6.3GPT模型
11.6.4BEiT模型
11.6.5SimCLR模型
11.7無監(jiān)督深度學(xué)習(xí)實例
11.7.1數(shù)據(jù)準(zhǔn)備
11.7.2模型構(gòu)建
11.7.3模型訓(xùn)練
本章小結(jié)
思考題與習(xí)題
參考文獻