推薦序一
推薦序二
推薦序三
前言
致謝
第1章人工智能系統(tǒng)概述1
本章簡介1
內容概覽2
1.1　深度學習的歷史、現(xiàn)狀與發(fā)展2
1.1.1　深度學習的廣泛應用2
1.1.2　深度學習方法4
1.1.3　神經網絡基本理論的奠定5
1.1.4　深度學習算法、模型的現(xiàn)狀和趨勢9
1.1.5　小結與討論12
1.1.6　參考文獻12
1.2　算法、框架、體系結構與算力的進步13
1.2.1　大數據和分布式系統(tǒng)13
1.2.2　深度學習算法的進步15
1.2.3　計算機體系結構和計算能力的進步17
1.2.4　計算框架的進步18
1.2.5　小結與討論21
1.2.6　參考文獻21
1.3　深度學習系統(tǒng)的組成與生態(tài)22
1.3.1　深度學習系統(tǒng)的設計目標22
1.3.2　深度學習系統(tǒng)的大致組成24
1.3.3　深度學習系統(tǒng)的生態(tài)27
1.3.4　小結與討論29
1.3.5　參考文獻29
1.4　深度學習樣例背后的系統(tǒng)問題29
1.4.1　一個深度學習樣例與其中的系統(tǒng)問題30
1.4.2　模型算子實現(xiàn)中的系統(tǒng)問題33
1.4.3　框架執(zhí)行深度學習模型的生命周期36
1.4.4　更廣泛的人工智能系統(tǒng)生態(tài)40
1.4.5　深度學習框架及工具入門實驗41
1.4.6　小結與討論44
1.4.7　參考文獻44
1.5　影響深度學習系統(tǒng)設計的理論、原則與假設44
1.5.1　抽象層次化表示與解釋45
1.5.2　摩爾定律與算力發(fā)展趨勢49
1.5.3　局部性原則與內存層次結構52
1.5.4　線性代數計算與模型缺陷容忍特性59
1.5.5　并行加速與阿姆達爾定律優(yōu)化上限64
1.5.6　冗余與可靠性67
1.5.7　小結與討論68
1.5.8　參考文獻68
第2章神經網絡基礎70
本章簡介70
內容概覽70
2.1　神經網絡的基本概念70
2.1.1　神經元的數學模型71
2.1.2　神經網絡的主要功能72
2.1.3　激活函數73
2.1.4　小結與討論78
2.2　神經網絡訓練78
2.2.1　基本訓練流程78
2.2.2　損失函數80
2.2.3　梯度下降82
2.2.4　反向傳播85
2.2.5　小結與討論85
2.3　解決回歸問題85
2.3.1　提出問題86
2.3.2　萬能近似定理86
2.3.3　定義神經網絡結構87
2.3.4　前向計算88
2.3.5　反向傳播89
2.3.6　運行結果91
2.3.7　小結與討論92
2.4　解決分類問題92
2.4.1　提出問題92
2.4.2　定義神經網絡結構93
2.4.3　前向計算94
2.4.4　反向傳播95
2.4.5　運行結果96
2.4.6　小結與討論96
2.5　深度神經網絡97
2.5.1　抽象與設計97
2.5.2　權重矩陣初始化98
2.5.3　批量歸一化99
2.5.4　過擬合101
2.5.5　小結與討論103
2.6　梯度下降優(yōu)化算法103
2.6.1　隨機梯度下降算法103
2.6.2　動量算法104
2.6.3　Adam算法105
2.6.4　小結與討論105
2.7　卷積神經網絡105
2.7.1　卷積神經網絡的能力105
2.7.2　卷積神經網絡的典型結構106
2.7.3　卷積核的作用107
2.7.4　卷積后續(xù)的運算109
2.7.5　卷積神經網絡的特性110
2.7.6　卷積類型111
2.7.7　小結與討論115
2.8　循環(huán)神經網絡115
2.8.1　循環(huán)神經網絡的發(fā)展簡史115
2.8.2　循環(huán)神經網絡的結構和典型用途117
2.8.3　小結與討論118
2.9　Transformer模型118
2.9.1　序列到序列模型119
2.9.2　注意力機制120
2.9.3　Transformer122
2.9.4　小結與討論125
第3章深度學習框架基礎126
本章簡介126
內容概覽126
3.1　基于數據流圖的深度學習框架126
3.1.1　深度學習框架發(fā)展概述126
3.1.2　編程范式：聲明式和命令式128
3.1.3　數據流圖129
3.1.4　張量和張量操作130
3.1.5　自動微分基礎131
3.1.6　數據流圖上的自動微分135
3.1.7　數據流圖的調度與執(zhí)行136
3.1.8　單設備算子間調度136
3.1.9　圖切分與多設備執(zhí)行137
3.1.10　小結與討論138
3.1.11　參考文獻138
3.2　神經網絡計算中的控制流139
3.2.1　背景139
3.2.2　靜態(tài)圖：向數據流圖中添加控制流原語141
3.2.3　動態(tài)圖：復用宿主語言控制流語句143
3.2.4　動態(tài)圖轉換為靜態(tài)圖144
3.2.5　小結與討論145
3.2.6　參考文獻145
第4章矩陣運算與計算機體系結構147
本章簡介147
內容概覽147
4.1　深度學習的歷史、現(xiàn)狀與發(fā)展148
4.1.1　全連接層148
4.1.2　卷積層148
4.1.3　循環(huán)網絡層149
4.1.4　注意力機制層149
4.1.5　小結與討論150
4.1.6　參考文獻150
4.2　計算機體系結構與矩陣運算150
4.2.1　CPU體系結構151
4.2.2　CPU實現(xiàn)高效計算矩陣乘152
4.2.3　在CPU上實現(xiàn)一個矩陣乘法算子實驗154
4.2.4　小結與討論155
4.3　GPU體系結構與矩陣運算155
4.3.1　GPU體系結構155
4.3.2　GPU編程模型156
4.3.3　GPU實現(xiàn)一個簡單的計算157
4.3.4　在GPU上實現(xiàn)一個矩陣乘法算子實驗159
4.3.5　小結與討論160
4.4　面向深度學習的專有硬件加速器與矩陣運算160
4.4.1　深度學習計算的特點與硬件優(yōu)化方向160
4.4.2　脈動陣列與矩陣計算162
4.4.3　小結與討論163
第5章深度學習的編譯與優(yōu)化164
本章簡介164
內容概覽164
5.1　深度神經網絡編譯器164
5.1.1　前端166
5.1.2　后端167
5.1.3　中間表達167
5.1.4　優(yōu)化過程168
5.1.5　小結與討論168
5.2　計算圖優(yōu)化168
5.2.1　算術表達式化簡169
5.2.2　公共子表達式消除169
5.2.3　常數傳播170
5.2.4　矩陣乘自動融合1