第1章 導 論
1.1 人工智能
1.1.1 人工智能的發(fā)展歷史
1.1.2 人工智能的流派
1.2 機器學習
1.3 深度學習
1.3.1 深度學習的概念
1.3.2 深度學習與機器學習、人工智能的關系
1.3.3 深度學習的歷史溯源
1.3.4 深度學習與回歸分析
1.4 深度學習適用的領域
1.4.1 圖像識別
1.4.2 語音識別
1.4.3 自然語言處理
1.4.4 棋牌競技
1.5 常用的深度學習框架
1.5.1 Caffe
1.5.2 TensorFlow
1.5.3 PyTorch
1.5.4 MXNet
1.5.5 Keras
1.6 本書使用的數(shù)據(jù)和代碼說明
第2章 神經(jīng)網(wǎng)絡的張量與數(shù)學基礎
2.1 張 量
2.1.1 張量的定義
2.1.2 張量的數(shù)據(jù)類型
2.1.3 張量的創(chuàng)建方式
2.1.4 應用：圖像數(shù)據(jù)轉(zhuǎn)張量
2.2 張量的操作
2.2.1 獲取和改變張量形狀
2.2.2 提取張量中的元素
2.2.3 張量的拼接與拆分
2.3 張量的運算
2.3.1 基本運算
2.3.2 統(tǒng)計相關運算
2.3.3 矩陣運算
2.4 深度學習的導數(shù)基礎
2.4.1 單變量函數(shù)和導數(shù)
2.4.2 多變量函數(shù)和偏導數(shù)
2.4.3 復合函數(shù)和鏈式求導法則
2.5 梯度下降算法的含義與公式
2.6 本章小結
第3章 前饋神經(jīng)網(wǎng)絡
3.1 前饋神經(jīng)網(wǎng)絡的基本結構和常見激活函數(shù)
3.1.1 神經(jīng)元
3.1.2 Sigmoid函數(shù)
3.1.3 Tanh函數(shù)
3.1.4 ReLU函數(shù)
3.1.5 前饋神經(jīng)網(wǎng)絡的構成
3.2 損失函數(shù)的設置
3.3 梯度下降算法
3.3.1 梯度下降算法的直觀理解與定義
3.3.2 小批量梯度下降算法
3.3.3 動量梯度下降算法
3.3.4 Nesterov梯度加速算法
3.3.5 自適應梯度算法
3.3.6 AdaDelta算法
3.3.7 均方根加速算法
3.3.8 自適應矩估計算法
3.4 反向傳播算法
3.4.1 單個神經(jīng)元的反向傳播算法示例
3.4.2 兩層神經(jīng)網(wǎng)絡的反向傳播算法示例
3.5 過擬合
3.5.1 偏差-方差分解
3.5.2 正則化
3.5.3 權重衰減
3.5.4 丟棄法
3.6 本章小結
第4章 神經(jīng)網(wǎng)絡的PyTorch實現(xiàn)
4.1 線性回歸案例：顏值打分
4.1.1 線性回歸基礎
4.1.2 案例：顏值打分
4.2 邏輯回歸案例：性別識別
4.2.1 邏輯回歸基礎
4.2.2 案例：性別識別
4.3 softmax回歸案例：Fashion-MNIST數(shù)據(jù)集分類
4.3.1 softmax回歸基礎
4.3.2 案例：Fashion-MNIST數(shù)據(jù)集分類
4.4 本章小結
第5章 卷積神經(jīng)網(wǎng)絡基礎
5.1 卷積神經(jīng)網(wǎng)絡的基本結構
5.2 卷積與池化的通俗理解
5.2.1 卷積的通俗理解
5.2.2 池化的通俗理解
5.3 卷積操作
5.3.1 卷積的定義
5.3.2 填充與步長
5.3.3 多通道卷積
5.4 池化操作
5.4.1 單通道池化
5.4.2 多通道池化
5.5 CNN模型實戰(zhàn)：手寫數(shù)字識別
5.5.1 數(shù)據(jù)準備
5.5.2 構建數(shù)據(jù)讀取器
5.5.3 LeNet-5網(wǎng)絡構建及代碼實現(xiàn)
5.5.4 模型訓練
5.5.5 第一層卷積核與特征圖的可視化
5.5.6 第二層卷積核與特征圖的可視化
5.6 本章小結
第6章 經(jīng)典CNN模型介紹
6.1 AlexNet模型原理與實現(xiàn)
6.1.1 AlexNet網(wǎng)絡結構
6.1.2 AlexNet創(chuàng)新點
6.1.3 案例：AlexNet用于CIFAR10數(shù)據(jù)集的圖片分類
6.1.4 AlexNet網(wǎng)絡構建及代碼實現(xiàn)
6.1.5 模型訓練
6.2 VGG模型原理與實現(xiàn)
6.2.1 VGG網(wǎng)絡結構
6.2.2 案例：VGG16用于CIFAR10數(shù)據(jù)集的圖片分類
6.2.3 VGG網(wǎng)絡構建及代碼實現(xiàn)
6.2.4 模型訓練
6.3 Inception V1模型原理與實現(xiàn)
6.3.1 Inception V1網(wǎng)絡結構
6.3.2 Inception V1創(chuàng)新點
6.3.3 Inception V1網(wǎng)絡構建及代碼實現(xiàn)
6.3.4 模型訓練
6.4 ResNet模型原理與實現(xiàn)
6.4.1 ResNet網(wǎng)絡結構
6.4.2 ResNet網(wǎng)絡構建及代碼實現(xiàn)
6.4.3 模型訓練
6.5 批量歸一化
6.5.1 批量歸一化的提出動機
6.5.2 批量歸一化的主要思想
6.5.3 案例：帶有批量歸一化的模型用于貓狗數(shù)據(jù)集圖片分類
6.6 數(shù)據(jù)增強
6.6.1 數(shù)據(jù)增強的核心思想
6.6.2 案例：帶有數(shù)據(jù)增強的模型用于貓狗數(shù)據(jù)集圖片分類
6.7 遷移學習
6.7.1 遷移學習的由來
6.7.2 遷移學習原理
6.7.3 經(jīng)典案例：遷移學習如何精準定位貧困地區(qū)
6.7.4 PyTorch案例：遷移學習用于貓狗數(shù)據(jù)集圖片分類
6.8 本章小結
第7章 序列模型
7.1 詞向量
7.1.1 詞匯表征與語義相關性
7.1.2 Word2Vec原理概述
7.1.3 Word2Vec代碼實現(xiàn)
7.2 RNN模型
7.2.1 RNN的源起：序列預測問題
7.2.2 RNN模型原理
7.2.3 RNN模型實例：機器作詩
7.3 LSTM模型
7.3.1 RNN模型的改進：增加長期狀態(tài)變量
7.3.2 LSTM模型簡介
7.3.3 LSTM模型實例：自動樂曲生成
7.4 機器翻譯
7.4.1 初級機器翻譯技術
7.4.2 回歸分析視角
7.4.3 encoder-decoder模型
7.4.4 機器翻譯實例：中英文翻譯
7.5 本章小結
第8章 深度生成模型
8.1 自編碼器
8.1.1 自編碼器簡介
8.1.2 自編碼器的應用案例：圖像去噪
8.2 變分自編碼器
8.2.1 生成模型與分布變換
8.2.2 VAE的基本原理
8.2.3 VAE圖像生成示例
8.3 生成式對抗網(wǎng)絡
8.3.1 GAN原理簡介
8.3.2 GAN示例：訓練DCGAN
8.4 本章小結