第1章 初識爬蟲 1
1.1 爬蟲產(chǎn)生背景 1
1.2 爬蟲的概念 2
1.3 爬蟲的用途 2
1.4 爬蟲的分類 3
1.4.1 通用爬蟲和聚焦爬蟲 3
1.4.2 累積式爬蟲和增量式爬蟲 4
1.4.3 表層爬蟲和深層爬蟲 4
小結(jié)5
習題5
第2章 爬蟲的實現(xiàn)原理和技術(shù) 6
2.1 爬蟲實現(xiàn)原理 6
2.1.1 通用爬蟲工作原理 6
2.1.2 聚焦爬蟲工作原理 8
2.2 爬蟲爬取網(wǎng)頁的詳細流程 9
2.3 通用爬蟲中網(wǎng)頁的分類 10
2.4 通用爬蟲相關(guān)網(wǎng)站文件 10
2.4.1 robots.txt文件 11
2.4.2 Sitemap.xml文件 12
2.5 防爬蟲應對策略 12
2.6 選擇Python做爬蟲的原因 14
2.7 案例——使用八爪魚工具爬取
第一個網(wǎng)頁 14
小結(jié)21
習題21
第3章 網(wǎng)頁請求原理 23
3.1 瀏覽網(wǎng)頁過程 23
3.1.1 統(tǒng)一資源定位符 24
3.1.2 計算機域名系統(tǒng) 25
3.2 HTTP網(wǎng)絡請求原理 25
3.2.1 分析瀏覽器顯示完整網(wǎng)頁
的過程 26
3.2.2 客戶端HTTP請求格式 26
3.2.3 服務端HTTP響應格式 30
3.3 HTTP抓包工具Fiddler 32
3.3.1 Fiddler工作原理 32
3.3.2 Fiddler下載安裝 32
3.3.3 Fiddler界面詳解 33
3.3.4 Fiddler爬取HTTPS設置 35
3.3.5 使用Fiddler捕獲Chrome
的會話 37
小結(jié)40
習題40
第4章 爬取網(wǎng)頁數(shù)據(jù) 42
4.1 urllib庫概述 42
4.2 快速使用urllib爬取網(wǎng)頁 43
4.2.1 快速爬取一個網(wǎng)頁 43
4.2.2 分析urlopen()方法 44
4.2.3 使用HTTPResponse對象 45
4.2.4 構(gòu)造Request對象 46
4.3 使用urllib實現(xiàn)數(shù)據(jù)傳輸 47
4.3.1 URL編碼轉(zhuǎn)換 47
4.3.2 處理GET請求 48
4.3.3 處理POST請求 49
4.4 添加特定Headers——請求偽裝 51
4.5 代理服務器 52
4.5.1 簡單的自定義opener 52
4.5.2 設置代理服務器 53
4.6 超時設置 54
4.7 常見的網(wǎng)絡異常 55
4.7.1 URLError異常和捕獲 55
4.7.2 HttpError異常和捕獲 55
4.8 更人性化的requests庫 56
4.8.1 requests庫概述 56
4.8.2 requests庫初體驗 56
4.8.3 發(fā)送請求 58
4.8.4 返回響應 58
4.9 案例——使用urllib庫爬取百度
貼吧 59
小結(jié)61
習題61
第5章 數(shù)據(jù)解析 63
5.1 網(wǎng)頁數(shù)據(jù)和結(jié)構(gòu) 63
5.1.1 網(wǎng)頁數(shù)據(jù)格式 63
5.1.2 網(wǎng)頁結(jié)構(gòu) 64
5.2 數(shù)據(jù)解析技術(shù) 64
5.3 正則表達式 65
5.4 XPath與lxml解析庫 66
5.4.1 XPath概述 66
5.4.2 XPath語法 67
5.4.3 XPath開發(fā)工具 70
5.4.4 lxml庫概述 72
5.4.5 lxml庫的基本使用 75
5.5 Beautiful Soup 77
5.5.1 Beautiful Soup概述 77
5.5.2 構(gòu)建BeautifulSoup對象 78
5.5.3 通過操作方法進行解讀
搜索 80
5.5.4 通過CSS選擇器進行搜索 83
5.6 JSONPath與json模塊 85
5.6.1 JSON概述 85
5.6.2 JSON與XML比較 86
5.6.3 json模塊介紹 87
5.6.4 json模塊基本應用 88
5.6.5 JSONPath簡介 90
5.6.6 JSONPath語法對比 90
5.6.7 案例——獲取拉勾網(wǎng)城市
列表 92
5.7 案例——解析騰訊社會招聘網(wǎng)站
的職位信息 94
5.7.1 明確爬蟲爬取目標 95
5.7.2 分析要解析的數(shù)據(jù) 95
5.7.3 使用urllib庫爬取社招網(wǎng)
數(shù)據(jù) 96
5.7.4 使用正則、lxml、bs4解析
職位數(shù)據(jù) 98
5.7.5 將數(shù)據(jù)保存到文件中 103
小結(jié)104
習題104
第6章 并發(fā)下載 106
6.1 多線程爬蟲流程分析 106
6.2 使用queue模塊實現(xiàn)多線程
爬蟲 107
6.2.1 queue（隊列）模塊簡介 107
6.2.2 Queue類概述 109
6.3 協(xié)程實現(xiàn)并發(fā)爬取 110
6.3.1 協(xié)程爬蟲的流程分析 111
6.3.2 第三方庫gevent 111
6.4 案例——三種技術(shù)采集和解析
數(shù)據(jù)對比 112
6.4.1 單線程實現(xiàn) 112
6.4.2 多線程實現(xiàn) 114
6.4.3 協(xié)程實現(xiàn) 119
6.4.4 性能分析 122
小結(jié)123
習題123
第7章 爬取動態(tài)內(nèi)容 124
7.1 動態(tài)網(wǎng)頁介紹 124
7.2 selenium和PhantomJS概述 125
7.3 selenium和PhantomJS安裝
配置 126
7.4 selenium和PhantomJS的基本
應用 128
7.4.1 入門操作 128
7.4.2 定位UI元素 133
7.4.3 鼠標動作鏈 135
7.4.4 填充表單 136
7.4.5 彈窗處理 137
7.4.6 頁面切換 138
7.4.7 頁面前進和后退 138
7.4.8 獲取頁面Cookies 138
7.4.9 頁面等待 138
7.5 案例——模擬豆瓣網(wǎng)站登錄 140
小結(jié)142
習題142
第8章 圖像識別與文字處理 145
8.1 OCR技術(shù)概述 145
8.2 Tesseract引擎的下載和安裝 147
8.3 pytesseract和PIL庫概述 148
8.3.1 pytesseract庫概述 149
8.3.2 PIL庫概述 149
8.4 處理規(guī)范格式的文字 150
8.4.1 讀取圖像中格式規(guī)范的
文字 151
8.4.2 對圖片進行閾值過濾和
降噪處理 151
8.4.3 識別圖像的中文字符 153
8.5 處理驗證碼 154
8.5.1 驗證碼分類 154
8.5.2 簡單識別圖形驗證碼 155
8.6 案例——識別圖形驗證碼 156
小結(jié)157
習題157
第9章 存儲爬蟲數(shù)據(jù) 159
9.1 數(shù)據(jù)存儲概述 159
9.2 MongoDB數(shù)據(jù)庫概述 160
9.2.1 MongoDB的概念 160
9.2.2 Windows平臺安裝MongoDB數(shù)據(jù)庫 160
9.2.3 比較MongoDB和MySQL的術(shù)語 163
9.3 使用PyMongo庫存儲到
數(shù)據(jù)庫 165
9.3.1 PyMongo的概念 165
9.3.2 PyMongo的基本操作 165
9.4 案例——存儲網(wǎng)站的電影信息 169
9.4.1 分析待爬取的網(wǎng)頁 169
9.4.2 通過urllib爬取全部頁面 169
9.4.3 通過bs4選取數(shù)據(jù) 171
9.4.4 通過MongoDB存儲
電影信息 172
小結(jié)173
習題173
第10章 初識爬蟲框架Scrapy 175
10.1 常見爬蟲框架介紹 175
10.2 Scrapy框架的架構(gòu) 179
10.3 Scrapy框架的運作流程 180
10.4 安裝Scrapy框架 181
10.4.1 Windows 7系統(tǒng)下的
安裝 181
10.4.2 Linux（Ubuntu）系統(tǒng)下的
安裝 184
10.4.3 Mac OS系統(tǒng)下的安裝 185
10.5 Scrapy框架的基本操作 186
10.5.1 新建一個Scrapy項目 186
10.5.2 明確爬取目標 187
10.5.3 制作Spiders爬取網(wǎng)頁 188
10.5.4 永久性存儲數(shù)據(jù) 193
10.5.5 Scrapy常用命令 193
小結(jié)194
習題194
第11章 Scrapy終端與核心組件 196
11.1 Scrapy shell——測試XPath
表達式 196
11.1.1 啟用Scrapy shell 196
11.1.2 使用Scrapy shell 197
11.1.3 Scrapy shell使用示例 198
11.2 Spiders——爬取和提取結(jié)構(gòu)化
數(shù)據(jù) 200
11.3 Item Pipeline——后期處理
數(shù)據(jù) 201
11.3.1 自定義Item Pipeline 201
11.3.2 完善之前的案例——
item寫入JSON文件 202
11.4 Downloader Middlewares——
防止反爬蟲 203
11.5 Settings——定制Scrapy
組件 206
11.6 案例——斗魚App爬蟲 208
11.6.1 使用Fiddler爬取手機
App的數(shù)據(jù) 208
11.6.2 分析JSON文件的內(nèi)容 210
11.6.3 使用Scrapy爬取數(shù)據(jù) 211
小結(jié)214
習題214
第12章 自動爬取網(wǎng)頁的爬蟲CrawlSpider 216
12.1 初識爬蟲類CrawlSpider 216
12.2 CrawlSpider類的工作原理 219
12.3 通過Rule類決定爬取規(guī)則 221
12.4 通過LinkExtractor類提取
鏈接 222
12.5 案例——使用CrawlSpider爬取
騰訊社會招聘網(wǎng)站 223
小結(jié)228
習題228
第13章 Scrapy-Redis分布式
爬蟲 230
13.1 Scrapy-Redis概述 230
13.2 Scrapy-Redis的完整架構(gòu) 231
13.3 Scrapy-Redis的運作流程 231
13.4 Scrapy-Redis的主要組件 232
13.5 搭建Scrapy-Redis開發(fā)環(huán)境 233
13.5.1 安裝Scrapy-Redis 233
13.5.2 安裝和啟動Redis
數(shù)據(jù)庫 234
13.5.3 修改配置文件 redis.conf 239
13.6 分布式的部署 242
13.6.1 分布式策略 242
13.6.2 測試Slave端遠程連接
Master端 243
13.7 Scrapy-Redis的基本使用 245
13.7.1 創(chuàng)建Scrapy項目 245
13.7.2 明確爬取目標 246
13.7.3 制作Spider爬取網(wǎng)頁 247
13.7.4 執(zhí)行分布式爬蟲 249
13.7.5 使用多個管道存儲 250
13.7.6 處理Redis數(shù)據(jù)庫中的
數(shù)據(jù) 252
13.8 案例——使用分布式爬蟲爬取
百度百科網(wǎng)站 253
13.8.1 創(chuàng)建Scrapy項目 254
13.8.2 分析爬蟲的目標 255
13.8.3 制作Spider爬取網(wǎng)頁 257
13.8.4 執(zhí)行爬蟲 260
小結(jié)262
習題262