第 1 章 智能破解驗證碼 1
re 正則表達式 requests BeautifulSoup(bs4) Pillow tesserocr selenium
1.1 開發(fā)背景 1
1.2 系統(tǒng)設(shè)計 2
1.2.1 開發(fā)環(huán)境 2
1.2.2 業(yè)務(wù)流程 2
1.2.3 功能結(jié)構(gòu) 3
1.3 技術(shù)準備 3
1.3.1 技術(shù)概覽 3
1.3.2 Pillow 模塊的使用 4
1.3.3 tesserocr 模塊的使用 4
1.3.4 Selenium 自動化測試工具的使用 6
1.4 功能設(shè)計 7
1.4.1 破解字符驗證碼 7
1.4.2 破解滑動拼圖驗證碼 9
1.4.3 第三方平臺識別驗證碼 11
1.5 項目運行 15
1.6 源碼下載 16
第 2 章 手機數(shù)據(jù)爬取精靈 17
random time PyMySQL requests_html
2.1 開發(fā)背景 17
2.2 系統(tǒng)設(shè)計 18
2.2.1 開發(fā)環(huán)境 18
2.2.2 業(yè)務(wù)流程 18
2.2.3 功能結(jié)構(gòu) 18
2.3 技術(shù)準備 19
2.3.1 技術(shù)概覽 19
2.3.2 random 模塊的使用 20
2.3.3 time 模塊的使用 21
2.3.4 requests_html 模塊的使用 22
2.4 數(shù)據(jù)庫設(shè)計 23
2.5 功能設(shè)計 24
2.5.1 分析手機數(shù)據(jù)網(wǎng)頁中的分頁規(guī)律 24
2.5.2 分析手機詳情頁地址 25
2.5.3 確認手機詳情頁中的各項信息對應(yīng)的位置 26
2.5.4 導(dǎo)入模塊 26
2.5.5 定義公共變量 26
2.5.6 實現(xiàn)爬取數(shù)據(jù)并插入數(shù)據(jù)庫功能 27
2.5.7 實現(xiàn)下載手機圖片功能 29
2.5.8 定義程序入口 29
2.6 項目運行 29
2.7 源碼下載 32
第 3 章 汽車之家圖片爬取工具 33
文件讀寫 文件夾操作 urllib BeautifulSoup(bs4) PyQt5 Pillow
3.1 開發(fā)背景 33
3.2 系統(tǒng)設(shè)計 34
3.2.1 開發(fā)環(huán)境 34
3.2.2 業(yè)務(wù)流程 34
3.2.3 功能結(jié)構(gòu) 34
3.3 技術(shù)準備 35
3.3.1 技術(shù)概覽 35
3.3.2 使用 PyQt5 設(shè)計 Python 窗體程序 36
3.4 設(shè)計主窗體 41
3.5 功能設(shè)計 44
3.5.1 模塊導(dǎo)入 44
3.5.2 通過爬蟲爬取并保存圖片 44
3.5.3 在主窗體中調(diào)用爬蟲方法 47
3.5.4 分類查看爬取的汽車圖片 48
3.5.5 單擊查看大圖 50
3.6 項目運行 51
3.7 源碼下載 52
第 4 章 高清壁紙快車（多線程版） 53
文件讀寫 requests BeautifulSoup4(bs4) PyQt5 concurrent.futur
4.1 開發(fā)背景 53
4.2 系統(tǒng)設(shè)計 54
4.2.1 開發(fā)環(huán)境 54
4.2.2 業(yè)務(wù)流程 54
4.2.3 功能結(jié)構(gòu) 54
4.3 技術(shù)準備 55
4.3.1 技術(shù)概覽 55
4.3.2 concurrent.futures 模塊的使用 56
4.4 設(shè)計主窗體 58
4.5 功能設(shè)計 60
4.5.1 模塊導(dǎo)入 60
4.5.2 多線程爬取并保存高清壁紙 60
4.5.3 在 PyQt5 窗體中調(diào)用爬蟲方法 64
4.5.4 使用列表顯示爬取的所有高清壁紙名稱 65
4.5.5 在 PyQt5 窗體中查看爬取的高清壁紙 66
4.6 項目運行 67
4.7 源碼下載 68
第 5 章 多進程影視獵手 69
requests BeautifulSoup(bs4) re 正則表達式 fake_useragent multiprocessing PyMySQ
5.1 開發(fā)背景 69
5.2 系統(tǒng)設(shè)計 70
5.2.1 開發(fā)環(huán)境 70
5.2.2 業(yè)務(wù)流程 70
5.2.3 功能結(jié)構(gòu) 70
5.3 技術(shù)準備 71
5.3.1 技術(shù)概覽 71
5.3.2 fake_useragent 模塊的使用 72
5.4 數(shù)據(jù)庫設(shè)計 73
5.5 功能設(shè)計 74
5.5.1 分析網(wǎng)頁請求地址 74
5.5.2 獲取電影詳情頁地址 75
5.5.3 爬取電影詳細信息 76
5.5.4 將爬取的數(shù)據(jù)添加到數(shù)據(jù)庫中 78
5.5.5 定義程序入口 79
5.6 項目運行 80
5.7 源碼下載 82
第 6 章 分布式爬取動態(tài)新聞數(shù)據(jù) 83
Scrapy Scrapy-Redis PyMySQL Redis
6.1 開發(fā)背景 83
6.2 系統(tǒng)設(shè)計 84
6.2.1 開發(fā)環(huán)境 84
6.2.2 業(yè)務(wù)流程 84
6.2.3 功能結(jié)構(gòu) 85
6.3 技術(shù)準備 85
6.3.1 技術(shù)概覽 85
6.3.2 Redis 數(shù)據(jù)庫的使用 86
6.3.3 Scrapy-Redis 模塊 87
6.4 創(chuàng)建數(shù)據(jù)表 88
6.5 功能設(shè)計 89
6.5.1 分析請求地址 90
6.5.2 創(chuàng)建隨機請求頭 90
6.5.3 創(chuàng)建數(shù)據(jù)對象 91
6.5.4 將爬取的數(shù)據(jù)寫入 MySQL 數(shù)據(jù)庫中 91
6.5.5 數(shù)據(jù)的爬取與爬蟲項目啟動 92
6.5.6 編寫配置文件 93
6.6 項目運行 94
6.7 源碼下載 97
第 7 章 世界 500 強數(shù)據(jù)爬取與分析 98
pandas matplotlib seaborn lambda 函數(shù)
7.1 開發(fā)背景 98
7.2 系統(tǒng)設(shè)計 99
7.2.1 開發(fā)環(huán)境 99
7.2.2 業(yè)務(wù)流程 99
7.2.3 功能結(jié)構(gòu) 100
7.3 技術(shù)準備 100
7.3.1 技術(shù)概覽 100
7.3.2 詳解 read_htlm()獲取網(wǎng)頁數(shù)據(jù)全過程 101
7.3.3 DataFrame 對象常用方法的使用 102
7.3.4 使用 lambda 函數(shù)快速處理數(shù)據(jù) 105
7.4 數(shù)據(jù)準備 106
7.4.1 數(shù)據(jù)集介紹 106
7.4.2 確定網(wǎng)頁數(shù)據(jù)的結(jié)構(gòu) 106
7.4.3 爬取數(shù)據(jù) 107
7.4.4 查看數(shù)據(jù) 108
7.5 統(tǒng)計分析 110
7.5.1 新上榜企業(yè)統(tǒng)計 110
7.5.2 統(tǒng)計排名上升的企業(yè) 110
7.5.3 柱狀圖分析世界 500 強排行 TOP10 112
7.5.4 折線圖分析利潤前 20 的企業(yè) 113
7.5.5 柱狀圖統(tǒng)計各國上榜企業(yè)的總營收 115
7.5.6 柱狀圖統(tǒng)計國內(nèi)上榜企業(yè)的營收情況 115
7.5.7 餅圖分析各國上榜企業(yè)比例 117
7.6 項目運行 119
7.7 源碼下載 120
第 8 章 二手房信息智能抓取分析系統(tǒng) 121
requests_html pandas matplotlib multiprocessing
8.1 開發(fā)背景 121
8.2 系統(tǒng)設(shè)計 122
8.2.1 開發(fā)環(huán)境 122
8.2.2 業(yè)務(wù)流程 122
8.2.3 功能結(jié)構(gòu) 122
8.3 技術(shù)準備 123
8.3.1 技術(shù)概覽 123
8.3.2 requests_html 模塊的使用 124
8.4 功能設(shè)計 125
8.4.1 分析網(wǎng)頁數(shù)據(jù)結(jié)構(gòu) 125
8.4.2 爬取二手房數(shù)據(jù) 127
8.4.3 清洗數(shù)據(jù) 129
8.4.4 餅圖顯示各區(qū)二手房數(shù)量所占比例 129
8.4.5 柱狀圖顯示各區(qū)二手房均價 130
8.4.6 柱狀圖顯示熱門戶型均價 131
8.4.7 設(shè)計主菜單 132
8.4.8 定義程序入口 133
8.5 項目運行 134
8.6 源碼下載 135
第 9 章 圖書熱銷偵探 136
PyQt5 requests PyMySQL matplotlib
9.1 開發(fā)背景 137
9.2 系統(tǒng)設(shè)計 137
9.2.1 開發(fā)環(huán)境 137
9.2.2 業(yè)務(wù)流程 137
9.2.3 功能結(jié)構(gòu) 138
9.3 技術(shù)預(yù)覽 138
9.4 數(shù)據(jù)庫設(shè)計 140
9.5 公共模塊設(shè)計 142
9.5.1 mysql 數(shù)據(jù)庫操作模塊 142
9.5.2 crawl 網(wǎng)絡(luò)爬蟲模塊 144
9.5.3 chart 繪圖模塊 145
9.6 主窗體設(shè)計 146
9.6.1 窗體 UI 設(shè)計 146
9.6.2 美化窗體 149
9.6.3 邏輯功能實現(xiàn) 151
9.7 圖書銷量排行榜窗體設(shè)計 153
9.7.1 窗體 UI 設(shè)計 153
9.7.2 美化窗體 155
9.7.3 顯示圖書銷量排行榜 155
9.8 圖書熱評排行榜窗體設(shè)計 156
9.8.1 窗體 UI 設(shè)計 156
9.8.2 美化窗體 158
9.8.3 顯示圖書熱評排行榜 158
9.9 關(guān)于窗體設(shè)計 159
9.9.1 窗體 UI 設(shè)計 159
9.9.2 設(shè)置背景圖片 160
9.10 UI 代碼分離模塊設(shè)計 161
9.10.1 導(dǎo)入模塊 161
9.10.2 定義公共變量及函數(shù) 161
9.10.3 定義窗體初始化類 161
9.10.4 定義程序入口 162
9.11 項目運行 163
9.12 源碼下載 165
第 10 章 APP 數(shù)據(jù)采集先鋒 166
requests BeautifulSoup(bs4) lxml.etree Charles 抓包工具
10.1 開發(fā)背景 166
10.2 系統(tǒng)設(shè)計 167
10.2.1 開發(fā)環(huán)境 167
10.2.2 業(yè)務(wù)流程 167
10.2.3 功能結(jié)構(gòu) 168
10.3 技術(shù)準備 168
10.3.1 技術(shù)概覽 168
10.3.2 lxml.etree 模塊的使用 168
10.3.3 Charles 抓包工具的使用 171
10.4 功能設(shè)計 178
10.4.1 配置手機端網(wǎng)絡(luò) 178
10.4.2 采集手機 APP 網(wǎng)絡(luò)請求 180
10.4.3 分析數(shù)據(jù)所在的標簽位置 183
10.4.4 爬取 APP 數(shù)據(jù) 183
10.5 項目運行 184
10.6 源碼下載 185
第 11 章 微信智能機器人 186
requests lxml xpinyin Flask 微信公眾平臺 Ngrok 內(nèi)網(wǎng)穿透工具
11.1 開發(fā)背景 186
11.2 系統(tǒng)設(shè)計 187
11.2.1 開發(fā)環(huán)境 187
11.2.2 業(yè)務(wù)流程 187
11.2.3 功能結(jié)構(gòu) 187
11.3 技術(shù)準備 188
11.3.1 技術(shù)概覽 188
11.3.2 lxml 模塊的使用 189
11.3.3 xpinyin 模塊的使用 190
11.3.4 微信公眾平臺開發(fā) 191
11.3.5 內(nèi)網(wǎng)穿透工具的使用 196
11.4 爬取新聞標題 198
11.4.1 頁面分析 198
11.4.2 隨機爬取一條新聞標題 199
11.5 爬取天氣信息 200
11.5.1 頁面分析 201
11.5.2 爬取天氣信息 202
11.6 微信智能機器人的實現(xiàn) 203
11.6.1 設(shè)置配置文件 203
11.6.2 校驗微信簽名 205
11.6.3 配置微信公眾號 206
11.6.4 實現(xiàn)自動回復(fù)功能 207
11.6.5 創(chuàng)建主程序文件 209
11.7 項目運行 209
11.8 源碼下載 210