在這個智能為王數(shù)據(jù)是金的時代,越來越多的數(shù)據(jù),包括物聯(lián)網(wǎng)設備采集的客觀世界數(shù)據(jù),被用來指導人類的實踐活動。機器學習是處理與分析這些數(shù)據(jù)的一類常用方法。本書力求從原理的角度,從無到有,講清楚機器學習中的一些常見方法,并從實踐的角度,循序漸進,引領讀者獨立編程實現(xiàn)這些機器學習方法,從而幫助讀者迅速掌握機器學習方法,為讀者進一步學習理解深度學習方法奠定堅實的原理與實踐基礎。 本書適合計算機科學與技術、人工智能、物聯(lián)網(wǎng)工程、數(shù)據(jù)科學與大數(shù)據(jù)、通信工程、電子信息、機器人、自動化、智能制造等相關專業(yè)高年級本科生及研究生教學或自學使用,也適合機器學習等領域的從業(yè)者及愛好者自學或參考。
1.本書力求以通俗簡明的語言,從原理的角度,從無到有,講清楚機器學習中的一些常見方法。
2.本書同時從實踐的角度,循序漸進,引領讀者獨立編程實現(xiàn)這些機器學習方法。
3.本書在實驗中使用了一系列與物聯(lián)網(wǎng)相關的數(shù)據(jù)集,便于讀者理解機器學習在物聯(lián)網(wǎng)領域的應用。
4.本書的內容涵蓋機器學習的三大范式:監(jiān)督學習、無監(jiān)督學習、強化學習。
5.本書有豐富的配套資源包括源代碼和視頻,掃碼即可觀看。
自從通用數(shù)字計算機誕生以來,在過去的七十余年,計算機已經深度融入人們的生產生活之中。如果沒有計算機,很難想象世界將會怎樣。近年來,正如計算機一樣,機器學習(包括深度學習)正從多方面融入人們的生產生活。
機器學習(包括深度學習)的一個顯著特點是,實踐先于理論、易學難精。機器學習被稱為黑盒子(black box)黑魔法(black magic)煉丹術(alchemy),很大程度上是因為缺少系統(tǒng)的原理上的分析與解釋。
同時,作為機器學習等課程的授課教師,也深感缺少一本適合高年級本科生與研究生初學者的用于理論教學與實踐教學的教材,盡管市面上已有一些機器學習方面的書籍。
因此,只好為講授機器學習這門課程而自寫講義。之后將講義擴展為《機器學習原理與實踐(微課版)》這本書。為了交出一份盡可能滿意的答卷,在全力寫作本書的3個季度里,作者深居簡出,數(shù)易書稿。
一本好書是一條捷徑。本書力求以通俗簡明的語言,從原理的角度,從無到有,講清楚機器學習中的一些常見方法,并從實踐的角度,循序漸進,引領讀者獨立編程實現(xiàn)這些機器學習方法,從而幫助讀者迅速實現(xiàn)從小白到大神的飛躍,為讀者進一步學習理解深度學習方法奠定堅實的原理與實踐基礎。
本書按照不同的學習范式將機器學習領域的一些常見方法分成3章進行講解,并假設讀者已經學習過高等數(shù)學線性代數(shù)概率論與數(shù)理統(tǒng)計等數(shù)學類課程,使用過Python語言進行編程。
第1章簡要介紹機器學習的歷史、概念、應用以及實現(xiàn)方式。
第2章重點講解監(jiān)督學習,包括線性回歸、邏輯回歸、支持向量機、k近鄰、樸素貝葉斯以及神經網(wǎng)絡等方法。
第3章講解無監(jiān)督學習,包括k均值、主成分分析以及自編碼器。
第4章講解強化學習,主要包括馬爾可夫決策過程與Q學習。
本書適合計算機科學與技術、人工智能、物聯(lián)網(wǎng)工程、數(shù)據(jù)科學與大數(shù)據(jù)、通信工程、電子信息、機器人、自動化、智能制造等相關專業(yè)高年級本科生及研究生教學或自學使用,也適合機器學習等領域的從業(yè)者及愛好者自學或參考。
受精力、學識、表達所限,本書難免存在不足之處,懇請讀者指正。作者的QQ為20786560。
感謝我的家人為支持本書寫作所付出的一切,謹以此書獻給我的女兒美希。感謝所有支持過本書寫作與幫助過本書出版的人們!
Now, lets get started. Just play. Have fun!
陳喆于沈陽于洪2021年10月
陳喆 男,美國田納西理工大學(Tennessee Tech University)博士。2003年碩士畢業(yè)后在UT斯達康、意法半導體等企業(yè)工作多年。2011年博士畢業(yè)后在東北大學物聯(lián)網(wǎng)工程專業(yè)任副教授、碩士研究生導師。曾任東北大學物聯(lián)網(wǎng)工程研究所副所長、無錫(濱湖)國家傳感信息中心副主任(掛職),曾在美國北卡羅來納州立大學(North Carolina State University)訪學。主要研究方向包括物聯(lián)網(wǎng)無線通信、機器學習、認知無線電等。講授物聯(lián)網(wǎng)技術、物聯(lián)網(wǎng)通信技術、無線傳感網(wǎng)絡概論、無線傳感網(wǎng)絡實驗、機器學習、創(chuàng)業(yè)基礎、創(chuàng)新創(chuàng)業(yè)活動、High-Performance Embedded System Design等課程。曾多次被學生評選為我喜愛的老師,所負責的課程多次被學生評選為我喜愛的專業(yè)課程。作為獨立作者編著的教材《物聯(lián)網(wǎng)無線通信原理與實踐》已出版(清華大學出版社)。
第1章引言1
1.1機器學習簡史2
1.2什么是機器學習2
1.3機器學習的應用3
1.4機器學習方法的實現(xiàn)4
1.4.1機器學習與Python4
1.4.2NumPy庫5
1.4.3Matplotlib庫6
1.5本章實驗分析8
1.6本章小結9
1.7思考與練習10
第2章監(jiān)督學習11
2.1線性回歸12
2.1.1線性回歸的數(shù)學模型12
2.1.2線性回歸的訓練過程16
2.1.3梯度下降法21
2.1.4線性回歸的實現(xiàn)與性能評估26
2.1.5線性回歸實踐28
2.1.6特征縮放31
2.1.7多輸出線性回歸34
2.2邏輯回歸38
2.2.1二分類與邏輯回歸39
2.2.2邏輯回歸的訓練問題43
2.2.3邏輯回歸的代價函數(shù)46
2.2.4分類任務的性能指標51
2.2.5邏輯回歸實踐55
2.3支持向量機55
2.3.1支持向量機及其訓練問題56
2.3.2支持向量機訓練問題初步求解58
2.3.3核技巧59
2.3.4軟間隔支持向量機62
2.3.5支持向量機實踐63
2.3.6過擬合與欠擬合64
2.4k近鄰68
2.4.1k近鄰分類69
2.4.2多分類任務的性能指標71
2.5樸素貝葉斯73
2.5.1樸素貝葉斯分類器74
2.5.2樸素貝葉斯分類器進階76
2.5.3樸素貝葉斯實踐78
2.6神經網(wǎng)絡79
2.6.1多分類邏輯回歸79
2.6.2多分類邏輯回歸的訓練82
2.6.3二分類神經網(wǎng)絡85
2.6.4二分類神經網(wǎng)絡的分類90
2.6.5二分類神經網(wǎng)絡的訓練93
2.6.6多分類神經網(wǎng)絡98
2.6.7多分類神經網(wǎng)絡的訓練100
2.7本章實驗分析103
2.8本章小結111
2.9思考與練習112
〖3〗機器學習原理與實踐(微課版)目錄〖3〗第3章無監(jiān)督學習114
3.1k均值114
3.1.1k均值聚類114
3.1.2k值與輪廓系數(shù)117
3.1.3k均值實踐118
3.2主成分分析119
3.2.1主成分分析降維120
3.2.2主成分分析實踐124
3.3自編碼器125
3.3.1什么是自編碼器126
3.3.2自編碼器的訓練與降維127
3.3.3自編碼器實踐131
3.4本章實驗分析133
3.5本章小結136
3.6思考與練習137
第4章強化學習139
4.1多老虎機問題140
4.1.1多老虎機問題及初步實踐140
4.1.2ε貪婪方法143
4.1.3強化學習的要素143
4.2馬爾可夫決策過程145
4.2.1什么是馬爾可夫決策過程146
4.2.2收益與策略148
4.2.3貝爾曼性方程150
4.2.4求解貝爾曼性方程154
4.2.5馬爾可夫決策過程實踐156
4.3Q學習160
4.3.1什么是Q學習160
4.3.2Q學習實踐164
4.4本章實驗分析165
4.5本章小結168
4.6思考與練習168
參考文獻170
附錄A實驗參考程序及注釋171