我的數(shù)據(jù)科學(xué)教學(xué)生涯始于2013年第一次參加Software�睠arpentry研討班。此后，就一直在從事這方面的教學(xué)工作。2019年，我有幸成為RStudio(現(xiàn)為PBC Posit)教育集團(tuán)的一名實(shí)習(xí)生。那時(shí)，數(shù)據(jù)科學(xué)教育方興未艾。實(shí)習(xí)結(jié)束之后，我想將教學(xué)與醫(yī)學(xué)的結(jié)合作為我的博士學(xué)位論文選題。幸運(yùn)的是，我認(rèn)識(shí)學(xué)校的一位圖書(shū)管理員Andi Ogier，她把我介紹給了Anne M.Brown，Anne也對(duì)健康科學(xué)中的數(shù)據(jù)科學(xué)教學(xué)很感興趣。之后的故事大家都知道了。Anne成為了我的博士生導(dǎo)師，我和指導(dǎo)委員會(huì)的其他成員，包括Dave Higdon、Alex Hanlon和Nikki Lewis，一起研究醫(yī)學(xué)和生物醫(yī)學(xué)領(lǐng)域中的數(shù)據(jù)科學(xué)教育。本書(shū)第1版為我的學(xué)位論文研討班要講授哪些數(shù)據(jù)科學(xué)的相關(guān)內(nèi)容奠定了基礎(chǔ)。本書(shū)第2版納入了我在學(xué)習(xí)和研究教育和教學(xué)法時(shí)學(xué)到的許多內(nèi)容。

簡(jiǎn)而言之，一定要交個(gè)圖書(shū)管理員做朋友，他的工作與數(shù)據(jù)之間聯(lián)系緊密。

2013年，我甚至對(duì)數(shù)據(jù)科學(xué)這個(gè)詞聞所未聞。當(dāng)時(shí)我還在攻讀流行病學(xué)的MPH學(xué)位，對(duì)于本科專(zhuān)業(yè)背景為心理學(xué)和神經(jīng)科學(xué)的我來(lái)說(shuō)，t檢驗(yàn)、方差分析以及線(xiàn)性回歸之外的各種統(tǒng)計(jì)學(xué)方法深深吸引了我。也正是在2013年秋天，我第一次參加了Software�睠arpentry研討班，并擔(dān)任了MPH項(xiàng)目的定量方法(Quantitative Methods)課程(該課程是第一學(xué)期流行病學(xué)和生物統(tǒng)計(jì)學(xué)的一門(mén)綜合課)的助教，并第一次開(kāi)始授課。自此，我便一直在從事數(shù)據(jù)科學(xué)領(lǐng)域的教學(xué)工作。

當(dāng)年，我學(xué)習(xí)的第一門(mén)數(shù)據(jù)科學(xué)導(dǎo)論課程由Rachel Schutt博士、Kayur Patel博士和Jared Lander三位老師講授，回顧多年來(lái)走過(guò)的路程，感觸良多。三位老師打開(kāi)了我的眼界。對(duì)我來(lái)說(shuō)，之前那些貌似不可思議的事情都變得稀松平常，沒(méi)有做不到的，只有想不到的(盡管能做到的不一定是最好的)。數(shù)據(jù)科學(xué)的技術(shù)細(xì)節(jié)編碼方面是由Jared用R語(yǔ)言講授的。

當(dāng)年，我一直想學(xué)R語(yǔ)言，Python和R語(yǔ)言之爭(zhēng)從未動(dòng)搖過(guò)我的決心。一方面，我認(rèn)為Python只是一種編程語(yǔ)言； 另一方面，我并不知道Python有大量的分析工具(從那時(shí)起我已經(jīng)學(xué)會(huì)了很多工具，并取得了長(zhǎng)足的進(jìn)步)。在了解了SciPy堆棧和Pandas后，我認(rèn)為它們就像橋梁一樣連通了我學(xué)到的Python知識(shí)，以及我在流行病學(xué)研究和數(shù)據(jù)科學(xué)的學(xué)習(xí)中獲得的知識(shí)。當(dāng)精通R語(yǔ)言后，我發(fā)現(xiàn)其與Python有很多相似之處。我也意識(shí)到很多數(shù)據(jù)清理任務(wù)(以及常規(guī)的編程任務(wù))都涉及思考如何得到所需的東西，剩下的基本都是語(yǔ)法問(wèn)題而已。在進(jìn)行數(shù)據(jù)分析時(shí)，最重要的是設(shè)計(jì)好分析的步驟，不要被編程細(xì)節(jié)所困擾。我用過(guò)很多種編程語(yǔ)言，從來(lái)不糾結(jié)于哪種語(yǔ)言更好。話(huà)雖如此，本書(shū)面向的是Python數(shù)據(jù)分析領(lǐng)域的新手。

在過(guò)去的幾年中，我認(rèn)識(shí)了很多人，參加了很多活動(dòng)，也學(xué)到了很多的技能，本書(shū)就是對(duì)這些年經(jīng)驗(yàn)的總結(jié)。其中，我學(xué)到的比較重要的一件事情(除了先要搞清楚問(wèn)題到底是什么，以便用谷歌來(lái)搜索相關(guān)的Stack Overflow（IT問(wèn)答網(wǎng)站，面向編程人員群體）頁(yè)面之外)是： 閱讀文檔非常必要。作為一個(gè)參與過(guò)協(xié)作課程并編寫(xiě)過(guò)Python庫(kù)和R軟件包的人，我可以負(fù)責(zé)任地說(shuō)，編寫(xiě)文檔確實(shí)需要花費(fèi)大量的時(shí)間和精力，這就是為什么整本書(shū)中不斷引用相關(guān)文檔頁(yè)面的原因。有些函數(shù)有非常多的參數(shù)，應(yīng)用的場(chǎng)景也不相同，一一介紹是不現(xiàn)實(shí)的。如果本書(shū)過(guò)于關(guān)注這些細(xì)節(jié)，那么書(shū)名要改成Loading Data Into Python了。當(dāng)然，隨著處理數(shù)據(jù)的增多、對(duì)各種數(shù)據(jù)結(jié)構(gòu)越來(lái)越熟悉，你最終將會(huì)具備一定的預(yù)測(cè)能力。即使對(duì)之前從未見(jiàn)過(guò)的代碼，也可以合理地推斷出其執(zhí)行結(jié)果。希望本書(shū)能為讀者提供一個(gè)堅(jiān)實(shí)的基礎(chǔ)，助其自己進(jìn)行探索，從而成為一個(gè)自學(xué)成才的學(xué)習(xí)者。

在撰寫(xiě)本書(shū)的過(guò)程中，我遇到了很多人，也從他們身上學(xué)到了很多東西，其中很多都是關(guān)于最佳實(shí)踐的，比如編寫(xiě)向量化語(yǔ)句以替代循環(huán)語(yǔ)句、測(cè)試代碼，以及組織項(xiàng)目目錄結(jié)構(gòu)等。從實(shí)際的教學(xué)過(guò)程中我也學(xué)到了很多關(guān)于教學(xué)的知識(shí)，以教促學(xué)確實(shí)是學(xué)習(xí)新知識(shí)的最佳方法。在過(guò)去的幾年里，我學(xué)到的很多東西都是在我試圖弄清楚如何教別人時(shí)獲得的。一旦掌握了基礎(chǔ)知識(shí)，學(xué)習(xí)新內(nèi)容就相對(duì)容易了。教與學(xué)的過(guò)程多次重復(fù)后，會(huì)驚訝于自己學(xué)會(huì)了很多，比如學(xué)會(huì)了用于谷歌搜索的很多術(shù)語(yǔ)，并能解讀Stack Overflow頁(yè)面的解答。很多高手也在搜索他人提出的問(wèn)題。無(wú)論這是你學(xué)習(xí)的第幾種編程語(yǔ)言，希望本書(shū)都能為你提供一個(gè)堅(jiān)實(shí)的基礎(chǔ)，為你搭建一座通往其他數(shù)據(jù)分析語(yǔ)言的橋梁。

本書(shū)結(jié)構(gòu)

本書(shū)共分為五部分，還包括一系列的附錄。

第一部分

該部分基于真實(shí)的數(shù)據(jù)集介紹Pandas基礎(chǔ)知識(shí)。

第1章首先介紹如何使用Pandas加載數(shù)據(jù)集，并查看數(shù)據(jù)的行和列，還大致講解Python和Pandas的語(yǔ)法，最后給出若干具有啟發(fā)性的示例，展示Pandas的用途。

第2章深入探討Pandas的DataFrame和Series對(duì)象，還介紹布爾子集、刪除值以及導(dǎo)入和導(dǎo)出數(shù)據(jù)的不同方式。

第3章主要介紹使用Matplotlib、Seaborn和Pandas的繪圖方法以及如何創(chuàng)建探索性數(shù)據(jù)分析的繪圖。

第4章討論Hadley Wickham的論文《整潔數(shù)據(jù)》(Tidy Data)，該論文涉及常見(jiàn)的數(shù)據(jù)重塑和清理問(wèn)題。

第5章側(cè)重于介紹對(duì)數(shù)據(jù)應(yīng)用函數(shù)的內(nèi)容，這是一項(xiàng)重要的技能，涵蓋了許多編程主題。當(dāng)需要擴(kuò)展數(shù)據(jù)操作的規(guī)模時(shí)，了解.apply()的工作原理將有助于編寫(xiě)并行和分布式代碼。

第二部分

該部分重點(diǎn)介紹加載數(shù)據(jù)后如何進(jìn)一步處理數(shù)據(jù)。

第6章側(cè)重于數(shù)據(jù)集的合并，即要么將它們連接在一起，要么合并不同的數(shù)據(jù)。

第7章介紹規(guī)范化數(shù)據(jù)以更穩(wěn)健地存儲(chǔ)數(shù)據(jù)。

第8章介紹.groupby()操作(即拆分�矐�(yīng)用�步M合)。這些強(qiáng)大的概念，如.apply()，通常是擴(kuò)展數(shù)據(jù)所必需的，也是高效聚合、轉(zhuǎn)換或過(guò)濾數(shù)據(jù)的好方法。

第三部分

該部分涵蓋存儲(chǔ)在列中的數(shù)據(jù)類(lèi)型。

第9章介紹數(shù)據(jù)缺失會(huì)引發(fā)的問(wèn)題、如何創(chuàng)建數(shù)據(jù)以填充缺失數(shù)據(jù)，以及如何處理缺失數(shù)據(jù)，特別是當(dāng)對(duì)這些數(shù)據(jù)進(jìn)行計(jì)算時(shí)可能會(huì)出現(xiàn)的問(wèn)題。

第10章介紹數(shù)據(jù)類(lèi)型，以及如何在DataFrame列中轉(zhuǎn)換類(lèi)型。

第11章介紹字符串操作，這是數(shù)據(jù)清理任務(wù)中經(jīng)常遇到的問(wèn)題，因?yàn)閿?shù)據(jù)通常被編碼為文本。

第12章探討Pandas強(qiáng)大的日期和時(shí)間功能。

第四部分

在數(shù)據(jù)全部清洗完畢并準(zhǔn)備就緒后，下一步就是擬合模型。模型不僅可用于預(yù)測(cè)、聚類(lèi)和推斷，還可用于探索性的目的。該部分的目標(biāo)不是講授統(tǒng)計(jì)學(xué)(這方面的書(shū)已經(jīng)很多了)，而是想展示這些模型的擬合方法，以及它們是如何與Pandas交互的。該部分內(nèi)容對(duì)于使用其他編程語(yǔ)言進(jìn)行模型擬合也頗具借鑒意義。

第13章的線(xiàn)性模型是一種較簡(jiǎn)單的擬合模型。本章介紹如何使用statsmodels庫(kù)和Scikit�瞝earn庫(kù)來(lái)擬合這些模型。

第14章的廣義線(xiàn)性模型，顧名思義，是更廣義上的一種線(xiàn)性模型。通過(guò)該模型我們可以用不同的響應(yīng)變量來(lái)擬合模型，例如二元數(shù)據(jù)或計(jì)數(shù)數(shù)據(jù)。

第15章介紹生存模型，當(dāng)出現(xiàn)數(shù)據(jù)刪失時(shí)需要用到它。

第16章，在擬合好核心模型之后需要進(jìn)行模型診斷，對(duì)多個(gè)模型進(jìn)行比較，并選出最佳模型。

第17章，當(dāng)擬合的模型過(guò)于復(fù)雜或出現(xiàn)過(guò)擬合時(shí)，就要用到正則化技術(shù)。

第18章，當(dāng)不知道數(shù)據(jù)中隱含的真實(shí)答案時(shí)可以使用聚類(lèi)技術(shù)，但需要一種方法將相似的數(shù)據(jù)點(diǎn)聚類(lèi)或進(jìn)行分組。

第五部分

本書(shū)最后部分主要介紹Python的生態(tài)系統(tǒng)，并提供了一些額外的參考資料。

第19章簡(jiǎn)單介紹Python的計(jì)算堆棧，并開(kāi)啟了代碼性能和擴(kuò)展的學(xué)習(xí)之路。

第20章提供一些額外的鏈接和參考資料。

附錄

可以將附錄視為Python編程的入門(mén)教程。雖然它們并不是Python的完整介紹，但各個(gè)附錄確實(shí)是對(duì)本書(shū)某些主題的有益補(bǔ)充。

附錄A為介紹性章節(jié)，提供了概念圖，以幫助分解概念并將其相互關(guān)聯(lián)。

附錄B～附錄J涵蓋與運(yùn)行Python代碼相關(guān)的所有任務(wù)，從安裝Python到使用命令行執(zhí)行腳本，再到組織代碼，還包括創(chuàng)建Python環(huán)境和安裝庫(kù)。

附錄K～附錄Y涵蓋與Python和Pandas相關(guān)的編程概念，是本書(shū)主要的補(bǔ)充參考。

附錄Z復(fù)制了R中的一些建模代碼，作為比較類(lèi)似結(jié)果的參考。

如何閱讀本書(shū)

無(wú)論是Python新手還是經(jīng)驗(yàn)豐富的Python程序員，都建議從頭至尾閱讀整本書(shū)。擬將本書(shū)用作教材的讀者會(huì)發(fā)現(xiàn)，本書(shū)的章節(jié)安排很適合研討班或課堂教學(xué)。

對(duì)于初學(xué)者

對(duì)于初學(xué)者來(lái)說(shuō)，建議先瀏覽附錄A～附錄J，因?yàn)檫@些附錄中講解了如何安裝Python并使其正常工作。完成這些步驟后，讀者就可以學(xué)習(xí)本書(shū)的主要內(nèi)容了。前幾章在必要時(shí)均引用了相關(guān)附錄，并在開(kāi)頭給出了概念圖和學(xué)習(xí)目標(biāo)，有助于讀者了解該章要介紹的主要內(nèi)容，同時(shí)指出了需提前閱讀的相關(guān)附錄。

對(duì)于經(jīng)驗(yàn)豐富的Python程序員

對(duì)于經(jīng)驗(yàn)豐富的Python程序員來(lái)說(shuō)，前兩章的內(nèi)容足以入門(mén)并掌握Pandas的語(yǔ)法，可以將本書(shū)其余的部分作為參考。前幾章開(kāi)頭部分的學(xué)習(xí)目標(biāo)指出了本章涵蓋的主題。第一部分中關(guān)于整潔數(shù)據(jù)的章節(jié)和第三部分的章節(jié)對(duì)數(shù)據(jù)操作特別有幫助。

對(duì)于培訓(xùn)講師

對(duì)于培訓(xùn)講師來(lái)說(shuō)，若將本書(shū)用作教學(xué)參考可按書(shū)中順序來(lái)講授每一章。每章的教學(xué)時(shí)長(zhǎng)約為45～60分鐘。本書(shū)在結(jié)構(gòu)安排上盡量使各章不引用后續(xù)章節(jié)的內(nèi)容，從而最大限度地減少學(xué)生的學(xué)擔(dān)但可以根據(jù)實(shí)際需要靈活調(diào)整章節(jié)的順序。

附錄A中的概念圖和前幾章中列出的學(xué)習(xí)目標(biāo)有助于了解概念之間的關(guān)系。

設(shè)置

每個(gè)人的計(jì)算機(jī)設(shè)置都會(huì)有所不同，因此，要想獲得有關(guān)設(shè)置環(huán)境的最新說(shuō)明可以訪(fǎng)問(wèn)本書(shū)在GitHub的頁(yè)面，或者參考附錄B以獲取有關(guān)如何在計(jì)算機(jī)上安裝Python的信息。

獲取數(shù)據(jù)

獲取本書(shū)所有數(shù)據(jù)和代碼的最簡(jiǎn)單方法是掃描下方二維碼。有關(guān)如何下載本書(shū)數(shù)據(jù)的最新說(shuō)明可以在本書(shū)的存儲(chǔ)庫(kù)中找到，存儲(chǔ)庫(kù)及有關(guān)如何獲得本書(shū)的更詳細(xì)說(shuō)明參見(jiàn)附錄B.3。

安裝Python

附錄G和附錄H分別給出了環(huán)境和安裝軟件包，可以從中找到如何設(shè)置Python的URL(Uniform Resource locator,URL,統(tǒng)一資源定位系統(tǒng))和命令，以便編寫(xiě)代碼。同樣，本書(shū)的存儲(chǔ)庫(kù)中始終包含最新的說(shuō)明。

全書(shū)代碼