序 言

我有幸見證了世界向信息化社會的轉(zhuǎn)變過程,隨之而來的就是一個網(wǎng)絡(luò)化的環(huán)境。我從小就生活在這種變革中。個人計算機的發(fā)明打開了人類通向信息世界的大門,接著就是互聯(lián)網(wǎng)將計算機連接了起來,智能手機將人與人聯(lián)系了起來�，F(xiàn)在,每個人都意識到人工智能的浪潮已經(jīng)到來。越來越多的智能服務(wù)即將被發(fā)明出來,同時這也將把我們帶入一個新的智能時代。深度學(xué)習(xí)是引領(lǐng)這股智能浪潮的前沿技術(shù)。雖然它最終可能將其寶座

移交給其他新技術(shù),但是目前它仍是各種人工智能新技術(shù)的重要基石。

深度學(xué)習(xí)如此流行,以至于關(guān)于它的資料隨處可見。然而適用于初學(xué)者的資料并不多見。我編寫這本書的目的是希望幫助初學(xué)者在學(xué)習(xí)這個新知識的過程中不那么痛苦,因為我曾體驗過這種痛苦,同時也希望本書中具體的開發(fā)實例講解能夠幫助初學(xué)者避免我曾經(jīng)遇到的困惑。

本書主要考慮了兩類讀者。第一類是準備系統(tǒng)地學(xué)習(xí)深度學(xué)習(xí)以進一步研究和開發(fā)的讀者。這類讀者需要從頭到尾閱讀本書內(nèi)容,其中的示例代碼將更加有助于進一步理解本書所講的內(nèi)容。我為提供恰當(dāng)?shù)睦�子并加以實現(xiàn)做出了很大的努力,同時為了使編寫的代碼易于閱讀和理解,均將它們用MATLAB編寫而成。在簡單和直觀性上,沒有任何語言比MATLAB更易于處理深度學(xué)習(xí)中的矩陣。示例代碼僅采用了基本的函數(shù)和語法,以便不熟悉MATLAB的讀者也能容易理解和分析里面的概念。對于熟悉編程的讀者來說,代碼可能比文字更容易理解。

第二類是想比從雜志或報紙上獲得更深入的深度學(xué)習(xí)信息,但不必進行實際研究的讀者。這類讀者可以跳過代碼,只需簡要地閱讀對這些概念的解釋即可;也可以跳過神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則這部分內(nèi)容。實際上,因為很容易獲取各種深度學(xué)習(xí)庫,甚至開發(fā)者很少需要親自實現(xiàn)這些學(xué)習(xí)規(guī)則,因此,對于那些從不想開發(fā)深度學(xué)習(xí)的人員,不必擔(dān)心本書內(nèi)容的難度。但是請重點關(guān)注第1章、第2章(第2.1~2.4節(jié))、第5章和第6章的內(nèi)容。特別是第6章,即使只是閱讀其概念和示例結(jié)果,也有助于理解深度學(xué)習(xí)的大多數(shù)重要技術(shù)。為了提供理論背景,本書中偶爾會出現(xiàn)一些方程,但它們只是基礎(chǔ)的運算。閱讀和學(xué)習(xí)你能忍受的內(nèi)容最終將讓你對這些概念有個全面的理解。

本書結(jié)構(gòu)

本書共包含6章內(nèi)容,可以分為3個主題。

第1個主題是機器學(xué)習(xí),這是第1章的內(nèi)容。深度學(xué)習(xí)起源于機器學(xué)習(xí),這意味著如果想要理解深度學(xué)習(xí)的本質(zhì),就必須在某種程度上知道機器學(xué)習(xí)背后的理念。第1章從機器學(xué)習(xí)與深度學(xué)習(xí)的關(guān)系開始講起,隨后是解決問題的策略和機器學(xué)習(xí)的基本局限性。此處僅涵蓋了神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的基本概念,并沒有詳細介紹技術(shù)本身。

第2個主題是人工神經(jīng)網(wǎng)絡(luò),這是第2~4章的重點內(nèi)容。由于深度學(xué)習(xí)就是采用一種神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí),所以不能將神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)分開。第2章從神經(jīng)網(wǎng)絡(luò)的基本概念講起:它的工作原理、體系結(jié)構(gòu)和學(xué)習(xí)規(guī)則,也講到了神經(jīng)網(wǎng)絡(luò)由簡單的單層結(jié)構(gòu)演化為復(fù)雜的多層結(jié)構(gòu)的原因。

第3章介紹了反向傳播算法,它是神經(jīng)網(wǎng)絡(luò)中一種重要和典型的學(xué)習(xí)規(guī)則,深度學(xué)習(xí)也使用這種算法。本章解釋了代價函數(shù)和學(xué)習(xí)規(guī)則是如何聯(lián)系起來的,哪一種代價函數(shù)在深度學(xué)習(xí)中被廣泛使用。第4章介紹了將神經(jīng)網(wǎng)絡(luò)應(yīng)用到分類問題中的方法。其中單列一節(jié)專門講分類,因為它是目前最流行的一種深度學(xué)習(xí)應(yīng)用。例如圖像識別是一個分類問題,也是深度學(xué)習(xí)的一種主要應(yīng)用。

第3個主題是深度學(xué)習(xí),也是本書的重點,將在第5章和第6章中講解。第5章介紹了使深度學(xué)習(xí)能夠產(chǎn)生卓越性能的驅(qū)動因素。為了有助于更好地理解,本章先談了深度學(xué)習(xí)的發(fā)展歷程,包括它遇到的障礙及解決辦法。第6章講解了卷積神經(jīng)網(wǎng)絡(luò),它是深度學(xué)習(xí)的代表性技術(shù)。卷積神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域是首屈一指的技術(shù)。本章首先介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本概念和結(jié)構(gòu),并與前面的圖像識別算法進行了比較;隨后解釋了卷積層和池化層的作用和運算方法,它們是卷積神經(jīng)網(wǎng)絡(luò)的重要組成部分。第6章也包含了一個用卷積神經(jīng)網(wǎng)絡(luò)進行數(shù)字圖像識別的例子,并研究了圖像通過各層的演化過程。

示例代碼

本書中的全部代碼和數(shù)據(jù)都能通過下面的鏈接獲取,這些例子都通過了MATLAB 2014的測試,并且不需要額外的工具箱,鏈接地址是github.com/philbooks/Deep-Learning-for-Beginners

致 謝

實際上,我認為大部分書籍的致謝都與讀者無關(guān),然而我還是準備按慣例寫下一些感謝的話語,因為許多人和事對我來說都很特別。首先,我對在Modulabs共同學(xué)習(xí)深度學(xué)習(xí)的朋友們深表感謝,我所知道的大部分深度學(xué)習(xí)知識都來源于他們;并且我還要感謝我的導(dǎo)師S. Kim,是他接受我,把我領(lǐng)進了這個奇妙的領(lǐng)域,共度春夏秋冬,我才能在Modulabs完成本書的大部分內(nèi)容。

同時我也感謝來自Bogonet的Jeon主席,來自KARI的H. You博士、Y.S. Kang博士和J.H. Lee先生,來自Modulabs的S. Kim 導(dǎo)師,來自J. MARPLE的W. Lee先生和S. Hwang先生,他們都花了很多時間和精力來閱讀和修改我的書稿,他們在整個修改過程中提出了很多建議,雖然這也給了我一段艱難的時光,但只有這樣我現(xiàn)在才能毫無遺憾地完成本書。