譯 者 序由于之前我在機(jī)械工業(yè)出版社翻譯的兩本英文書都已出版了，合作比較順利，因此在編輯老師聯(lián)系我翻譯這本書時，我就欣然接受了，這將是我翻譯的第三本關(guān)于自動控制理論、自動化技術(shù)的書。下面我就談?wù)劥舜畏�譯過程中的一些認(rèn)識和體會，希望對讀者理解書中的內(nèi)容能有所幫助。本書的主題非常好，講解也詳略得當(dāng)、通俗易懂，既體現(xiàn)了作者的真知灼見，又能夠讓讀者通過清晰的語言表述、豐富的示例、習(xí)題和注記了解相關(guān)內(nèi)容與事件的來龍去脈。本書共有10章，分為兩部分，第一部分（第1~5章）是關(guān)于無噪聲情況或者確定性情況下的基礎(chǔ)知識的；第二部分（第6~10章）是關(guān)于含有噪聲或者隨機(jī)過程的學(xué)習(xí)控制主題的。具體來說，第一部分簡要講述確定性控制系統(tǒng)相關(guān)內(nèi)容，如控制的基本問題、最優(yōu)控制及其優(yōu)化算法設(shè)計(jì)以及價(jià)值函數(shù)近似等，特別是對何為控制問題、控制理論到強(qiáng)化學(xué)習(xí)的演化關(guān)系、期望和方差的現(xiàn)實(shí)意義、優(yōu)化算法設(shè)計(jì)以及價(jià)值函數(shù)近似等問題的闡述，別具特色，具有很強(qiáng)的啟發(fā)意義。第二部分講述存在噪聲或者處于某類馬爾可夫鏈描述情況下的隨機(jī)系統(tǒng)優(yōu)化設(shè)計(jì)問題，主要包括馬爾可夫鏈的相關(guān)知識、基于馬爾可夫決策過程的隨機(jī)控制、隨機(jī)近似基礎(chǔ)知識、用于隨機(jī)優(yōu)化的幾類時間差分算法以及演員-評論家算法及其架構(gòu)等內(nèi)容，其中對于Watkins的Q學(xué)習(xí)、LQG、QSA、ZAP隨機(jī)近似以及隨機(jī)控制與強(qiáng)化學(xué)習(xí)之間的關(guān)系演化等內(nèi)容的闡述也很有見地，令人耳目一新。此外，本書對控制系統(tǒng)舞臺設(shè)計(jì)的演員-評論家算法架構(gòu)的闡述也非常生動形象，展現(xiàn)出了自然系統(tǒng)和人文生活系統(tǒng)和諧地構(gòu)成天然的信息物理交互系統(tǒng)的圖景。這對于理解各種算法的由來以及功能大有裨益�？刂葡到y(tǒng)本身也是一類系統(tǒng)，更多強(qiáng)調(diào)的是如何協(xié)同或協(xié)調(diào)各要素之間的關(guān)系，以使得所設(shè)計(jì)的系統(tǒng)滿足預(yù)期的設(shè)定要求。這一點(diǎn)與生產(chǎn)力的本意相似，生產(chǎn)力是通過生產(chǎn)要素的組合運(yùn)用提供產(chǎn)品和服務(wù)的能力。協(xié)調(diào)各要素之間的關(guān)系涉及要素變量的選取和甄別、不同要素之間的權(quán)重組合以及這些組合的適應(yīng)性和可擴(kuò)展性等。擴(kuò)大應(yīng)用先進(jìn)和新型生產(chǎn)要素是控制系統(tǒng)持續(xù)健康發(fā)展的動力之源，只有進(jìn)一步提高全要素生產(chǎn)率，建立起更高水平、更可持續(xù)的產(chǎn)業(yè)競爭新優(yōu)勢，才能創(chuàng)造出更多控制策略或智能算法。如果僅基于對穩(wěn)定性的分析考慮控制系統(tǒng)，那么該主題屬于經(jīng)典控制理論范疇（包括頻域法和時域法的基礎(chǔ)理論）；如果再增加相應(yīng)的控制性能指標(biāo)和實(shí)時性，就發(fā)展成了解決較復(fù)雜過程的高級控制理論和技術(shù)；再考慮環(huán)境和對象模型的雙邊不確定性，特別是對象規(guī)模、性能指標(biāo)和邊界約束的增加，就使得控制策略從定常到時變、從魯棒到自適應(yīng)、從固定策略到學(xué)習(xí)策略、從最優(yōu)到近似最優(yōu)、從單一情境到復(fù)雜多情境的再生等，這一切既體現(xiàn)了認(rèn)知的與時俱進(jìn)、解決時代問題的前沿性，也體現(xiàn)了控制理論從物理底層的局部回路調(diào)節(jié)演化到與應(yīng)用層和管理層通過網(wǎng)絡(luò)層實(shí)現(xiàn)半全局乃至全局的統(tǒng)籌規(guī)劃和運(yùn)籌帷幄，是逐漸從“硬件在回路”向“算法在回路”和“人在回路”的策略轉(zhuǎn)變，更加體現(xiàn)了人的能動性在整個控制系統(tǒng)或管理系統(tǒng)中的作用�？刂婆c學(xué)習(xí)的發(fā)展是隨著研究對象的變化而變化的，經(jīng)典的控制僅利用對象模型自身相關(guān)的確定信息來組成要素調(diào)節(jié)策略，而學(xué)習(xí)不僅要利用與對象自身相關(guān)的確定信息，還要在設(shè)計(jì)的預(yù)期目標(biāo)中考慮某些人為因素的投影，在適應(yīng)性和處理不確定性方面具有更大的自由度，從而能夠?qū)⑦@種學(xué)習(xí)模式遷移出去，體現(xiàn)出一種嵌入的能動性或使能性。以上這些是我對控制系統(tǒng)與強(qiáng)化學(xué)習(xí)這個主題的一些認(rèn)識和理解，希望能為閱讀本書的讀者提供一個不一樣的“入門體驗(yàn)”。本書的翻譯分工如下：王秋富負(fù)責(zé)第1~5章以及前言和附錄的翻譯，葛伊陽負(fù)責(zé)第6~10章的翻譯，王占山負(fù)責(zé)對全書譯文進(jìn)行審校�？紤]到譯者在控制系統(tǒng)，特別是強(qiáng)化學(xué)習(xí)方面的知識有限，以及原著語境口語化的特點(diǎn)，書中的翻譯可能存在紕漏和不足之處，敬請讀者批評指正。此外，感謝機(jī)械工業(yè)出版社編輯的及時溝通和努力合作，以及東北大學(xué)劉秀翀博士在我的討論班上對控制科學(xué)、智能科學(xué)以及哲學(xué)等方面給出的中肯見解和意見。王占山2024年8月于東北大學(xué)南湖校區(qū)前言在2020年春季學(xué)期，筆者正在教授隨機(jī)控制課程，該課程的最后幾周通常專注于強(qiáng)化學(xué)習(xí)（RL）主題。整個學(xué)期，筆者都在思考今年晚些時候要開設(shè)的強(qiáng)化學(xué)習(xí)專題課程：計(jì)劃在巴黎和柏林開設(shè)的兩個夏季課程，以及作為Simons（西蒙斯）研究所強(qiáng)化學(xué)習(xí)項(xiàng)目的一部分安排的另一門課程。2020年秋季課程的視頻和幻燈片現(xiàn)已公布在https://simons.berkeley.edu/programs/rl20網(wǎng)站上。DPLP即dynamic programming linear programming，動態(tài)規(guī)劃的線性規(guī)劃�！�—譯者注春季學(xué)期結(jié)束后不久，筆者收到了劍橋大學(xué)出版社編輯Diana Gillooly的郵件。她寫道：“有人提到你計(jì)劃講授關(guān)于強(qiáng)化學(xué)習(xí)的課程”，并問筆者是否有興趣寫一本關(guān)于這個主題的書。正是她這封簡短的電子郵件推動了本書的誕生。當(dāng)然，本書的歷史其實(shí)更加悠久——本書是筆者結(jié)合十多年來準(zhǔn)備的講義，以及更長時間以來積累的零散資料而最終寫成的。此外，筆者向Simons研究所RL項(xiàng)目的聯(lián)合組織者承諾，筆者將為初學(xué)者提供一門不需要大量數(shù)學(xué)背景的速成課程。筆者也保證，要寫一本面向高年級本科生和研究生的可讀性較強(qiáng)的書。疫情引發(fā)了筆者的這些思考，使筆者覺得有必要闡明兩個主題：（i）在控制系統(tǒng)文獻(xiàn)中，有動態(tài)規(guī)劃技術(shù)可以近似強(qiáng)化學(xué)習(xí)中出現(xiàn)的Q函數(shù)。特別是，這個“價(jià)值函數(shù)”是一個簡單凸規(guī)劃的解（一個例子就是式（3.36）中闡釋的“DPLP”）。強(qiáng)化學(xué)習(xí)中的許多算法都是為近似相同的函數(shù)而設(shè)計(jì)的，但都是基于求根問題，除了一些非常特殊的情況外，這些問題往往難以被充分理解。這只是需要在控制和RL之間建立更好的溝通橋梁的一個例子。筆者不能聲稱這座橋已經(jīng)完全建成，但筆者希望這本書能夠基于不同學(xué)科的見解為未來的研究發(fā)現(xiàn)提供線索。（ii）隨機(jī)近似（SA）是分析遞歸算法最常用的方法。這種方法通常被稱為常微分方程（ODE）方法\[136,229,301,357\]。在沃特金斯（Watkins）引入Q學(xué)習(xí)\[169,352\]后不久，人們認(rèn)識到了RL和SA之間的關(guān)系。在過去的十年里，用于分析優(yōu)化算法的ODE方法變得越來越復(fù)雜\[198,318,335,375\]。相關(guān)的ODE方法是統(tǒng)計(jì)力學(xué)、遺傳學(xué)、流行病學(xué)（例如SIR模型）甚至投票的標(biāo)準(zhǔn)建模框架的一部分\[24,122,225,276\]。本書將采用反向的敘述方式：書中的每個算法都從一個理想的ODE開始，它被視為算法設(shè)計(jì)的“第一步”，而不是簡單地將ODE視為一種分析工具。筆者相信這為算法綜合和分析提供了更好的見解。然而，使用SA來證明這種方法的合理性是高度技術(shù)性的，特別地，最近的學(xué)位論文和相關(guān)著述\[107,110\]（建立在類似的敘述之上）對隨機(jī)過程理論的應(yīng)用背景進(jìn)行了假設(shè)。在本書中，我們正式宣稱：只要你愿意使用正弦曲線或其他確定性探測信號而不是隨機(jī)過程，隨機(jī)近似就沒有本質(zhì)上的隨機(jī)性。第4章和第5章所研究的ODE方法就沒有提及概率論。這是筆者的第三本書，和前兩本書一樣，筆者也是基于新的發(fā)現(xiàn)才寫成這本書的。在研究主題（i）時，筆者和同事Prashant Mehta發(fā)現(xiàn)，通過借鑒目前流行的批處理RL概念，凸Q學(xué)習(xí)可以變得更加實(shí)用。這個發(fā)現(xiàn)促使筆者開始研究新的課題\[246,247\]以及開展與Gergely Neu的新合作。你們會在第3章和第5章中找到這些論文的文本和方程。第4章主要討論ODE方法和準(zhǔn)隨機(jī)近似方面的內(nèi)容，該章建立在文獻(xiàn)\[40,41\]的基礎(chǔ)之上。在2020年夏天，筆者將所有這些材料整合起來，并就這些算法的收斂性和收斂速率創(chuàng)建了一個完整的理論，以更好地理解這些算法在RL的無梯度優(yōu)化和策略梯度技術(shù)中的應(yīng)用\[85��87\]。本書的第二部分涉及Q學(xué)習(xí)的Zap Zero（快速調(diào)零），以及對演員-評論家方法收斂速度的深刻見解等內(nèi)容。每章末的“注記”概述了各章主要結(jié)論的起源。許多剛接觸強(qiáng)化學(xué)習(xí)的人可能會失望地發(fā)現(xiàn)，本書中的理論和算法與大眾媒體描繪的“美好景象”相距甚遠(yuǎn)：強(qiáng)化學(xué)習(xí)通常被描述為一個在物理環(huán)境中互動的“智能體”，并隨著經(jīng)驗(yàn)的積累而趨于成熟。不幸的是，考慮到當(dāng)今的技術(shù)水平，除了在線廣告等非常特殊的場景外，“從零開始進(jìn)行控制”的過程不太可能成功。但是本書的基調(diào)完全不同：我們提出了一個最優(yōu)控制問題，并展示了如何在設(shè)計(jì)探索策略和調(diào)整規(guī)則的基礎(chǔ)上獲得近似解。這不是筆者的怪癖，而是一種有嚴(yán)格要求的、被廣泛接受的方法，可以推導(dǎo)出強(qiáng)化學(xué)習(xí)的所有標(biāo)準(zhǔn)方法。特別是沃特金斯的Q學(xué)習(xí)算法及其擴(kuò)展被設(shè)計(jì)用于求解或近似20世紀(jì)50年代引入的“動態(tài)規(guī)劃”方程。這個領(lǐng)域還很年輕，它的未來可能就像你在讀這篇前言之前所設(shè)想的那樣。希望在不久的將來，我們能發(fā)現(xiàn)RL的新范式，也許我們可以從智慧生物那里獲得靈感，而不是從20世紀(jì)的最優(yōu)方程中獲得靈感。筆者相信，如果沒有最優(yōu)控制范式的束縛，本書提及的基本原理在未來仍將很有價(jià)值！致謝一切要從30年前說起。20世紀(jì)90年代中期，筆者（象征性地）中了彩票：一筆Fulbright獎學(xué)金。我?guī)е�全家，包括我年幼的女兒Sydney和Sophie，來到了印度的班加羅爾。與Vivek Borkar在印度科學(xué)研究所（IISc）工作的9個月是我們富有成效的合作和長期友誼的開始。本書后半部分的幾乎每一頁的文字背后都有Vivek的影響和參與。當(dāng)Ben Van Roy在麻省理工學(xué)院（MIT）完成他的學(xué)位論文研究時，筆者也有幸與他進(jìn)行了互動。他和John Tsitsiklis的合作絕對是一項(xiàng)壯舉，本書的許多方面都借鑒了他早期的強(qiáng)化學(xué)習(xí)（RL）研究。他目前的研究也可能會產(chǎn)生類似的長期影響。Prashant Mehta曾對筆者說：“我知道你是怎么做到的了！你周圍都是了不起的人！”了不起是對的，而他就處在了不起的最頂端。本書是與Vivek、Prashant和許多其他人（包括Ana BuiＢｕｉ!、ＫｅｎＤｕｆｆｙ、ＰｅｔｅｒＧｌｙｎｎ、ＩｏａｎｎｉｓＫｏｎｔｏｙｉａｎｎｉｓ、ＥｒｉｃＭｏｕｌｉｎｅｓ），以及聯(lián)合技術(shù)研究中心的許多老朋友（包括ＡｍｉｔＳｕｒａｎａ和ＧｅｏｒｇｅＭａｔｈｅｗ）合作的產(chǎn)物。筆者的博士指導(dǎo)老師ＰｅｔｅｒＣａｉｎｅｓ是筆者的第一位同事，也是筆者目前所遇到過的最好的同事之一，他熱情地支持筆者的馬爾可夫鏈理論研究，這為筆者在澳大利亞國立大學(xué)攻讀博士后期間與ＲｉｃｈａｒｄＴｗｅｅｄｉｅ的合作奠定了基礎(chǔ)。這些人都很了不起，所有人都會認(rèn)同這一點(diǎn)！對筆者的研究產(chǎn)生影響的一位優(yōu)秀青年學(xué)者是ＳｈｕｈａｎｇＣｈｅｎ，他是文獻(xiàn)［８８］（關(guān)于更精細(xì)ＯＤＥ方法的論文）的主要作者。非常感謝在讀研究生ＦａｎＬｕ對本書早期草稿提出的意見和在數(shù)值實(shí)驗(yàn)方面提供的幫助。ＰｒａｂｉｒＢａｒｏｏａｈ幫助筆者從伊利諾伊大學(xué)遷至佛羅里達(dá)大學(xué)生活。筆者從與其互動以及與他的學(xué)生（包括ＮａｒｅｎＲａｍａｎ和ＡｕｓｔｉｎＣｏｆｆｍａｎ）的互動中受益匪淺。ＭａｘＲａｇｉｎｓｋｙ幫助筆者收集和整理了一些筆者平時不太關(guān)注的文獻(xiàn)。他的建議以及Ｐｏｌｙａｋ最近的論文［１３６］幫助我了解了蘇聯(lián)學(xué)者在ＲＬ和ＳＡ方面的早期貢獻(xiàn)。ＭａｘＲａｇｉｎｓｋｙ的研究也給了筆者靈感：雖然本書中的許多地方都有對他研究成果的引用，但他的這些研究成果中的大部分內(nèi)容都更適用于學(xué)術(shù)專著。第２章和第３章的大部分內(nèi)容都是基于伊利諾伊大學(xué)決策與控制實(shí)驗(yàn)室開設(shè)的狀態(tài)空間控制課程寫成的。非常感謝ＢｉｌｌＰｅｒｋｉｎｓ、ＴａｍｅｒＢａｓａｒ和ＭａｘＲａｇｉｎｓｋｙ，感謝他們允許筆者使用文獻(xiàn)［２９］中的相關(guān)材料，還要感謝負(fù)責(zé)創(chuàng)新控制實(shí)驗(yàn)設(shè)計(jì)的實(shí)驗(yàn)室主任ＤａｎｉｅｌＢｌｏｃｋ。２０１８年，筆者有幸在美國國家可再生能源實(shí)驗(yàn)室（ＮＲＥＬ）度過了幾個月，在自主能源系統(tǒng)實(shí)驗(yàn)室進(jìn)行了研究。這些交流的一個成果就是促使筆者開展有關(guān)隨機(jī)近似的研究，并發(fā)表了多篇文章［４０，４１，８５-８７，９３］。如果沒有在ＮＲＥＬ與ＡｎｄｒｅｙＢｅｒｎｓｔｅｉｎ、ＭａｒｃｅｌｌｏＣｏｌｏｍｂｉｎｏ、ＥｍｉｌｉａｎｏＤａｌｌ�穑粒睿澹螅逡约肮P者以前的研究生ＹｕｅＣｈｅｎ的合作，就不會有現(xiàn)在的這本書。在回顧第４章關(guān)于極值搜索控制的文獻(xiàn)時，筆者對研究文獻(xiàn)中普遍認(rèn)為這一想法始于２０世紀(jì)２０年代的說法持懷疑態(tài)度。這段歷史中最令人信服的案例是在文獻(xiàn)［３４８］中提出的。筆者聯(lián)系了合著者ＩｖｅｎＭａｒｅｅｌｓ，他向筆者保證了這段歷史的準(zhǔn)確性。然后，在法國同事的幫助下，筆者找到并翻譯了１９２２年的文獻(xiàn)［２１７］，該文獻(xiàn)被認(rèn)為是這種優(yōu)化技術(shù)的來源。ＦｒａｎｋＬｅｗｉｓ是ＲＬ和控制理論交叉領(lǐng)域最偉大的“橋梁建設(shè)者”之一，他主導(dǎo)了關(guān)于這些主題的幾本論文集的創(chuàng)作。１０年前，當(dāng)他想到筆者并促成投稿時［１６５］，筆者感到很驚訝，而１０年后他邀請筆者為新書投稿時［１１０］，筆者非常高興地接受了。直到最近，筆者一直認(rèn)為ＲＬ是一種愛好，是復(fù)雜系統(tǒng)（如網(wǎng)絡(luò)［２５４］）簡化模型的動力，也是教授控制理論的工具。隨著ＡｄｉｔｈｙａＤｅｖｒａｊ來到佛羅里達(dá)大學(xué)，筆者的認(rèn)識發(fā)生了變化，他和筆者一起攻讀研究生，直到２０２０年春畢業(yè)后他去了斯坦福大學(xué)。他的好奇心和智慧在很多方面都給了我靈感，尤其是驅(qū)使筆者更多地了解了ＲＬ在過去十年中的演變。本書第二部分的許多數(shù)據(jù)和理論都來源于他的學(xué)位論文［１０７］，他還對本書中許多部分提出了改進(jìn)建議。筆者欠西蒙斯學(xué)院一筆很大的人情。２０１８年春天，筆者作為實(shí)時決策項(xiàng)目的長期訪問學(xué)者，有幸與ＡｎａＢｕ�lｉ!和ＡｄｉｔｈｙａＤｅｖｒａｊ開展合作。我們從其他的訪問學(xué)者和ＰｅｔｅｒＢａｒｔｌｅｔｔ（以及其他當(dāng)?shù)貙W(xué)者）那里學(xué)到了很多。我們當(dāng)時的討論推動了２０２０年的ＲＬ項(xiàng)目，該項(xiàng)目Ⅸ　提供了一個關(guān)于該主題各個方面的大型速成課程，并著重強(qiáng)調(diào)了筆者試圖通過本書進(jìn)行探討的那種橋梁建設(shè)。２０２０年秋天，就在完成關(guān)于這個主題的第１０章之前，筆者觀看了關(guān)于最近演員－評論家技巧的教程。本書受益于ＧｅｒｇｅｌｙＮｅｕ、ＣｉａｒａＰｉｋｅＢｕｒｋｅ以及ＣｓａｂａＳｚｅｐｅｓｖｒｉ組織的強(qiáng)化學(xué)習(xí)虛擬研討會系列�棧�，該系列也受到了西蒙斯２０２０年ＲＬ項(xiàng)目的啟發(fā)。回到現(xiàn)在：２０２１年春天，筆者在本書第一部分的基礎(chǔ)上開設(shè)了一門新課程。許多學(xué)生都渴望參與控制系統(tǒng)和ＲＬ的簡易入門學(xué)習(xí)，好在這些學(xué)生都挺過了困難重重的三個月。筆者很感激這學(xué)期收到的所有反饋，并且會盡力做出回應(yīng)。感謝ＡｒｉｅｌｌｅＳｔｅｖｅｎｓ，他糾正了前三章中許多表述不清晰的段落，并提出使用灰色方框來突出重要的概念。為了回應(yīng)其他學(xué)生（包括ＣａｌｅｂＢｏｗｙｅｒ、ＢｏＣｈｅｎ、ＡｕｓｔｉｎＣｏｆｆｍａｎ、ＣｈｅｔａｎＤｈｕｌｉｐａｌｌａ、ＷｅｉｈａｎＳｈｅｎ、ＺｅｔｏｎｇＸｕａｎ、Ｋｅｉ�玻裕幔椋伲鹾停伲铮睿纾�ｕＺｈａｎｇ）的意見，我們做出了更多改進(jìn)。這份名單上還有最近畢業(yè)的ＢｏｂＭｏｙｅ博士以及與筆者一起進(jìn)行ＲＬ和相關(guān)課題研究的在讀研究生：ＭａｒｉｏＢａｑｕｅｄａｎｏＡｇｕｉｌａｒ、ＣａｉｏＬａｕａｎｄ和ＡｍｉｎＭｏｒａｄｉ。2021年８月在Ｔｗｉｔｔｅｒ（現(xiàn)Ｘ）上發(fā)布草稿后不久，筆者還收到了在讀博士生ＶｅｋｔｏｒＤｅｗａｎｔｏ的大量反饋。當(dāng)然，筆者不會忘記自己的資助者。美國空軍科學(xué)研究辦公室（ＡＦＯＳＲ）的ＢｏｂＢｏｎｎｅａｕ資助了筆者和ＰｒａｓｈａｎｔＭｅｈｔａ在Ｑ學(xué)習(xí)、平均場博弈和非線性濾波方面的早期研究。美國陸軍研究辦公室的ＤｅｒｙａＣａｎｓｅｖｅｒ和ＰｕｒｕｓｈＩｙｅｒ資助了更多相關(guān)主題的研究。美國國家科學(xué)基金會（ＮＳＦ）資助了筆者最抽象、看似毫無價(jià)值的一些研究課題，希望這些課題能帶來一些有價(jià)值的東西。筆者在ＮＳＦ最可靠的盟友是Ｒａｄｈａｋｉｓａｎ（Ｋｉｓｈａｎ）Ｂａｈｅｔｉ，他為筆者的第一筆資助提供了資金（開始于20世紀(jì)90年代初的自適應(yīng)控制課題）。Ｂａｈｅｔｉ是一位出色的導(dǎo)師，他始終對潛在的愚蠢想法保持著警覺，同時也懂得如何從那些新的、看似無用的研究方向中獲得啟發(fā)。他知道控制界中的每個人都在做什么！他還通過他的馬拉松長跑以及對瑜伽的精通激勵著我們所有人。肖恩·梅恩2021年８月１日