譯　者　序多智能體強化學習（MARL）作為人工智能的一個新興研究領域，已經在國際上積累了較為豐富的研究成果和實踐經驗。本書系統性地總結了MARL的研究脈絡，在領域內有較強的影響力。本書由Stefano V.Albrecht、Filippos Christianos和Lukas Sch�|fer三位在多智能體系統和強化學習領域享有盛譽的專家共同撰寫。本書內容主要分為兩部分：第一部分介紹MARL中的基本概念和基礎知識；第二部分則介紹基于深度學習技術的前沿MARL研究。本書不僅涵蓋堅實的理論基礎，還在實踐層面展示了將復雜概念轉化為應用方案的方法。通過具體的算法實踐，讀者可以加深對理論知識的理解。我們希望這本中文翻譯版可以給國內讀者帶來閱讀的便利。得益于大語言模型的幫助，本書的翻譯效率得到了極大的提升。在翻譯過程中，我們也遇到了一些挑戰(zhàn)，例如，某些術語尚無統一的中文翻譯，我們選擇了目前較為主流的翻譯，并在首次出現時標注了其他可能的翻譯，以便讀者理解。此外，為了讓本書更加通俗易懂，我們在翻譯時特別注重語言的流暢性和表達的準確性。我們力求將復雜的概念用簡潔明了的語言進行解釋，同時保留原文的科學性和嚴謹性。在此，我們要特別感謝在本書翻譯過程中給予支持和幫助的所有老師和同學。他們的建議和指導使本書的翻譯更加準確和完善。同時，也要感謝機械工業(yè)出版社的支持，使得這本書的中文版得以順利出版。盡管我們在翻譯過程中力求準確無誤，但由于時間和精力有限，書中難免存在疏漏之處。我們誠摯地歡迎讀者提出寶貴的批評和建議，以便我們在后續(xù)版本中不斷改進和完善。前　　言多智能體強化學習（Multi-Agent Reinforcement Learning，MARL）是一個多樣化且極為活躍的研究領域。隨著深度學習在2010年代中期被引入多智能體強化學習，該領域的研究工作出現了爆炸式增長�，F在，所有主要的人工智能和機器學習會議都會例行討論相關文章，比如開發(fā)新的多智能體強化學習算法或以某種方式應用多智能體強化學習。這種急劇增長還體現在自那以后發(fā)表的越來越多的綜述論文中，我們在書末列出了許多這樣的論文。隨著這種增長，該領域顯然需要一本教科書來提供對多智能體強化學習的原則性介紹。本書部分基于并在很大程度上遵循了Stefano V.Albrecht和Peter Stone在2017年澳大利亞墨爾本舉行的國際人工智能聯合會議（International Joint Conference on Artificial Intelligence，IJCAI）上所做的“Multiagent Learning:Foundations and Recent Trends”報告的結構。本書的寫作目的是對多智能體強化學習中的模型、求解、算法思想和技術挑戰(zhàn)進行基本介紹，并描述將深度學習技術整合進多智能體強化學習以產生強大新算法的現代方法。從本質上講，我們認為本書所涵蓋的材料應該為每一位從事多智能體強化學習的研究人員所了解。此外，本書還旨在為研究人員和從業(yè)人員使用MARL算法提供實用指導。為此，本書附帶了用Python編程語言編寫的代碼庫，其中包含本書討論的幾種多智能體強化學習算法的實現。代碼庫的主要目的是提供自成一體且易于閱讀的算法代碼，以幫助讀者理解。本書假定讀者具有本科水平的基礎數學背景，包括統計學、概率論、線性代數和微積分。此外，為了理解和使用代碼庫，讀者需要熟悉基本的編程概念。通常，我們建議按順序閱讀本書的各個章節(jié)。對于不熟悉強化學習和深度學習的讀者，我們將在第2章、第7章和第8章分別介紹相關基礎知識。對于已經熟悉強化學習和深度學習的讀者，如果想快速開始學習基于深度學習的最新多智能體強化學習算法，那么可以先閱讀第3章，然后跳到第9章及以后的章節(jié)。為了幫助教師采用本書，我們制作了講義幻燈片（可從本書網站獲取），內容可根據課程需要進行修改。多智能體強化學習已成為一個龐大的研究領域，本書并未涵蓋其所有方面。例如，關于在多智能體強化學習中使用通信的研究日益增多，但本書并未涉及。這方面的研究問題包括：當通信信道嘈雜、不可靠時，智能體如何學會穩(wěn)健地進行通信；智能體如何利用多智能體強化學習來學習針對特定任務的專用通信協議或語言。雖然本書的重點不是多智能體強化學習中的通信，但本書介紹的模型具有足夠的通用性，也可以表示通信行為（如3.5節(jié)所述）。此外，還有關于將演化博弈論用于多智能體學習的研究，在本書中也沒有涉及（我們推薦Bloembergen等人于2015年發(fā)表的優(yōu)秀綜述）。最后，隨著近年來多智能體強化學習研究工作的急劇增加，試圖編寫一本跟上新算法的書籍是徒勞的。因此，我們將重點放在多智能體強化學習的基礎概念和思想上，并參考研究綜述論文（書末），以獲知更完整的算法發(fā)展歷程。致謝：我們非常感謝在本書撰寫過程中許多與我們合作或提供反饋意見的人。在這里，特別感謝MIT出版社的Elizabeth Swayze和Matthew Valades，他們在出版過程中給予了我們悉心的指導。許多同事也為我們提供了寶貴的反饋意見和建議，我們在此一并表示感謝（按姓氏字母順序排列）：Christopher Amato、Marina Aoyama、Ignacio Carlucho、Georgios Chalkiadakis、Sam Dauncey、Alex Davey、Bertrand Decoster、Mhairi Dunion、Kousha Etessami、Aris Filos-Ratsikas、Elliot Fosong、Amy Greenwald、Dongge Han、Josiah Hanna、Leonard Hinckeldey、Sarah Keren、Mykel Kochenderfer、Marc Lanctot、Stefanos Leonardos、Michael Littman、Luke Marris、Elle McFarlane、Trevor McInroe、Mahdi Kazemi Moghaddam、Frans Oliehoek、Georgios Papoudakis、Tabish Rashid、Michael Rovatsos、Rahat Santosh、Raul Steleac、Massimiliano Tamborski、Kale-ab Tessera、Callum Tilbury、Jeroen van Riel、Zhu Zheng。我們還要感謝為MIT出版社審閱本書的匿名審稿人。圖2.3中的火星探測車的馬爾可夫決策過程（Markov Decision Process，MDP）基于Elliot Fosong和Adam Jelley為愛丁堡大學強化學習課程創(chuàng)建的類似的馬爾可夫決策過程。圖4.4和圖4.5b中的圖像是Mahdi Kazemi Moghaddam為本書制作的。我們非常感謝Karl Tuyls在2023年智能體及多智能體系統（Autonomous Agents and Multi-Agent Systems，AAMAS）國際會議上發(fā)表的主旨演講中宣布了本書的出版�？闭`：盡管我們盡了最大努力，但仍可能有一些錯字或不準確之處未被注意到。如果發(fā)現任何錯誤，請通過電子郵件issues@marl-book.com向我們告知，我們將不勝感激。本書網站、代碼庫和幻燈片：本書的完整PDF版本以及附帶資料（包括代碼庫和講義幻燈片）的鏈接可在本書網站上找到：www.marl-book.com。