本書寫作緣由
在2017年，我參與了一個(gè)名為“Thirty Meter Telescope”（TMT）的大型光學(xué)望遠(yuǎn)鏡軟件系統(tǒng)的開發(fā)項(xiàng)目。我們的任務(wù)是構(gòu)建供各個(gè)子系統(tǒng)使用的核心框架和服務(wù)。這些子系統(tǒng)組件必須能夠相互發(fā)現(xiàn)與檢測(cè)組件故障，并能夠存儲(chǔ)有關(guān)各組件的元數(shù)據(jù)。負(fù)責(zé)這些信息存儲(chǔ)的服務(wù)必須是容錯(cuò)的�？紤]到望遠(yuǎn)鏡生態(tài)系統(tǒng)的特殊性，我們不能采用現(xiàn)成的產(chǎn)品和框架，只能從零開始，打造適用于不同軟件子系統(tǒng)的核心框架和服務(wù)，從本質(zhì)上說，我們要建立的是一個(gè)分布式系統(tǒng)。
我曾設(shè)計(jì)并構(gòu)建過依賴于Kafka、Cassandra和MongoDB等產(chǎn)品的企業(yè)系統(tǒng)，它們使用AWS或GCP等云服務(wù)。這些產(chǎn)品和服務(wù)都是分布式的，解決了一系列相似的問題。對(duì)于TMT系統(tǒng)，我們必須自行開發(fā)解決方案。為了驗(yàn)證和比較這些成熟的產(chǎn)品，我們需要更深入地理解它們的內(nèi)部機(jī)制。了解這些云服務(wù)和產(chǎn)品的構(gòu)建方式及其背后的原因是必要的，它們的官方文檔往往太過產(chǎn)品化，不利于達(dá)成我們的目標(biāo)。
關(guān)于構(gòu)建分布式系統(tǒng)的信息分散在各種研究論文中。然而，這些學(xué)術(shù)資源也有局限，它們往往只關(guān)注特定領(lǐng)域而忽略了相關(guān)主題。以“Consensus: Bridging Theory and Practice”（Ongaro，2014）這篇精彩的論文為例，它詳細(xì)解釋了實(shí)現(xiàn)Raft共識(shí)算法的過程。但你不會(huì)從中了解到像etcd這樣的產(chǎn)品如何使用Raft來追蹤集群成員資格和其他產(chǎn)品的相關(guān)元數(shù)據(jù)，如Kubernetes。Leslie Lamport的著名論文“Time, Clocks, and the Ordering of Events in a Distributed System”（Lamport，1978）中討論了邏輯時(shí)鐘的使用，但它并未解釋像MongoDB這樣的產(chǎn)品如何使用邏輯時(shí)鐘作為版本號(hào)來控制數(shù)據(jù)的版本。
我相信編寫代碼是驗(yàn)證理解正確與否的最佳方式。正如Martin Fowler所說：“代碼就像數(shù)學(xué)，我們必須消除其中的歧義。”因此，為了深刻理解分布式系統(tǒng)的基礎(chǔ)模塊，我決定自己動(dòng)手構(gòu)建這些產(chǎn)品的簡(jiǎn)化版本。我從打造一個(gè)玩具版的Kafka開始，一旦有了合理的版本，我就用它來探討分布式系統(tǒng)的一些基本概念。這種方法被證明非常有效。為了驗(yàn)證通過代碼來闡釋概念的效果，我在Thoughtworks開展了一系列內(nèi)部研討會(huì)，這些研討會(huì)對(duì)我?guī)椭鷺O大。因此，我將這種方法擴(kuò)展到了Cassandra、Kubernetes、Akka、Hazelcast、MongoDB、YugabyteDB、CockroachDB、TiKV和Docker Swarm等產(chǎn)品。我提取了代碼片段來理解這些產(chǎn)品的構(gòu)建模塊。果不其然，這些模塊之間存在許多相似之處。幾年前，我偶然與Martin Fowler討論過這個(gè)話題，他建議我將其整理成模式。本書便是我與Martin Fowler合作，將分布式系統(tǒng)中的共通的構(gòu)建模塊整理成模式的成果。
本書讀者
在當(dāng)今軟件架構(gòu)和開發(fā)的選擇豐富多樣的背景下，面對(duì)眾多分布式產(chǎn)品和云服務(wù)，架構(gòu)師和開發(fā)者面臨著復(fù)雜的設(shè)計(jì)抉擇。這些產(chǎn)品和服務(wù)的設(shè)計(jì)折中可能難以直觀理解。單憑閱讀文檔是遠(yuǎn)遠(yuǎn)不夠的。比如，當(dāng)我們考慮“AWS MemoryDB通過復(fù)制的事務(wù)日志確保了數(shù)據(jù)的持久性”“Apache Kafka現(xiàn)能獨(dú)立于ZooKeeper運(yùn)作”或者“Google Spanner通過同步的全球時(shí)間來維護(hù)外部一致性”這樣的句子時(shí)，該如何理解這些技術(shù)性描述？
為了深入了解，專業(yè)人士往往依賴于產(chǎn)品供應(yīng)商的認(rèn)證培訓(xùn)。然而，這些認(rèn)證大多局限于特定產(chǎn)品，關(guān)注的是表層特性，而非背后的技術(shù)原理。專業(yè)開發(fā)者需要對(duì)這些技術(shù)細(xì)節(jié)有直觀的把握，既能具體到在源代碼層面描述，又能通用到適應(yīng)不同場(chǎng)景。這正是模式的價(jià)值所在。本書介紹的模式旨在幫助從業(yè)者深入理解各種產(chǎn)品和服務(wù)的內(nèi)在機(jī)制，以便做出明智且有效的決策。
本書的主要讀者將是這些專業(yè)人士。除了那些需要與現(xiàn)有的分布式系統(tǒng)打交道的人員，還有一部分讀者可能需要構(gòu)建自己的分布式系統(tǒng)。我期望本書中的模式能夠?yàn)檫@些讀者提供一些有價(jià)值的參考，并幫助他們領(lǐng)先一步。書中引用了許多不同產(chǎn)品的設(shè)計(jì)方案，這些信息對(duì)讀者來說同樣有益。
關(guān)于代碼示例的說明
本書中大多數(shù)模式都提供了代碼示例。這些代碼示例建立在我研究這些模式時(shí)，對(duì)各種產(chǎn)品所做的微型實(shí)現(xiàn)基礎(chǔ)之上。選擇編程語言的依據(jù)是它的普及度和可讀性—Java便是一個(gè)優(yōu)秀的選擇。示例中只用到了Java最基本的語言特性，即方法和類，這在大多數(shù)編程語言中都是通用的。即便是只熟悉其他編程語言的讀者，也應(yīng)該能夠輕松地理解這些代碼示例。不過，需要明確的是，本書并非專為某個(gè)具體的軟件平臺(tái)編寫。一旦掌握了這些代碼示例，你會(huì)發(fā)現(xiàn)無論是C++、Rust、Go、Scala還是Zig，其代碼庫中都有這些模式的影子。我期望的是，通過熟悉這些代碼示例和模式，你將能更加輕松地閱讀和理解各種開源產(chǎn)品的源代碼。
閱讀指南
本書共分為六部分。首先是兩章敘述性章節(jié)，這些章節(jié)構(gòu)成了第一部分，它們涵蓋了分布式系統(tǒng)設(shè)計(jì)的基本主題，介紹了分布式系統(tǒng)設(shè)計(jì)中的挑戰(zhàn)及其解決策略，但并未深入討論這些策略的細(xì)節(jié)。
第二部分至第六部分提供了按模式結(jié)構(gòu)化的詳盡解決方案。這些模式被劃分為四個(gè)核心類別：復(fù)制、分區(qū)、集群管理和網(wǎng)絡(luò)通信。每一類都是構(gòu)建分布式系統(tǒng)的關(guān)鍵要素。
請(qǐng)將這些模式當(dāng)作一種參考手冊(cè)，不需要逐字逐句地閱讀。你可以先瀏覽敘述性章節(jié)，以獲得對(duì)本書內(nèi)容的整體理解，再根據(jù)個(gè)人興趣和實(shí)際需求，深入研究各個(gè)模式。
我希望這些模式能夠協(xié)助同行軟件專業(yè)人員在工作中做出明智的決策。