我在華為工作十多年，一直從事公司核心產品和項目的研發(fā)工作，后來加入中興，直到今日我仍然在堅持從事研發(fā)工作。我始終認為，技術是個人立身之本、公司發(fā)展之能、社會進步之源。
我與本書作者相識已久。他于2013年就以項目第一負責人身份，主持研發(fā)了江蘇省省級科研項目“基于物聯網的智能輸液系統(tǒng)”，領導團隊攻克技術難點，順利通過了專家的鑒定。我深知他是一位謙虛低調，甚至可以說是淡泊名利，但技術超群，追逐技術完美和至高點的人。尤其是在大數據和商業(yè)智能領域，本書作者深耕多年，可以說是該領域難得的“掃地僧”。
當本書作者找我寫推薦序時，我心情激動，受寵若驚！當拿到尚未正式出版的書稿時，本著對讀者負責的態(tài)度，我花了三天時間大致通讀了一遍。本書通俗易懂的講述方式，對Elasticsearch介紹的深度與廣度，超出了所有我閱讀過的關于Elasticsearch的書籍。作者敬業(yè)、務實的作風令我敬服。
本書全面涵蓋Elasticsearch的技術，對初學者來說是一本實戰(zhàn)類的入門和進階書籍，對資深技術和運維人員是一本優(yōu)秀的工具書。同時，本書穿插著作者獨到的技術見解，集作者十年大數據經驗之大成。
我向廣大讀者強烈推薦本書。我相信，通過閱讀本書，讀者的Elasticsearch開發(fā)能力將會得到提升。
中興高級技術專家馬士龍2020年5月
習近平同志指出: “誰掌握了數據，誰就掌握了主動權。”進入21世紀，以互聯網、大數據、商業(yè)智能為代表的新一代信息技術迅猛發(fā)展，給世界經濟的發(fā)展帶來了新的契機。大數據被譽為未來的石油，是21世紀最為珍貴的財產。
大數據領域需要解決以下三個問題。
(1) 如何存儲數據
傳統(tǒng)的關系數據庫(MySQL、Oracle和Access等)主導了20世紀的數據存儲模式，但當數據量達到太字節(jié)級，甚至拍字節(jié)級時，關系數據庫表現出了難以解決的瓶頸問題。為了解決海量數據存儲和分布式計算問題，Google Lab提出了Map/Reduce 和 Google File System(GFS)解決方案，Hadoop作為其中一個優(yōu)秀的實現框架迅速得到了業(yè)界的認可和廣泛應用。但Hadoop的存儲模式決定了其并不支持對數據的實時檢索和計算。還有其他的替代方案嗎？為何不嘗試Elasticsearch的分布式存儲功能?
(2) 如何檢索數據
在互聯網時代的今天，信息的價值在很大程度上取決于其是否可實時傳播和獲取。在龐大的數據倉庫中，如何快速獲取少量有用的數據是必須解決的問題。數據的實時獲取能力取決于數據的存儲格式。有什么簡單易用的實時數據獲取方案嗎？為何不嘗試Elasticsearch的實時搜索功能？
(3) 如何展現數據
存儲數據和檢索數據是最終目的嗎？當然不是！數據的真正價值和最終目的是為商業(yè)決策提供有力支撐。為此，必須挖掘出數據的內在規(guī)律，并用友好的形式呈現在很可能并不懂技術的決策者面前。什么樣的數據展現形式最有說服力，最容易為決策者所接受和理解？毫無疑問是圖和表。正所謂千言萬語不如一張圖！有什么現成的數據挖掘和可視化方案嗎？為何不嘗試基于Elasticsearch的可視化平臺Kibana?
本書目的
通過閱讀本書，讀者可以全面掌握Elasticsearch的相關技術，使用Elasticsearch解決上述三個問題，并掌握作者十多年積累的大數據處理經驗和技巧，成為大數據高手。
本書內容
本書基于Elasticsearch 7編寫，共14章，前12章全面介紹Elasticsearch的安裝部署、開發(fā)應用、性能調優(yōu)、集群監(jiān)控、設計原理、SQL接口等核心內容。第13章介紹基于Elasticsearch的可視化平臺Kibana的基礎內容。第14章介紹一個實戰(zhàn)案例。前言Elasticsearch權威指南各章具體內容如下。
第1章介紹Elasticsearch的基本概念和基礎操作，主要是讓讀者快速體驗Elasticsearch的功能，對Elasticsearch有一個直觀和大體的了解。
第2章詳細介紹Elasticsearch的安裝、啟動和參數配置。本章關于參數配置部分的內容，可以直接用于生產環(huán)境的集群性能調優(yōu)，讀者可仔細閱讀這部分內容，并細心體會。
第3章介紹Elasticsearch所遵循的API規(guī)范，為后續(xù)API相關部分的內容介紹打下基礎。
第4~9章詳細介紹Elasticsearch的各種API功能和使用方法，幾乎每種API都配有示例。這部分內容是本書的重點，也是讀者在實際工作中應用最多的。
第10章介紹Elasticsearch的查詢語言Query DSL。Query DSL是Elasticsearch特定的查詢語言，所有的查詢API都支持和遵循Query DSL約定的語法。
第11章介紹Elasticsearch所支持的SQL接口。SQL接口是比Query DSL更友好、更通用的一種接口形式，是Elasticsearch未來重點發(fā)展的一個方向。
第12章介紹搜索引擎的原理和Elasticsearch的分布式設計原理。通過閱讀本章內容讀者可進一步理解Elasticsearch的內部機制。
第13章介紹Elasticsearch的可視化平臺Kibana的基礎內容，讓讀者對Kibana有一個基本的理解。
第14章介紹一個實戰(zhàn)案例，讓讀者進一步理解如何應用Elasticsearch進行系統(tǒng)設計。
本書特色
重點介紹可直接用于工作中的Elasticsearch的應用開發(fā)方法和技巧。
通過突出的形式呈現作者多年實際使用Elasticsearch的心得體會。
對書中代碼進行詳細注釋，降低閱讀門檻。
通過圖解的形式介紹Elasticsearch復雜的內部設計原理和實現機制。
敘述方式通俗易懂。
本書讀者
Elasticsearch的入門人員。
想深入了解Elasticsearch的技術人員。
準備從事或正在從事搜索引擎技術工作的技術人員。
準備從事或正在從事大數據存儲、搜索、分析工作的技術人員。
Elasticsearch集群運維人員。
勘誤和支持
在互聯網時代，技術日新月異。有可能你剛買的書還沒閱讀完，書中涉及的技術就被升級，甚至被淘汰了。加之筆者水平有限，時間倉促，書中不可避免地會存在遺漏，懇請讀者將遇到的問題或建議反饋給出版社，我們對此萬分期待。
作者2020年5月于上海
第1章快速入門1
1.1基本概念1
1.2安裝部署4
1.3開始使用集群6
1.3.1集群健康信息6
1.3.2列出集群中的索引信息7
1.3.3創(chuàng)建一個索引8
1.3.4索引和查詢文檔8
1.3.5刪除索引9
1.4修改數據10
1.4.1索引和覆蓋文檔10
1.4.2更新文檔11
1.4.3刪除文檔12
1.4.4批量操作12
1.5探索數據12
1.5.1加載數據集13
1.5.2搜索API13
1.5.3Elasticsearch查詢語言15
1.5.4搜索文檔17
1.5.5條件過濾21
1.5.6聚合查詢22
第2章安裝部署27
2.1安裝JDK27
2.2安裝Elasticsearch28
2.2.1調整Linux系統(tǒng)的相關參數
設置 28
2.2.2創(chuàng)建用戶28
2.2.3下載Elasticsearch29
2.3配置Elasticsearch29目錄Elasticsearch權威指南
2.3.1配置文件的位置30
2.3.2配置文件的格式30
2.3.3環(huán)境變量替換30
2.3.4設置JVM參數31
2.3.5安全設置31
2.3.6創(chuàng)建密鑰庫32
2.3.7列出密鑰庫中的設置項32
2.3.8添加字符串設置33
2.3.9添加文件設置33
2.3.10刪除設置屬性33
2.3.11可重載的安全設置33
2.3.12日志配置33
2.3.13配置日志級別35
2.3.14JSON日志格式37
2.4跨集群復制設置(用于多個集群間的數據恢復)37
2.4.1遠程恢復設置37
2.4.2高級遠程恢復設置37
2.4.3索引生命周期管理設置38
2.4.4序列號設置38
2.4.5監(jiān)控功能設置38
2.4.6一般的監(jiān)控設置38
2.4.7監(jiān)控收集設置39
2.4.8本地導出器設置40
2.4.9HTTP導出器設置40
2.4.10XPack監(jiān)控TLS/SSL相關設置42
2.4.11XPack監(jiān)控TLS/SSL密鑰和可信證書設置42
2.4.12PEM編碼文件42
2.5重要的Elasticsearch配置43
2.5.1數據和日志存放目錄43
2.5.2集群名稱43
2.5.3節(jié)點名稱44
2.5.4網絡設置44
2.5.5重要節(jié)點發(fā)現和集群初始化設置44
2.5.6Heap設置45
2.5.7JVM heap dump目錄設置46
2.5.8GC日志設置46
2.5.9臨時文件存儲目錄46
2.5.10JVM致命錯誤日志設置47
2.6重要的系統(tǒng)參數設置47
2.6.1配置系統(tǒng)設置47
2.6.2禁用交換區(qū)48
2.6.3文件描述符49
2.6.4虛擬內存49
2.6.5線程數量限制50
2.6.6DNS緩存設置50
2.6.7JNA臨時目錄掛載位置50
2.7啟動檢查50
2.7.1Heap大小檢查51
2.7.2文件描述符檢查51
2.7.3內存鎖定檢查51
2.7.4線程數限制核查52
2.7.5最大文件大小檢查52
2.7.6最大虛擬內存檢查52
2.7.7最大mmap映射區(qū)域數量檢查53
2.7.8JVM模式檢查53
2.7.9JVM垃圾收集機制檢查53
2.7.10系統(tǒng)調用過濾器檢查53
2.7.11發(fā)現功能配置檢查54
2.8啟動和停止Elasticsearch54
2.9集群水平擴展54
第3章API規(guī)范56
3.1多索引56
3.2日期數學格式56
3.3通用選項58
3.3.1格式化搜索結果58
3.3.2可讀輸出58
3.3.3格式化日期值58
3.3.4返回信息過濾59
3.3.5展開設置63
3.3.6布爾值64
3.3.7數字值64
3.3.8時間單位64
3.3.9數據單位65
3.3.10縮略處理65
3.3.11距離單位65
3.3.12模糊性66
3.3.13啟用堆棧跟蹤66
3.3.14查詢字符串中的請求正文67
3.3.15ContentType要求67
3.4基于URL的訪問控制67
第4章操作文檔69
4.1讀寫文檔69
4.1.1基本寫模型70
4.1.2寫流程錯誤處理70
4.1.3基本讀模型71
4.1.4讀流程錯誤處理71
4.1.5一些簡單的知識點72
4.2索引API72
4.2.1自動創(chuàng)建索引73
4.2.2ID自動生成74
4.2.3路由75
4.2.4分發(fā)75
4.2.5等待活動分片75
4.2.6detect_noop參數76
4.3GET API76
4.3.1實時性77
4.3.2字段選擇77
4.3.3存儲字段77
4.3.4直接獲取_source 78
4.3.5路由78
4.3.6preference參數79
4.3.7refresh參數79
4.3.8分發(fā)79
4.3.9版本支持79
4.4刪除API79
4.5查詢刪除80
4.5.1URL參數82
4.5.2返回體82
4.5.3任務API83
4.5.4取消任務API84
4.5.5動態(tài)調整API85
4.5.6切片85
4.6更新API87
4.6.1使用script更新88
4.6.2部分字段更新89
4.6.3避免無效更新89
4.6.4upsert元素90
4.6.5scripted_upsert參數91
4.6.6doc_as_upsert 參數92
4.7查詢更新92
4.7.1URL參數95
4.7.2請求體95
4.7.3任務API96
4.7.4取消任務API96
4.7.5動態(tài)調整API96
4.7.6切片96
4.7.7獲取新屬性96
4.8MGet API98
4.8.1_source 過濾99
4.8.2存儲字段100
4.8.3路由100
4.8.4重新索引101
4.9跨集群索引106
4.10批量操作API107
4.10.1路由110
4.10.2更新110
4.11Term向量111
4.11.1返回值111
4.11.2Term過濾112
4.11.3行為分析114
4.11.4獲取多個文檔的Term向量118
4.12refresh參數119
4.12.1如何選擇refresh 的值120
4.12.2強制刷新120
4.13樂觀并發(fā)控制121
第5章搜索數據123
5.1基本概念和機制123
5.2搜索API125
5.3URI模式125
5.4Body模式126
5.4.1Explain 參數128
5.4.2折疊結果131
5.4.3對結果分頁133
5.4.4高亮結果133
5.4.5索引加權146
5.4.6命中文檔嵌套146
5.4.7分數值過濾154
5.4.8查詢命名154
5.4.9post_filter過濾155
5.4.10分片選擇157
5.4.11重排序158
5.4.12腳本字段160
5.4.13滾動查詢161
5.4.14search_after參數164
5.4.15搜索類型166
5.4.16排序166
5.4.17_source 字段過濾173
5.4.18存儲字段174
5.4.19total返回值詳解175
5.4.20版本176
5.5返回搜索分片信息177
5.6Count API177
5.7Validate API178
5.8調試搜索請求179
第6章聚合180
6.1度量值聚合180
6.1.1均值聚合181
6.1.2帶權重的均值聚合183
6.1.3計數聚合185
6.1.4統(tǒng)計聚合187
6.1.5地理范圍聚合188
6.1.6地理距離質心聚合189
6.1.7最大值聚合、最小值聚合、和值聚合192
6.1.8百分位數聚合192
6.1.9百分比排名聚合197
6.1.10腳本聚合198
6.1.11頂部命中聚合200
6.1.12單值度量聚合205
6.1.13中位數絕對偏差聚合206
6.2存儲桶聚合207
6.2.1鄰接矩陣聚合207
6.2.2區(qū)間聚合209
6.2.3日期區(qū)間聚合214
6.2.4IP區(qū)間聚合217
6.2.5Term聚合221
6.2.6直方圖聚合227
6.2.7過濾器聚合231
6.2.8多過濾器聚合232
第7章查看API235
7.1查看子目錄235
7.2應用實例及參數236
7.2.1v參數236
7.2.2help參數236
7.2.3h參數236
7.2.4常用接口匯總236
第8章集群 API238
8.1節(jié)點過濾238
8.2節(jié)點類型239
8.3常用API241
8.3.1查看集群及節(jié)點信息241
8.3.2動態(tài)更新集群設置242
8.3.3重置路由242
第9章索引 API244
9.1創(chuàng)建索引API244
9.1.1索引設置244
9.1.2映射245
9.1.3別名245
9.2刪除索引246
9.3判斷索引是否存在246
9.4打開關閉索引246
9.5收縮索引246
9.6映射247
9.6.1數據類型248
9.6.2映射屬性設置253
第10章特定域查詢語言(DSL)258
10.1查詢和過濾上下文258
10.1.1查詢上下文258
10.1.2過濾上下文258
10.2匹配所有文檔259
10.3全文檢索260
10.3.1匹配查詢260
10.3.2模糊匹配260
10.3.3短語匹配查詢261
10.3.4查詢字符串261
第11章SQL接口265
11.1功能體驗265
11.2術語和約定266
11.3SQL REST API267
11.3.1返回數據格式267
11.3.2過濾結果269
11.3.3支持的參數270
11.4SQL Translate API270
11.5SQL語法介紹271
11.5.1詞法結構271
11.5.2SQL命令275
第12章Elasticsearch原理剖析283
12.1為什么需要搜索引擎283
12.2搜索引擎雛形283
12.3搜索引擎實現原理283
12.3.1分析284
12.3.2Lucene倒排索引284
12.3.3搜索過程284
12.3.4結果排序286
12.4分布式原理287
12.4.1分布式索引過程288
12.4.2分布式檢索過程288
12.4.3分布式局部更新文檔288
12.5節(jié)點發(fā)現和集群形成機制289
12.5.1集群形成過程289
12.5.2重要配置291
第13章Kibana入門介紹292
13.1安裝Kibana292
13.1.1下載Kibana292
13.1.2簡單配置Kibana292
13.1.3啟動Kibana293
13.2基礎操作293
13.2.1加載樣例數據集293
13.2.2探索航班數據集294
13.2.3過濾數據295
13.2.4查詢數據295
13.2.5探索數據296
13.2.6編輯可視化組件297
13.3構建Dashboard298
13.3.1導入樣例數據298
13.3.2定義索引模式300
13.3.3可視化組件介紹302
13.3.4構建Dashboard302
第14章構建集約化日志管理平臺305
14.1Elastic stack介紹305
14.2日志的特征305
14.2.1日志的重要性305
14.2.2日志的特征306
14.2.3日志的復雜性306
14.3集約化解決方案306
附錄A參考資料及網址309
附錄B中文分詞算法介紹310附錄CHead安裝312
書單推薦
![Elasticsearch數據建模和模式設計 [美]史蒂夫·霍伯曼 [美]拉菲德·雷茲](http://pic.book1993.com/pic//uploadfile/202411/9787111760764.jpg)
