Elasticsearch权威指南

第1章快速入门1

1.1基本概念1

1.2安装部署4

1.3开始使用集群6

1.3.1集群健康信息6

1.3.2列出集群中的索引信息7

1.3.3创建一个索引8

1.3.4索引和查询文档8

1.3.5删除索引9

1.4修改数据10

1.4.1索引和覆盖文档10

1.4.2更新文档11

1.4.3删除文档12

1.4.4批量操作12

1.5探索数据12

1.5.1加载数据集13

1.5.2搜索API13

1.5.3Elasticsearch查询语言15

1.5.4搜索文档17

1.5.5条件过滤21

1.5.6聚合查询22

第2章安装部署27

2.1安装JDK27

2.2安装Elasticsearch28

2.2.1调整Linux系统的相关参数

设置 28

2.2.2创建用户28

2.2.3下载Elasticsearch29

2.3配置Elasticsearch29目录Elasticsearch权威指南

2.3.1配置文件的位置30

2.3.2配置文件的格式30

2.3.3环境变量替换30

2.3.4设置JVM参数31

2.3.5安全设置31

2.3.6创建密钥库32

2.3.7列出密钥库中的设置项32

2.3.8添加字符串设置33

2.3.9添加文件设置33

2.3.10删除设置属性33

2.3.11可重载的安全设置33

2.3.12日志配置33

2.3.13配置日志级别35

2.3.14JSON日志格式37

2.4跨集群复制设置(用于多个集群间的数据恢复)37

2.4.1远程恢复设置37

2.4.2高级远程恢复设置37

2.4.3索引生命周期管理设置38

2.4.4序列号设置38

2.4.5监控功能设置38

2.4.6一般的监控设置38

2.4.7监控收集设置39

2.4.8本地导出器设置40

2.4.9HTTP导出器设置40

2.4.10XPack监控TLS/SSL相关设置42

2.4.11XPack监控TLS/SSL密钥和可信证书设置42

2.4.12PEM编码文件42

2.5重要的Elasticsearch配置43

2.5.1数据和日志存放目录43

2.5.2集群名称43

2.5.3节点名称44

2.5.4网络设置44

2.5.5重要节点发现和集群初始化设置44

2.5.6Heap设置45

2.5.7JVM heap dump目录设置46

2.5.8GC日志设置46

2.5.9临时文件存储目录46

2.5.10JVM致命错误日志设置47

2.6重要的系统参数设置47

2.6.1配置系统设置47

2.6.2禁用交换区48

2.6.3文件描述符49

2.6.4虚拟内存49

2.6.5线程数量限制50

2.6.6DNS缓存设置50

2.6.7JNA临时目录挂载位置50

2.7启动检查50

2.7.1Heap大小检查51

2.7.2文件描述符检查51

2.7.3内存锁定检查51

2.7.4线程数限制核查52

2.7.5最大文件大小检查52

2.7.6最大虚拟内存检查52

2.7.7最大mmap映射区域数量检查53

2.7.8JVM模式检查53

2.7.9JVM垃圾收集机制检查53

2.7.10系统调用过滤器检查53

2.7.11发现功能配置检查54

2.8启动和停止Elasticsearch54

2.9集群水平扩展54

第3章API规范56

3.1多索引56

3.2日期数学格式56

3.3通用选项58

3.3.1格式化搜索结果58

3.3.2可读输出58

3.3.3格式化日期值58

3.3.4返回信息过滤59

3.3.5展开设置63

3.3.6布尔值64

3.3.7数字值64

3.3.8时间单位64

3.3.9数据单位65

3.3.10缩略处理65

3.3.11距离单位65

3.3.12模糊性66

3.3.13启用堆栈跟踪66

3.3.14查询字符串中的请求正文67

3.3.15ContentType要求67

3.4基于URL的访问控制67

第4章操作文档69

4.1读写文档69

4.1.1基本写模型70

4.1.2写流程错误处理70

4.1.3基本读模型71

4.1.4读流程错误处理71

4.1.5一些简单的知识点72

4.2索引API72

4.2.1自动创建索引73

4.2.2ID自动生成74

4.2.3路由75

4.2.4分发75

4.2.5等待活动分片75

4.2.6detect_noop参数76

4.3GET API76

4.3.1实时性77

4.3.2字段选择77

4.3.3存储字段77

4.3.4直接获取_source 78

4.3.5路由78

4.3.6preference参数79

4.3.7refresh参数79

4.3.8分发79

4.3.9版本支持79

4.4删除API79

4.5查询删除80

4.5.1URL参数82

4.5.2返回体82

4.5.3任务API83

4.5.4取消任务API84

4.5.5动态调整API85

4.5.6切片85

4.6更新API87

4.6.1使用script更新88

4.6.2部分字段更新89

4.6.3避免无效更新89

4.6.4upsert元素90

4.6.5scripted_upsert参数91

4.6.6doc_as_upsert 参数92

4.7查询更新92

4.7.1URL参数95

4.7.2请求体95

4.7.3任务API96

4.7.4取消任务API96

4.7.5动态调整API96

4.7.6切片96

4.7.7获取新属性96

4.8MGet API98

4.8.1_source 过滤99

4.8.2存储字段100

4.8.3路由100

4.8.4重新索引101

4.9跨集群索引106

4.10批量操作API107

4.10.1路由110

4.10.2更新110

4.11Term向量111

4.11.1返回值111

4.11.2Term过滤112

4.11.3行为分析114

4.11.4获取多个文档的Term向量118

4.12refresh参数119

4.12.1如何选择refresh 的值120

4.12.2强制刷新120

4.13乐观并发控制121

第5章搜索数据123

5.1基本概念和机制123

5.2搜索API125

5.3URI模式125

5.4Body模式126

5.4.1Explain 参数128

5.4.2折叠结果131

5.4.3对结果分页133

5.4.4高亮结果133

5.4.5索引加权146

5.4.6命中文档嵌套146

5.4.7分数值过滤154

5.4.8查询命名154

5.4.9post_filter过滤155

5.4.10分片选择157

5.4.11重排序158

5.4.12脚本字段160

5.4.13滚动查询161

5.4.14search_after参数164

5.4.15搜索类型166

5.4.16排序166

5.4.17_source 字段过滤173

5.4.18存储字段174

5.4.19total返回值详解175

5.4.20版本176

5.5返回搜索分片信息177

5.6Count API177

5.7Validate API178

5.8调试搜索请求179

第6章聚合180

6.1度量值聚合180

6.1.1均值聚合181

6.1.2带权重的均值聚合183

6.1.3计数聚合185

6.1.4统计聚合187

6.1.5地理范围聚合188

6.1.6地理距离质心聚合189

6.1.7最大值聚合、最小值聚合、和值聚合192

6.1.8百分位数聚合192

6.1.9百分比排名聚合197

6.1.10脚本聚合198

6.1.11顶部命中聚合200

6.1.12单值度量聚合205

6.1.13中位数绝对偏差聚合206

6.2存储桶聚合207

6.2.1邻接矩阵聚合207

6.2.2区间聚合209

6.2.3日期区间聚合214

6.2.4IP区间聚合217

6.2.5Term聚合221

6.2.6直方图聚合227

6.2.7过滤器聚合231

6.2.8多过滤器聚合232

第7章查看API235

7.1查看子目录235

7.2应用实例及参数236

7.2.1v参数236

7.2.2help参数236

7.2.3h参数236

7.2.4常用接口汇总236

第8章集群 API238

8.1节点过滤238

8.2节点类型239

8.3常用API241

8.3.1查看集群及节点信息241

8.3.2动态更新集群设置242

8.3.3重置路由242

第9章索引 API244

9.1创建索引API244

9.1.1索引设置244

9.1.2映射245

9.1.3别名245

9.2删除索引246

9.3判断索引是否存在246

9.4打开关闭索引246

9.5收缩索引246

9.6映射247

9.6.1数据类型248

9.6.2映射属性设置253

第10章特定域查询语言(DSL)258

10.1查询和过滤上下文258

10.1.1查询上下文258

10.1.2过滤上下文258

10.2匹配所有文档259

10.3全文检索260

10.3.1匹配查询260

10.3.2模糊匹配260

10.3.3短语匹配查询261

10.3.4查询字符串261

第11章SQL接口265

11.1功能体验265

11.2术语和约定266

11.3SQL REST API267

11.3.1返回数据格式267

11.3.2过滤结果269

11.3.3支持的参数270

11.4SQL Translate API270

11.5SQL语法介绍271

11.5.1词法结构271

11.5.2SQL命令275

第12章Elasticsearch原理剖析283

12.1为什么需要搜索引擎283

12.2搜索引擎雏形283

12.3搜索引擎实现原理283

12.3.1分析284

12.3.2Lucene倒排索引284

12.3.3搜索过程284

12.3.4结果排序286

12.4分布式原理287

12.4.1分布式索引过程288

12.4.2分布式检索过程288

12.4.3分布式局部更新文档288

12.5节点发现和集群形成机制289

12.5.1集群形成过程289

12.5.2重要配置291

第13章Kibana入门介绍292

13.1安装Kibana292

13.1.1下载Kibana292

13.1.2简单配置Kibana292

13.1.3启动Kibana293

13.2基础操作293

13.2.1加载样例数据集293

13.2.2探索航班数据集294

13.2.3过滤数据295

13.2.4查询数据295

13.2.5探索数据296

13.2.6编辑可视化组件297

13.3构建Dashboard298

13.3.1导入样例数据298

13.3.2定义索引模式300

13.3.3可视化组件介绍302

13.3.4构建Dashboard302

第14章构建集约化日志管理平台305

14.1Elastic stack介绍305

14.2日志的特征305

14.2.1日志的重要性305

14.2.2日志的特征306

14.2.3日志的复杂性306

14.3集约化解决方案306

附录A参考资料及网址309

附录B中文分词算法介绍310附录CHead安装312