Elasticsearch 核心技术与实战
阮一鸣
eBay Pronto 平台技术负责人
66492 人已学习
新⼈⾸单¥68
课程目录
已完结/共 100 讲
第八章:保护你的数据 (3讲)
第十一章:索引生命周期管理 (2讲)
第十二章:用Logstash和Beats构建数据管道 (3讲)
第十三章:用Kibana进行数据可视化分析 (4讲)
实战1:电影搜索服务 (3讲)
实战2:Stackoverflow用户调查问卷分析 (3讲)
备战:Elastic认证 (5讲)
Elasticsearch 核心技术与实战
登录|注册
留言
16
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 69 | 提升集群写性能
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述及学习建议
03 | Elasticsearch简介及其发展历史
04 | Elastic Stack家族成员及其应用场景
05 | Elasticsearch的安装与简单配置
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升集群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结课测试&结束语
登录 后留言

全部留言(16)

  • 最新
  • 精选
约书亚
老师,10:04是否有误?index.routing.allocation.total_shard_per_node的定义写的是“主分片数”,但看起来是应该主副分片数?

作者回复: 谢谢你指出的问题。 你说的没错。应该是分片数((replicas and primaries),而不是主分片数,ppt上写不对

2020-02-07
2
2
Kevin
老师通过sparkES.saveToEs,将json数据写入ES集群,可是集群的cpu利用率只有3%左右,数据写入特别慢,请问有比较好的优化方案吗

作者回复: 没看到你代码,也不知道究竟是spark的瓶颈还是es的瓶颈。如果是es闲置,spark也闲置,可以考虑使用bulk写入,增加线程 https://blog.csdn.net/weixin_42529806/article/details/105055514

2020-04-30
2
1
Kevin
老师我们是6.8的ES集群,8台数据节点,通过spark程序将多个数据源的数据写入同一个ES索引,当分区数设置为56时,每个节点相当于处理7个分区的数据写入,但是这样集群的cpu会飙升到很高,有几台数据节点cpu会到100%,请问除了降低分区数(入库时间会变长),还有其他可行高效的方法能使数据写入时,ES集群的cpu降下来吗

作者回复: 你说设置分片为56?是指的单个索引吗?你一共有多少个索引?每个索引的shard和replica设置成多少?每个节点可以有多少个分片?确保这些设置都是正确的。 如果是几台数据节点的CPU很高,那先要分析是否存在数 据不均衡的现象。同时也要查看,每台机器上实际有多少个shard。 另外,如果CPU负载高和特定的索引相关,则需要看一下索引的mapping设定。避免一些不必要的分词等操作。

2020-01-15
1
kofssl
老师您好,教程里面提到将副本设置为0,写入完毕再调整回去。这个有实例操作么? 针对实时系统,这种开始不给副本还适用么,因为一直有数据源源不断进来。 期待您的回复,谢谢🙏

作者回复: 副本的设置 你通通过 put index-name 即可修改。 replica写在settings 里面。 至于你说的数据源源不断写入,那设置副本为0未必合适,这个需要你自己权衡

2019-09-27
2
1
乱码
老师,当同一个索引有多个分片时,可以同时在多个分片上进行写操作吗

作者回复: 文档会根据doc id,算出一个hash值,根据这个hash ,将文档写入相对应的分片。所以,只要有多个分片,肯定是再多个分片上进行写操作

2019-09-18
2
1
Kevin
老师,当refresh设置为-1的时候,意思就是不让document达到一定的时间自动refresh,而是强制让其达到一定的size才refresh生成segment,这样的话这个segment会比较大,避免生成大量小segment,然后合并造成的开销,可以这么理解吧?

作者回复: 设置成-1可以减少相关的操作,提高写入性能。但是文档会无法被搜索。因此要记得在导入数据后将这个数值设置成正常值。

2020-05-05
王俊杰
老师 如果字段不需要搜索和聚合分析,单纯只是存储,mapping映射 字段如何设置

作者回复: 我在这里不直接给你答案。你自己找出的答案印象会更深。你可以去看一下建模相关的几节,里面应该有提到。如果还是不清楚,可以重新提问

2019-09-22
2
Geek8004
老师,手动设置id,es会多产生一次get的原因是什么呢,为了在高并发写场景下看这个id是否存在,然后做版本控制么。
2022-08-26
1
1
天然
我想请问,elasticsearch7集群,数据量大概有几十T,在添加新节点的时候,需要先关闭集群的allocation和rebalance吗。如果需要关闭,那在什么时候打开呢1(比如是在集群状态重启后变为yellow时打开),打开后之前的数据会再重新平衡吗?
2023-06-19
夜影
索引创建不是应该是IO密集型吗?为啥是CPU密集型
2022-06-06
收起评论