Elasticsearch 核心技术与实战
阮一鸣
eBay Pronto 平台技术负责人
66492 人已学习
新⼈⾸单¥68
课程目录
已完结/共 100 讲
第八章:保护你的数据 (3讲)
第十一章:索引生命周期管理 (2讲)
第十二章:用Logstash和Beats构建数据管道 (3讲)
第十三章:用Kibana进行数据可视化分析 (4讲)
实战1:电影搜索服务 (3讲)
实战2:Stackoverflow用户调查问卷分析 (3讲)
备战:Elastic认证 (5讲)
Elasticsearch 核心技术与实战
登录|注册
留言
33
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 37 | 集群分布式模型及选主与脑裂问题
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述及学习建议
03 | Elasticsearch简介及其发展历史
04 | Elastic Stack家族成员及其应用场景
05 | Elasticsearch的安装与简单配置
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升集群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结课测试&结束语
本节摘要
登录 后留言

全部留言(33)

  • 最新
  • 精选
Hwan
老师,在以前的版本里面,我看到其他的资料是当有三个节点的时候,设置minimum_master_nodes=2是没有问题的呢,在这儿https://www.elastic.co/guide/cn/elasticsearch/guide/cn/important-configuration-changes.html#_%E6%9C%80%E5%B0%8F%E4%B8%BB%E8%8A%82%E7%82%B9%E6%95%B0,然后顺便想问下,为啥minimum_master_nodes设置成大多数之后就可以避免脑裂呢,比如master断开连接了,然后其他节点选举出主节点,原来的master连接上之后为啥就不是脑裂呢,这个是和选举算法有关吗?谢谢老师,有点疑惑

作者回复: 3个节点,不设置成2,万一有一个节点因为网络问题和另外两个节点断开连接,自己成为一个active master节点,这也是就是所谓的脑裂。设置成2,这一个节点就不会成为主节点

2019-08-27
4
5
Sunney
请问我用ES做精确去重计算总数可以么?会存在误差么?

作者回复: 如果没有大量的写入,count值基本还是准确的。但是万一集群的性能出现了一些问题,数据在持续不断的写入时,你就有可能碰到count数值忽大忽小到的情况。因为统计来自不同的分片,而分片上的数据还在同步,并没有完成达到一致。

2020-01-05
2
Geek_8354ec
老师好,我不太懂, 当前文章中,两个节点都是同一个集群,但是都是在同一个环境下演示,所以能连接到同一个集群中,如果现实环境中,要把每一个节点都放到不同服务器中,那它们是如何对应到同一个集群中的呢? 是不是通过Cerebro整合它们? 如果是的话,Cerebro是不是得单独放到一台服务器中,然后所有的es节点设置相同的集群名,且都要能连接到Cerebro?

作者回复: ES的每个节点都设置一个相同的集群名字,他们就会自动组成一个集群。 理论上你访问每个节点的hostname+9200端口,就可以访问整个集群上的数据。 再生产环境,通常会设置一个负载均衡,将http请求,分发到后面的每一个节点上

2019-09-16
3
2
sundang
老师,当把一个集群节点设置为coordinating=false时,如果用户执行请求索引操作,是否会将请求落到这个节点上,这个时候不是就不能做路由转发到master节点了吗?不晓得这样理解是否正确。希望老师解答一下,谢谢。

作者回复: 任何节点都会承担coordinate node 节点。如果你把master ingest 或者data设置成false,那就是一台dedicated 的coordinate 节点。 所以你说的情况不存在:)

2019-08-05
2
2
Rhett
老师你好,我三个节点都是master,只能启动两个节点,启动第三个节点之前选的主节点就会被挤掉。 我想问这是什么原因,和unassigned_shards有关系吗, 如果发生了脑裂, 数据怎么备份呢,么有文档。55555

作者回复: 启动两个节点会挤掉active master 这个问题我没碰到过,有相关的日志吗? 发生了脑裂,会导致数据问题,所以应该是定期备份,发生脑裂后才能实现数据的恢复。

2020-04-14
yanzi
elasticsearch 7.2.0 版本,cerebro-0.8.5,老师按你的操作, 1.bin/elasticsearch -E node.name=node1 -E cluster.name=geektime -E path.data=node1_data 2. bin/cerebro 设置主分片3,副本分片1,颜色变黄 3.bin/elasticsearch -E node.name=node2 -E cluster.name=geektime -E path.data=node2_data 但这个时候颜色怎样刷新都是黄色,原因是什么呀

作者回复: 黄色 代表有副本分片无法分配。你可以通过> curl localhost:9200/_cat/allocation?v 查看具体的信息

2020-03-09
白宇
按照你的命令我在ubuntu上,起不来node,./bin/elasticsearch -E node.name=node1 -E node.host=0.0.0.0 -E node.port=9200 -E cluster.name=geektime -E path.data=node1_data -d,是不是应为配置文件的原因,我是7.4.1版本

作者回复: 报什么错?

2019-11-01
Deephug
不同机器的集群教学没有嘛?

作者回复: 不同机器的集群,不是很明白指的是什么?

2019-10-26
2
不忘初心
老师,我在生产环境有两台节点,组成了一个集群,根据服务器监控显示,每天晚上12点到7点,网卡流量超标,找不到原因

作者回复: 看不到具体的数据,这个我很难回答。不知道你是否设置了什么定时的任务?或者同hypervisor上跑了什么任务? 你可以尝试通过安装packetbeat,结合kibana对网络数据做出分析。 packetbeat的安装你可以自行查阅文档,相关的课程最近也会放出。

2019-08-20
Eclipse
老师,请问这样的集群配置会不会有问题 6个节点 master1 master2 data1 data2 client(coordinating only) ingest master1,2 node.master: true node.data: false node.ingest: false data1,2 node.master: false node.data: true node.ingest: false client node.master: false node.data: false node.ingest: false ingest node.master: false node.data: false node.ingest: true 问题1:ingest只有一个,当它挂了,其他节点能起到ingest的作用吗(我们配置了其他节点node.ingest: false)? 问题2:master只有一个,当网络不通时或一个master挂了,discovery.zen.minimum_master_nodes = 2/2+1 =2,现在只有一个master,但Quorum要求是2,是不是也不能正常选举? 恳请老师解惑

作者回复: 第一个问题:如果你有用到pipeline,如果你唯一的ingest node 挂了,那pipeline将无法正常工作,会影响数据写入。如果你将写操作发给coordinating node 也可以 第二个问题:当集群中,丢了两个master 节点,只剩下一个节点。因为你之前设置了最小的选举数,因此,一个master 节点无法正常工作。所以,你应该尽量避免 master 节点处于同一台机器,或者是同一个机架上

2019-08-12
收起评论