下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 38 | 分片与集群的故障转移
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Elasticsearch核心技术与实战

共100讲 · 约1000分钟
16583
免费
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发...
免费
04 | Elastic Stack家族成员及...
免费
05 | Elasticsearch的安装与...
06 | Kibana的安装与界面快速...
07 | 在Docker容器中运行Elas...
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和...
10 | 基本概念:节点、集群、分...
11 | 文档的基本CRUD与批量操...
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query ...
17 | Query String&Simple ...
18 | Dynamic Mapping和常见...
19 | 显式Mapping设置与常见参...
20 | 多字段特性及Mapping中配...
21 | Index Template和Dynami...
22 | Elasticsearch聚合分析简...
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字...
28 | 单字符串多字段查询:Dis...
29 | 单字符串多字段查询:Mult...
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索...
32 | 使用Search Template和In...
33 | 综合排序:Function Scor...
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提...
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑...
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算...
42 | 排序及Doc Values&Field...
43 | 分页与遍历:From, Siz...
44 | 处理并发读写操作
45 | Bucket & Metric聚合分...
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问...
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query &...
52 | Ingest Pipeline & Pa...
53 | Elasticsearch数据建模实...
54 | Elasticsearch数据建模最...
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard...
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsea...
64 | 在公有云上管理与部署Elas...
65 | 生产环境常用配置与上线清...
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问...
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内...
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover AP...
76 | 索引全生命周期管理及工具...
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到El...
79 | Beats介绍
80 | 使用Index Pattern配置数...
81 | 使用Kibana Discover探索...
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监...
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的...
87 | 用机器学习实现时序数据的...
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsea...
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichm...
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构...
100 | 结束语
本节摘要
展开

精选留言(11)

  • 2019-08-10
    假如一个节点不可用,这里的故障转移是把不可用的节点里的数据复制到另外两个节点里吗,内部的机制是什么啊,如果数据量很大的话。。。来来回回复制数据岂不是很消耗

    作者回复: 例如一个主分片不可用了。只要设置了副本分片,其中一个副本分片立即会将自己提升为主分片。同时会将自己的数据分配到一个新的replica上,有时候,我们只是重启一台机器,可以让这个reallocation的动作延迟一段时间再做,从而避免无谓的数据拷贝。

    4
  • 2019-08-05
    老师您好,对故障转移这一页ppt (图二),我有个疑问:会不会有这种情况,node1 在断开之前新进来了数据,这个时候node2,node3,去ping发现node1没了,p0的数据还没同步到r0,这个是时候r0升级位p0时数据就少了,这时候应该怎么办

    作者回复: node如果丢失,如果没有落盘。就有丢失的可能。如果节点重新回来,会从translog中恢复没有写入的数据。

    1
    2
  • 2019-10-26
    为什么我关掉 master 节点后直接访问不了集群了呢? 节点 2 和 节点 3 后台有打印重新分配、集群状态变更的信息,但是 http://127.0.0.1:9200/ 访问不了

    作者回复: 报什么错?2和3都有相应日志,说明节点之间网络也没有问题啊

    1
    1
  • 2019-09-30
    老师,故障转移后,有问题的机器恢复了,但在故障期间,原集群中的索引增加或被重建了,这时会自动同步到刚恢复的机器上吗?
    1
  • 2019-09-21
    这节有意思,看评论有些同学已经问了我想问的问题,我整理一下,加深印象:
    1:选主的过程中可能存在问题的场景?
    选主的过程应该很短,这个期间,如果有创建index或者分片reallocation有可能会出错。
    2:故障转移期间可能会出现问题的场景?
    故障转移期间,如果只是黄色变绿,应该不影响读写,因为副本会提升为主分片。集群变红,代表有主分片丢失,这个时候会影响读写。
    3: 故障转移,数据重新分配,消耗性能的避免方式?
    例如一个主分片不可用了。只要设置了副本分片,其中一个副本分片立即会将自己提升为主分片。同时会将自己的数据分配到一个新的replica上,有时候,我们只是重启一台机器,可以让这个reallocation的动作延迟一段时间再做,从而避免无谓的数据拷贝。
    老师,主分片挂啦,他的其中一个副本会立刻将自己提升为主。有个疑问,假如有两个副本怎么决定那个副本提升为主?会不会存在误判的情况,副本以为主挂了,其实没挂,但将自己提升为主啦?
    4:故障转移可能存在数据丢失的场景嘛?
    node如果丢失,如果没有落盘。就有丢失的可能。如果节点重新回来,会从translog中恢复没有写入的数据。
    展开
    1
  • 2019-08-22
    问老师两个问题
    1、选主的过程会不会阻塞客户端请求?
    2、故障转移期间客户端可以进行读写操作吗?
    如果以上2点都有影响、有没有什么方法可以平滑些

    作者回复: 选主的过程应该很短,这个期间,如果有创建index或者分片reallocation有可能会出错。

    故障转移期间,如果只是黄色变绿,应该不影响读写,因为副本会提升为主分片。集群变红,代表有主分片丢失,这个时候会影响读写

    1
  • 请问index主分片设置过大会影响性能,影响的是什么性能?写入性能?读取性能?聚合性能?

    副本设置过多会降低整个集群的写入性能,应该说的是副本设置过多会导致一次写入操作让过多的节点都发生写操作,导致不必要的写的性能损耗吧?
    另外,能否讲一下一条数据写入的过程,是只要所有主节点和副本节点的translog写入了,就可以给客户端返回成功了吗?还是不用管副本分片?
    展开
  • 2019-11-11
    老师,想问下es集群出现不同分片检索出的结果不一致,可能是什么原因导致的,有啥解决办法

    作者回复: 数据会根据文档id并结合相应的hash算法将数据分发到不同的分片。所以,不同的shard上的数据肯定是不一样的。

    如果你说的是primay和replica上数据count不一样,那确实是有这样的可能。如果数据量不大,p和r上的数据应该会很快一致,如果数据量很小,数据从p到r需要很久,你需要检查集群是否存在性能问题

  • 2019-09-11
    请问一下主从分片复制期间,如果刚好写入主分片,还未同步到所有副本分片,这时主分片挂了,这时的数据一致性怎么解决,是丢失数据还是优先选举数据最全的副本成为主分片,再进行数据同步?如果原主分片又恢复了,它是变成新主分片的副本分片吗?它和Kafka,MySQL数据一致性设计有什么区别?
  • 2019-08-03
    所以,老师,7之后的分片默认为1,这个能应用到生产环境?

    作者回复: 几百万数据量的索引,一个主分片也是够的,需要设置一个副本分片,确保数据的安全。

    关于分片数的设定,后面有专门的一节。

  • 2019-08-03
    老师你好,这里有个疑问,既然分片是datanode,一台机器出故障,然后两个分片又分配到其他两个节点,那这个数据也会转移吧

    作者回复: 会转移的

    2