Elasticsearch 核心技术与实战
阮一鸣
eBay Pronto 平台技术负责人
66492 人已学习
新⼈⾸单¥68
课程目录
已完结/共 100 讲
第八章:保护你的数据 (3讲)
第十一章:索引生命周期管理 (2讲)
第十二章:用Logstash和Beats构建数据管道 (3讲)
第十三章:用Kibana进行数据可视化分析 (4讲)
实战1:电影搜索服务 (3讲)
实战2:Stackoverflow用户调查问卷分析 (3讲)
备战:Elastic认证 (5讲)
Elasticsearch 核心技术与实战
登录|注册
留言
11
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 68 | 解决集群Yellow与Red的问题
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述及学习建议
03 | Elasticsearch简介及其发展历史
04 | Elastic Stack家族成员及其应用场景
05 | Elasticsearch的安装与简单配置
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升集群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结课测试&结束语
本节摘要
登录 后留言

全部留言(11)

  • 最新
  • 精选
晴空:
老师,您好 ES自带热部署的远程词典的功能,我在对远程词典添加新词后发现,的确分词结果可以正确分分割出添加的词汇,但是已经在索引库中存在的文档中包含新词的没有更新。这种情况怎么解决?如果不能解决,那他岂不是就失去了远程词典的意义了吗? 望老师可以解答我的疑惑

作者回复: 更新了字典以后,你需要对现有的文档执行update by query或者reindex ,请参考相关章节的视频。

2019-09-17
6
黄昊哲
老师您好,我看视频中对于节点返回集群,导致的dangling变红,给出的处理方式是直接删除该dangling索引。那这样索引上的数据不就丢了吗?或者说,有不删除索引的解决办法吗?

作者回复: dangling出现的情况是,用户删除一个索引a,删除的时候恰好nodeA 关机了,或者因为一些原因,离开了集群。这个时候索引a被删除了。然后NodeA又回来了,NodeA里面带有索引a的分片,这样的场景下会导致集群变红。而索引a本来就是用户希望delete的,只是没delete干净,所以不存在你说的丢数据的情况。

2019-09-30
4
MJ
老师,副本无法分配的那个案例,你说增加hot类型节点,我实验了下,搭建了两个hot,一个warm,创建的索引设置和你的案例一致,副本并无法正常被分配啊,这是为什么?

作者回复: 你可以通过_cat/allocation查看一下具体的原因

2020-03-15
小田黑阳
老师,这个问题是什么导致的?能不能结合原理讲下 { "index" : "containers-logs-2019.08.18", "shard" : 0, "primary" : false, "current_state" : "unassigned", "unassigned_info" : { "reason" : "ALLOCATION_FAILED", "at" : "2019-10-12T15:45:12.702Z", "failed_allocation_attempts" : 5, "details" : "failed shard on node [WxlYLXMWQwuEGRpVCYIPuQ]: failed recovery, failure RecoveryFailedException[[containers-logs-2019.08.18][0]: Recovery failed from {es7_01}{hd8FLM8UQkqikNTdEBoKbA}{-R1DhY8fQiu-TZ-V2f29pw}{172.18.0.5}{172.18.0.5:9300}{ml.machine_memory=6087548928, ml.max_open_jobs=20, xpack.installed=true} into {es7_02}{WxlYLXMWQwuEGRpVCYIPuQ}{t_R3pB5JQVmxh_LES8JSFA}{172.18.0.4}{172.18.0.4:9300}{ml.machine_memory=6087548928, xpack.installed=true, ml.max_open_jobs=20}]; nested: RemoteTransportException[[es7_01][172.18.0.5:9300][internal:index/shard/recovery/start_recovery]]; nested: CircuitBreakingException[[parent] Data too large, data for [<transport_request>] would be [1017681884/970.5mb], which is larger than the limit of [986932838/941.2mb], real usage: [1017681608/970.5mb], new bytes reserved: [276/276b]]; ", "last_allocation_status" : "no_attempt" },

作者回复: 看起来是heap的限制导致节点之间无法传输数据。需要查看一下cluster node stats API,看看heap usage,需要的时候适当增加

2019-10-12
伟伟哦
"type":"circuit_breaking_exception", "reason":"[parent]"Data too large,data for [<http_request>] would be [4528630082/4.2gb],which is larger than the limit of [4488796569/4.1gb],real usage:[4528629696/4.2gb] new bytes reserved:[386/386b]" 我改成 我问下剩下的空间都用在哪 -Xms7g -Xms7g indices.breaker.fielddata.limit 60% indices.breaker.request.limit 40% indices.breaker.total.limit 70% indices.fielddata.cache.size 40% 我怎么解决这个问题呀
2019-09-11
1
1
晨露
老师,能问一下6.3.1的版本,不知道为什么索引会自动删除 [2020-08-24T01:22:00,001][INFO ][o.e.x.m.a.TransportDeleteExpiredDataAction] [hckjes3] Deleting expired data [2020-08-24T01:22:00,186][INFO ][o.e.x.m.a.TransportDeleteExpiredDataAction] [hckjes3] Completed deletion of expired data
2020-08-24
晨露
[2020-06-18T12:09:30,100][ERROR][o.e.x.m.c.i.IndexRecoveryCollector] [node3] collector [index_recovery] timed out when collecting data [2020-06-18T12:09:40,101][ERROR][o.e.x.m.c.i.IndexStatsCollector] [node3] collector [index-stats] timed out when collecting data 老师能问一下,这个有没有好的解决办法呢
2020-06-18
窝窝头
老师你好,如果遇到这种问题怎么解决呢,shard是存在的且为red { "index": "logstash-2019.10.18", "shard": 1, "primary": false, "current_state": "unassigned", "unassigned_info": { "reason": "MANUAL_ALLOCATION", "at": "2019-10-21T03:56:38.094Z", "details": "failed shard on node [OBgTcksjRU-lzQU2jb7QdQ]: failed recovery, failure RecoveryFailedException[[logstash-2019.10.18][1]: Recovery failed from {elasticsearch-logging-1}{x6cTKNFBTS-MvF7favwBTg}{6yqlOf7oTEWpV7sAxzWfGw}{10.2.33.252}{10.2.33.252:9300} into {elasticsearch-logging-0}{OBgTcksjRU-lzQU2jb7QdQ}{06Mr39VaQSawv7ViHM3JIg}{10.2.3.223}{10.2.3.223:9300}]; nested: RemoteTransportException[[elasticsearch-logging-1][10.2.33.252:9300][internal:index/shard/recovery/start_recovery]]; nested: RecoveryEngineException[Phase[2] phase2 failed]; nested: IOException[No such device or address]; ", "last_allocation_status": "no_attempt" },
2019-10-22
yu
很有用,给老师点赞
2019-09-25
ES集群变红变黄的常见原因及定位分析解决之道——常见故障解决经验的积累,使用es提供的集群诊断API,挺棒的分享,感谢。
2019-09-22
收起评论