当前播放: 60 | Hot & Warm架构与Shard Filtering
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
课程目录
第一章:概述 (4讲)
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发展历史
免费
04 | Elastic Stack家族成员及其应用场景
免费
第二章:安装上手 (4讲)
05 | Elasticsearch的安装与简单配置
免费
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
第三章:Elasticsearch入门 (15讲)
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
第四章:深入搜索 (13讲)
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
第五章:分布式特性及分布式搜索的机制 (8讲)
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
第六章:深入聚合分析 (4讲)
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
第七章:数据建模 (7讲)
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
第八章:保护你的数据 (3讲)
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
第九章:水平扩展Elasticsearch集群 (6讲)
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
第十章:生产环境中的集群运维 (10讲)
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
第十一章:索引生命周期管理 (2讲)
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
第十二章:用Logstash和Beats构建数据管道 (3讲)
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
第十三章:用Kibana进行数据可视化分析 (4讲)
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
第十四章:探索X-Pack套件 (6讲)
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
实战1:电影搜索服务 (3讲)
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
实战2:Stackoverflow用户调查问卷分析 (3讲)
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
备战:Elastic认证 (5讲)
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结束语
60 | Hot & Warm架构与Shard Filtering

60 | Hot & Warm架构与Shard Filtering

阮一鸣
eBay Pronto平台技术负责人
100讲 约1000分钟18038
单独订阅¥129
2人成团¥99
2
登录 后留言

精选留言(10)

  • 曹伟雄
    感谢老师的快速解答。继续上一个问题,76节讲的都是基于索引来操作的,而我的业务场景是只有一个hot索引,要把里面的数据按条件定时迁移到另外一个索引,并不是按时间序列建多个hot索引。因为业务需要跨3个月查数据,请问还有其它建议吗? 或者说我这个思路行不通啊。谢谢

    作者回复: 如果你的数据是有时间序列的,那么通过在索引中增加时间戳可以更加方便的帮助你对索引进行管理。有这样一些好处
    1)如果你想删除超过4个月的数据,delete整个索引的性能要比,deleteByQuery要更加高效
    2)查询可以通过创建 alias 在多个索引上进行查询,所以并不需要把数据都放在一个索引上

    如果你非要使用一个索引,那你就需要自己去实现deleteByQuery并且通过reIndex API把需要的数据进行迁移。会比较繁琐,同时不高效

    2019-12-01
    3
  • 氧气🌙 🐟 🌺
    老师,ES认证的考点Cluster Administration:Configure a cluster for use with a hot/warm architecture
    掌握本节的这些命令就能通关,还是会在此基础上增加复杂性和难度?如果增加复杂性和难度会怎样增加呢?

    # 标记一个 Hot 节点
    bin/elasticsearch -E node.name=hotnode -E cluster.name=elasticsearch -E path.data=hot_data -E node.attr.my_node_type=hot
    # 标记一个 warm 节点
    bin/elasticsearch -E node.name=warmnode -E cluster.name=elasticsearch -E path.data=warm_data -E node.attr.my_node_type=warm
    # 查看节点
    GET /_cat/nodeattrs?v
    # 配置到 Hot节点
    PUT logs-2019-06-27
    {
      "settings":{
        "number_of_shards":2,
        "number_of_replicas":0,
        "index.routing.allocation.require.my_node_type":"hot"
      }
    }
    PUT my_index1/_doc/1
    {
      "key":"value"
    }
    GET _cat/shards?v
    # 配置到 warm 节点
    PUT logs-2019-06-27/_settings
    {
      "index.routing.allocation.require.my_node_type":"warm"
    }

    作者回复: hotwarm其实不难。几个考点
    在配置文件中为节点增加 node attribute(这个名字你自己随意取,课程中 我叫他box type)

    第二,在创建所以时,将routing 配置到hot上。

    第三,在索引不再有数据写入时,通过修改 routing.allocation到warm,即可分配到warm。

    从考试准备的角度。你需要清楚的记得这些配置项可以在文档的哪个章节找到。我觉得通过考试就不难。

    从实际生产环境上,可以考虑创建index template 自动为新的索引执行routing.allocation。可以使用ILM,为warm阶段设置routimg allocation,并将index配置成只读,同时做force merge等操作。 这些你最好都要了解,但是我不认为会在考试的一道题目中同时考到那么多综合的知识点

    2019-09-06
    1
  • 曹伟雄
    继续上一个问题,经过这几天的分析研究确认,已经决定按照时间序列来建索引了。感谢你的耐心解答。

    作者回复: 🤝

    2019-12-03
  • 曹伟雄
    补充一下,我的ES是6.2.4版本

    作者回复: 老的版本,你可以通过使用ES发布的Curator来实现索引的数据管理。Curator是基于python开发的一个库

    2019-12-01
  • 曹伟雄
    有个问题请教一下,存订单数据,在热节点保存3个月前的数据(用一个索引),在冷节点保存3个月后的数据(用一个索引),数据会先写入热节点。视频中讲的不适合此场景。问题是: 3个月后的数据有什么好的方案迁移到冷节点? 我现在想到的是通过JAVA API每天轮循从热节点查出来在写入冷节点,如有好的建议请指导一下,谢谢

    作者回复: 可以看一下第76节的课程。如果是使用低版本的es,可以使用es提供的curator实现相关逻辑

    2019-11-30
  • xiaoli
    老师举的例子是不是用的一台机器分配多个节点?

    作者回复: 课上的demo都是在一台笔记本上演示的。生产环境,建议一台机器就运行一个es实例

    2019-10-06
  • godtrue
    Hot & Warm ——本质就是能力越大责任也越大,高性能的机器处理更加频繁使用的数据,也就是所谓的热数据。
    Shard Filtering ——本质是把数据分离的更远一点,比如:主分片和副本不在同一个机架上,目的是为了防止局部问题导致的数据丢失,失去了ES的高可用性。
    当然,大概原理是这样,内部有ES来实现,我们仅需要配置一下就行。
    2019-09-22
  • Hellboy1989
    你好,上一个问题我已经解决了,但是还有一个问题就是,当我将索引的副本设为1,然后创建索引,集群变黄,副本分片无法分配,而且手动将索引标记到warm节点时,只是将副本分片迁移到warm节点上了,主分片还是在Hot节点上了!
    通过explaneAPI查看原因如下:请老师多多指教!
    "index" : ".monitoring-es-6-2019.09.18",
      "shard" : 1,
      "primary" : false,
      "current_state" : "unassigned",
      "unassigned_info" : {
        "reason" : "CLUSTER_RECOVERED",
        "at" : "2019-09-18T08:29:20.702Z",
        "last_allocation_status" : "no_attempt"
      },
      "can_allocate" : "no",
      "allocate_explanation" : "cannot allocate because allocation is not permitted to any of the nodes",
     "explanation" : """node does not match index setting [index.routing.allocation.require] filters [test:"hot"]"""
     "explanation" : "node does not contain the awareness attribute [hot]; required attributes cluster setting [cluster.routing.allocation.awareness.attributes=hot,warm]"

    "explanation" : "the shard cannot be allocated to the same node on which a copy of the shard already exists [[.monitoring-es-6-2019.09.18][1], node[tbtdxBTqQvyRAlWeLYPpuA], [P], s[STARTED], a[id=8Uz_aM5uTByc56vcTqrerA]]"
    我们公司刚成立不久,elk是我们的主要技术架构,但是我对es的了解还是一知半解,如果能加上您的微信或者qq号,就一些es的问题及时向您请教,那将是我莫大的荣幸!
    2019-09-18
    1
  • Hellboy1989
    你好老师,按照上述配置在生产环境下,执行索引迁移到warm节点,没有成功!是否还有别的地方没有考虑到么?请老师指教!我的集群是五个节点,两个hot节点两个warm节点一个master节点!
    2019-09-18
  • 一粒
    老师,我在集群中测试关闭一个节点后,分片很快会initialize和rebalance;如果集群间网络抖动,分片可能一直处于rebalance状态;有没有参数可以控制分片重新开始rebalance的时间?

    作者回复: 你可以查阅以下文档

    Index Modules 》index shard allocation 〉Delaying allocation when node leave

    通过setting API 改成一个相对大的时间,例如5分钟

    2019-09-07
收起评论
看过的人还看
Kafka核心技术与实战

胡夕  人人贷计算平台部总监,Apache Kafka Contributor

46讲 | 9199 人已学习

拼团 ¥79 原价 ¥99
从0开始学架构

李运华  资深技术专家

59讲 | 39892 人已学习

拼团 ¥79 原价 ¥99
趣谈网络协议

刘超  网易研究院云计算技术部首席架构师

51讲 | 41258 人已学习

限时 ¥79 原价 ¥99
MySQL实战45讲

林晓斌  网名丁奇,前阿里资深技术专家

48讲 | 46824 人已学习

拼团 ¥79 原价 ¥99