作者回复: 如果你的数据是有时间序列的，那么通过在索引中增加时间戳可以更加方便的帮助你对索引进行管理。有这样一些好处 1）如果你想删除超过4个月的数据，delete整个索引的性能要比，deleteByQuery要更加高效 2）查询可以通过创建 alias 在多个索引上进行查询，所以并不需要把数据都放在一个索引上如果你非要使用一个索引，那你就需要自己去实现deleteByQuery并且通过reIndex API把需要的数据进行迁移。会比较繁琐，同时不高效

2019-12-01



7

氧气🌙 🐟 🌺

老师，ES认证的考点Cluster Administration：Configure a cluster for use with a hot/warm architecture 掌握本节的这些命令就能通关，还是会在此基础上增加复杂性和难度？如果增加复杂性和难度会怎样增加呢？ # 标记一个 Hot 节点 bin/elasticsearch -E node.name=hotnode -E cluster.name=elasticsearch -E path.data=hot_data -E node.attr.my_node_type=hot # 标记一个 warm 节点 bin/elasticsearch -E node.name=warmnode -E cluster.name=elasticsearch -E path.data=warm_data -E node.attr.my_node_type=warm # 查看节点 GET /_cat/nodeattrs?v # 配置到 Hot节点 PUT logs-2019-06-27 { "settings":{ "number_of_shards":2, "number_of_replicas":0, "index.routing.allocation.require.my_node_type":"hot" } } PUT my_index1/_doc/1 { "key":"value" } GET _cat/shards?v # 配置到 warm 节点 PUT logs-2019-06-27/_settings { "index.routing.allocation.require.my_node_type":"warm" }

作者回复: hotwarm其实不难。几个考点在配置文件中为节点增加 node attribute（这个名字你自己随意取，课程中我叫他box type）第二，在创建所以时，将routing 配置到hot上。第三，在索引不再有数据写入时，通过修改 routing.allocation到warm，即可分配到warm。从考试准备的角度。你需要清楚的记得这些配置项可以在文档的哪个章节找到。我觉得通过考试就不难。从实际生产环境上，可以考虑创建index template 自动为新的索引执行routing.allocation。可以使用ILM，为warm阶段设置routimg allocation，并将index配置成只读，同时做force merge等操作。这些你最好都要了解，但是我不认为会在考试的一道题目中同时考到那么多综合的知识点

2019-09-06



3

一粒

老师，我在集群中测试关闭一个节点后，分片很快会initialize和rebalance；如果集群间网络抖动，分片可能一直处于rebalance状态；有没有参数可以控制分片重新开始rebalance的时间？

作者回复: 你可以查阅以下文档 Index Modules 》index shard allocation 〉Delaying allocation when node leave 通过setting API 改成一个相对大的时间，例如5分钟

2019-09-07



1

趁早

我平常搭建三节点的es集群，3个分片，1个副本，3台服务器，并没有设置rack，主分片和副本分片往往是在两台不同的机器上的，为了防止主副本在同一个节点上这个rack是必须设置的么？

作者回复: rack id 主要是确保机器不是在一个机架上而确保整个机架断电引发故障。就行这样的设置会更加安全。如果你没有足够的机器和机架可以忽略这项设置

2020-03-12





曹伟雄

继续上一个问题，经过这几天的分析研究确认，已经决定按照时间序列来建索引了。感谢你的耐心解答。

作者回复: 🤝

2019-12-03





曹伟雄

补充一下，我的ES是6.2.4版本

作者回复: 老的版本，你可以通过使用ES发布的Curator来实现索引的数据管理。Curator是基于python开发的一个库

2019-12-01





曹伟雄

有个问题请教一下，存订单数据，在热节点保存3个月前的数据（用一个索引），在冷节点保存3个月后的数据（用一个索引），数据会先写入热节点。视频中讲的不适合此场景。问题是: 3个月后的数据有什么好的方案迁移到冷节点? 我现在想到的是通过JAVA API每天轮循从热节点查出来在写入冷节点，如有好的建议请指导一下，谢谢

作者回复: 可以看一下第76节的课程。如果是使用低版本的es，可以使用es提供的curator实现相关逻辑

2019-11-30





xiaoli

老师举的例子是不是用的一台机器分配多个节点？

作者回复: 课上的demo都是在一台笔记本上演示的。生产环境，建议一台机器就运行一个es实例

2019-10-06

2



钱

Hot & Warm ——本质就是能力越大责任也越大，高性能的机器处理更加频繁使用的数据，也就是所谓的热数据。 Shard Filtering ——本质是把数据分离的更远一点，比如：主分片和副本不在同一个机架上，目的是为了防止局部问题导致的数据丢失，失去了ES的高可用性。当然，大概原理是这样，内部有ES来实现，我们仅需要配置一下就行。

2019-09-22

1

6

邹湘

请教老师一个问题，我们es集群用来采集日志，每天大概15t的样子，其中有一个采集实时要求高的索引每天有4t左右，我们es都是机传统械硬盘，现在想加ssd把这个高要求索引路由到ssd的节点，这块可以通过hot属性实现，一天后这份数据可以转移到普通节点，普通节点用warn属性。我有一个疑问，这个索引迁移过程中4t的数据从ssd到sata，这块会导致传统节点磁盘压力过大吗？他是友好型的数据迁移，还是超高并发大量迁移。我一直还没懂这个数据迁移的逻辑，请教一下老师

2021-08-24





收起评论