精选留言(10)

• 
  曹伟雄

  2019-12-01

  感谢老师的快速解答。继续上一个问题，76节讲的都是基于索引来操作的，而我的业务场景是只有一个hot索引，要把里面的数据按条件定时迁移到另外一个索引，并不是按时间序列建多个hot索引。因为业务需要跨3个月查数据，请问还有其它建议吗？ 或者说我这个思路行不通啊。谢谢

  作者回复: 如果你的数据是有时间序列的，那么通过在索引中增加时间戳可以更加方便的帮助你对索引进行管理。有这样一些好处
  1）如果你想删除超过4个月的数据，delete整个索引的性能要比，deleteByQuery要更加高效
  2）查询可以通过创建 alias 在多个索引上进行查询，所以并不需要把数据都放在一个索引上
  
  如果你非要使用一个索引，那你就需要自己去实现deleteByQuery并且通过reIndex API把需要的数据进行迁移。会比较繁琐，同时不高效

  

   2
• 
  氧气🌙 🐟 🌺

  2019-09-06

  老师，ES认证的考点Cluster Administration：Configure a cluster for use with a hot/warm architecture
  掌握本节的这些命令就能通关，还是会在此基础上增加复杂性和难度？如果增加复杂性和难度会怎样增加呢？
  
  # 标记一个 Hot 节点
  bin/elasticsearch -E node.name=hotnode -E cluster.name=elasticsearch -E path.data=hot_data -E node.attr.my_node_type=hot
  # 标记一个 warm 节点
  bin/elasticsearch -E node.name=warmnode -E cluster.name=elasticsearch -E path.data=warm_data -E node.attr.my_node_type=warm
  # 查看节点
  GET /_cat/nodeattrs?v
  # 配置到 Hot节点
  PUT logs-2019-06-27
  {
    "settings":{
      "number_of_shards":2,
      "number_of_replicas":0,
      "index.routing.allocation.require.my_node_type":"hot"
    }
  }
  PUT my_index1/_doc/1
  {
    "key":"value"
  }
  GET _cat/shards?v
  # 配置到 warm 节点
  PUT logs-2019-06-27/_settings
  {
    "index.routing.allocation.require.my_node_type":"warm"
  }

  展开

  作者回复: hotwarm其实不难。几个考点
  在配置文件中为节点增加 node attribute（这个名字你自己随意取，课程中 我叫他box type）
  
  第二，在创建所以时，将routing 配置到hot上。
  
  第三，在索引不再有数据写入时，通过修改 routing.allocation到warm，即可分配到warm。
  
  从考试准备的角度。你需要清楚的记得这些配置项可以在文档的哪个章节找到。我觉得通过考试就不难。
  
  从实际生产环境上，可以考虑创建index template 自动为新的索引执行routing.allocation。可以使用ILM，为warm阶段设置routimg allocation，并将index配置成只读，同时做force merge等操作。 这些你最好都要了解，但是我不认为会在考试的一道题目中同时考到那么多综合的知识点

  

   1
• 
  曹伟雄

  2019-12-03

  继续上一个问题，经过这几天的分析研究确认，已经决定按照时间序列来建索引了。感谢你的耐心解答。

  作者回复: 🤝

  

  
• 
  曹伟雄

  2019-12-01

  补充一下，我的ES是6.2.4版本

  作者回复: 老的版本，你可以通过使用ES发布的Curator来实现索引的数据管理。Curator是基于python开发的一个库

  

  
• 
  曹伟雄

  2019-11-30

  有个问题请教一下，存订单数据，在热节点保存3个月前的数据（用一个索引），在冷节点保存3个月后的数据（用一个索引），数据会先写入热节点。视频中讲的不适合此场景。问题是: 3个月后的数据有什么好的方案迁移到冷节点? 我现在想到的是通过JAVA API每天轮循从热节点查出来在写入冷节点，如有好的建议请指导一下，谢谢

  作者回复: 可以看一下第76节的课程。如果是使用低版本的es，可以使用es提供的curator实现相关逻辑

  

  
• 
  xiaoli

  2019-10-06

  老师举的例子是不是用的一台机器分配多个节点？

  作者回复: 课上的demo都是在一台笔记本上演示的。生产环境，建议一台机器就运行一个es实例

  

  
• 
  godtrue

  2019-09-22

  Hot & Warm ——本质就是能力越大责任也越大，高性能的机器处理更加频繁使用的数据，也就是所谓的热数据。
  Shard Filtering ——本质是把数据分离的更远一点，比如：主分片和副本不在同一个机架上，目的是为了防止局部问题导致的数据丢失，失去了ES的高可用性。
  当然，大概原理是这样，内部有ES来实现，我们仅需要配置一下就行。

  

  
• 
  Hellboy1989

  2019-09-18

  你好，上一个问题我已经解决了，但是还有一个问题就是，当我将索引的副本设为1，然后创建索引，集群变黄，副本分片无法分配，而且手动将索引标记到warm节点时，只是将副本分片迁移到warm节点上了，主分片还是在Hot节点上了！
  通过explaneAPI查看原因如下：请老师多多指教！
  "index" : ".monitoring-es-6-2019.09.18",
    "shard" : 1,
    "primary" : false,
    "current_state" : "unassigned",
    "unassigned_info" : {
      "reason" : "CLUSTER_RECOVERED",
      "at" : "2019-09-18T08:29:20.702Z",
      "last_allocation_status" : "no_attempt"
    },
    "can_allocate" : "no",
    "allocate_explanation" : "cannot allocate because allocation is not permitted to any of the nodes",
   "explanation" : """node does not match index setting [index.routing.allocation.require] filters [test:"hot"]"""
   "explanation" : "node does not contain the awareness attribute [hot]; required attributes cluster setting [cluster.routing.allocation.awareness.attributes=hot,warm]"
  
  "explanation" : "the shard cannot be allocated to the same node on which a copy of the shard already exists [[.monitoring-es-6-2019.09.18][1], node[tbtdxBTqQvyRAlWeLYPpuA], [P], s[STARTED], a[id=8Uz_aM5uTByc56vcTqrerA]]"
  我们公司刚成立不久，elk是我们的主要技术架构，但是我对es的了解还是一知半解，如果能加上您的微信或者qq号，就一些es的问题及时向您请教，那将是我莫大的荣幸！

  展开

   1

  
• 
  Hellboy1989

  2019-09-18

  你好老师，按照上述配置在生产环境下，执行索引迁移到warm节点，没有成功！是否还有别的地方没有考虑到么？请老师指教！我的集群是五个节点，两个hot节点两个warm节点一个master节点！

  

  
• 
  一粒

  2019-09-07

  老师，我在集群中测试关闭一个节点后，分片很快会initialize和rebalance；如果集群间网络抖动，分片可能一直处于rebalance状态；有没有参数可以控制分片重新开始rebalance的时间？

  作者回复: 你可以查阅以下文档
  
  Index Modules 》index shard allocation 〉Delaying allocation when node leave
  
  通过setting API 改成一个相对大的时间，例如5分钟
  

  

  