• 约书亚
    2020-02-07
    老师,10:04是否有误?index.routing.allocation.total_shard_per_node的定义写的是“主分片数”,但看起来是应该主副分片数?
    
    
  • Kevin
    2020-01-15
    老师我们是6.8的ES集群,8台数据节点,通过spark程序将多个数据源的数据写入同一个ES索引,当分区数设置为56时,每个节点相当于处理7个分区的数据写入,但是这样集群的cpu会飙升到很高,有几台数据节点cpu会到100%,请问除了降低分区数(入库时间会变长),还有其他可行高效的方法能使数据写入时,ES集群的cpu降下来吗

    作者回复: 你说设置分片为56?是指的单个索引吗?你一共有多少个索引?每个索引的shard和replica设置成多少?每个节点可以有多少个分片?确保这些设置都是正确的。

    如果是几台数据节点的CPU很高,那先要分析是否存在数
    据不均衡的现象。同时也要查看,每台机器上实际有多少个shard。


    另外,如果CPU负载高和特定的索引相关,则需要看一下索引的mapping设定。避免一些不必要的分词等操作。

    
    
  • kofssl
    2019-09-27
    老师您好,教程里面提到将副本设置为0,写入完毕再调整回去。这个有实例操作么?
    针对实时系统,这种开始不给副本还适用么,因为一直有数据源源不断进来。
    期待您的回复,谢谢🙏

    作者回复: 副本的设置 你通通过 put index-name 即可修改。

    replica写在settings 里面。 至于你说的数据源源不断写入,那设置副本为0未必合适,这个需要你自己权衡

     1
    
  • godtrue
    2019-09-22
    这节非常实用,我们恰好有写性能瓶颈的问题,明天照着分析分析。不过我们的ES集群是公司内专门的团队在运维,研发优化估计只能从建模上着手了。
    
    
  • 王俊杰
    2019-09-22
    老师 如果字段不需要搜索和聚合分析,单纯只是存储,mapping映射 字段如何设置

    作者回复: 我在这里不直接给你答案。你自己找出的答案印象会更深。你可以去看一下建模相关的几节,里面应该有提到。如果还是不清楚,可以重新提问

     1
    
  • Summer
    2019-09-21
    老师,我们现在导数据用的是logstash,但同时发现个问题,logstash只要用了aggregate,线程数就只能是1了,性能上不去了,现在,我有两个思路,一个是在logstash之前,建一个大宽表,再导大宽表,这样就避免用aggregate了,另一个是,放弃logstash,用其它方式,如写脚本或代码的方式,不知道老师在实际应用中,是用什么方式来导的数据?
    
    
  • 乱码
    2019-09-18
    老师,当同一个索引有多个分片时,可以同时在多个分片上进行写操作吗
     1
    
我们在线,来聊聊吧