• Kevin
    2020-01-15
    老师请问多个数据源往同一个ES索引写入数据时,如果并行写入,由于多个数据源写入ES记录中存在相同的_id,这样同一个_id的两条数据同时写入一个ES索引,由于乐观锁的机制存在,导致两条数据都写不进去。
    对于多个数据源并行写入ES时,如果不同数据源存在相同索引id(_id),会因为乐观锁机制造成数据丢失的情况,有什么好的解决方案吗?
    我已经在代码里开启了写入ES的重试机制,但是测试发现并行写入还是会造成数据冲突和丢失。
    
    
  • 一笑奈何
    2019-11-27
    Data too large, data for [<http_request>] would be [790977222/754.3mb], which is larger than the limit of [745517875/710.9mb], real usage: [790976560/754.3mb], new bytes reserved: [662/662b]\\\",\\\"bytes_wanted\\\":790977222,\\\"bytes_limit\\\":745517875,\\\"durability\\\":\\\"PERMANENT\\\"}],\\\"type\\\":\\\"circuit_breaking_exception\\\",\\\"reason\\\":\\\"[parent] Data too large, data for [<http_request>] would be [790977222/754.3mb], which is larger than the limit of [745517875/710.9mb], real usage: [790976560/754.3mb], new bytes reserved: [662/662b]\\\",\\\"bytes_wanted\\\":790977222,\\\"bytes_limit\\\":745517875,\\\"durability\\\":\\\"PERMANENT\\\"},\\\"status\\\":429}\"}"}
    老师,这个问题怎么解决。
    展开
    
    
  • 一粒
    2019-10-10
    老师,如果索引是按天创建的,使用kibana去搜索最近24小时数据,那么kibana会去24小时之前的索引中搜索数据么

    作者回复: kibana搜索是通过index pattern的,如果你将所有的数据都配置到那个index pattern,es就会在所有的index中搜索。而会在timestamp上只找过去的24小时。

     2
    
我们在线,来聊聊吧