精选留言(25)

• 
  godtrue

  2019-09-19

  本文知识注意点
  1：keword是一种字段类型
  es的每个字段可以做多字段，例如，你有一个content的字段，类型是text。你可以为他指定一个子字段叫 keyword（也可以取名字叫kw）类型设置成keword，
  在做term查询时，就查询content.keyword（或者叫content.kw。
  es默认为所有文本都设置成text，并且设置keywoed的子字段
  2： mapping信息是保存在cluster state里面的。
  文件应该放在 nodes/{N}/_state/global-{NNN} 下面
  https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-state.html
  3：使用动态mapping的隐患
   设置成strict，万一有一条数据里带着不存在的字段，写入就会失败。
  设置成true，数据可以写入，还会在mapping中增加那个字段的设置。随着时间的流逝，这类数据会导致mapping设定的膨胀
  4：选择使用ES的场景，及同步数据的思路
  如果有全文搜索的需求。或者有统计分析的需求，都可以用es作为存储。数据可以在数据库里保存一份，定期同步到es中。然后对一些全文搜索的，对应es实现。
  数据库和es同步可以考虑使用logstash的jdbc connector。只需要配置就可以实现增量同步。对于你说的物理删除的记录如何同步es，在logstash中不支持这个功能。但是你可以通过为数据增加isDeleted字段的方式。标记成删除状态。同步到es后 再用程序分别删除。

  展开

  

   6
• 
  Pengzhi

  2019-07-24

  老师，您好，我在验证dynamic mapping的时候发现，如果把dynamic改为false后，做_search的quary操作，如果是要match新加的字段是match不到的，但是如果是用match_all是可以查出来的。

  作者回复: 设置为false，会存储在source中。但是不支持对这个字段的搜索。
  
  match_all是查出全部。更准的说是获取全部文档。所以，你的测试是正确的

   2

   4
• 
   莎瓦迪卡

  2019-07-09

  老师你好，想问一下怎么决定是仅用es存储还是数据库存储然后同步es上来？以及哪些数据适合用es来实现搜索功能而不用数据库查询？最后一个问题，数据库删除记录怎么同步es？

  作者回复: 如果有全文搜索的需求。或者有统计分析的需求，都可以用es作为存储。数据可以在数据库里保存一份，定期同步到es中。然后对一些全文搜索的，对应es实现。
  
  数据库和es同步可以考虑使用logstash的jdbc connector。只需要配置就可以实现增量同步。对于你说的物理删除的记录如何同步es，在logstash中不支持这个功能。但是你可以通过为数据增加isDeleted字段的方式。标记成删除状态。同步到es后 再用程序分别删除。

  

   4
• 
  志鑫

  2019-11-16

  请问老师，mongodb同步到es，有推荐的成熟技术方案么？
  老师可以介绍一下大厂，将不同数据源，不仅仅是mysql，同步数据到es都是用什么方案？谢谢！
  
  我尝试了几个方案，都有各自的问题，最后写程序实现的
  方案1 logstash-input-mongo，这个plugin最近一次更新是2017年，我在es7版本下试验失败
  方案2 通过阿里的mongoshake（这是用于异地通过oplog同步mongo，不是专用于写入es的），修改mongoshake源码改变消息格式，写入kafka，在logstash-input-kafka，可行，但比较折腾
  方案3 logstash-input-jdbc，需要通过mongo的aggregate方式输出，转换_id的ObjectId类型为字符串，增量同步是个问题。
  方案4，手写代码，用的golang，设置seed，然后读mongo游标方式，bulk写入es。
  
  这件事，我研究了一周，最后放弃前3个方案，改为手写代码，代码量也不大。
  老师可以介绍一下大厂，将不同数据源，不仅仅是mysql，同步数据到es都是用什么方案？谢谢！

  展开

   3

   2
• 
  石头剪刀布

  2019-08-29

  老师好。
  首先想说，kibana Dev tools可以使用 # 开头来注释，这样就不会像老师使用 // 来注释但是报错了。
  然后，如果mapping的dynamic设置成了false，然后新写了字段数据进来，可以使用更改mapping使用update by query来使得新增的字段重新被索引https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by-query.html#picking-up-a-new-property

  展开

  作者回复: 嗯，关于注释，我的repo里之前已经改成了#
  
  第二个，你的理解完全正确，谢谢你的comments

  

   2
• 
  易冥天

  2019-07-12

  老师，发现了两个问题，虽然没什么影响。
  
  1. 是在能够更改 Mapping 的字段类型 -> 原因下，ppt 上有一句话，“如果修改了字段的数据类型，会导致已被索引的属性无法被搜索。” 不知道我这改的对不对。
  
  2. 设置索引的“dynamic”时，
  PUT mapping_test
  {
    "mappings": {
      "dynamic": "false"
    }
  }
  我发现这儿是不能添加默认的 "_doc" Type 的，ES 默认配置中好像不允许那么做，想要那么设置需要把可以添加 Type 的设置打开。

  展开

  

   1
• 
  廖志远

  2019-07-08

  讲得很好，但是比较基础，希望能有比较高级点的课程，最好是电商常用的facet功能

   1

   1
• 
  小鱼

  2019-07-07

  老师，请问mapping中keywod的子field是用来干什么的？

  作者回复: 可用来做term查询的精确匹配或者是用来做terms aggregation

  

   1
• 
  这题忒难

  2019-12-02

  老师，您好，，这个课程Demo，我怎么打不开了，提示404.

  作者回复: 是github的文件无法找到？

   1

  
• 
  MAX

  2019-09-14

  老师，mapping会吧JSON文档映射成Lucene所需的扁平格式是什么意思呢？主要是不理解 Lucene所需的扁平格式。是指什么格式？

  作者回复: 扁平指的是不像json那样 具有层级结构
  

   1

  
• 
  Cool

  2019-08-28

  一鸣老师，请问一下对于数字货币的一些资产类型，需要使用decimal 去计算, es只支持float类型，做聚合查询的时候肯定不准，这个问题怎么解决呢？

  

  
• 
  氧气🌙 🐟 🌺

  2019-08-17

  ES和数据库同步的问题，当删除数据库记录时：
  使用logstash的jdbc connector，可以通过为数据增加isDeleted字段的方式，标记成删除状态。同步到es后 再用程序分别删除。
  具体如何实现呢？ES增加isDeleted字段，数据库删除记录后，当数据库记录同步到ES后，跟ES原来数据做比较，这样ES知道哪些记录被删除了，ES将相应记录的isDeleted字段标记为1，后续用程序在ES删除数据。这样对吗？

  展开

  作者回复: logstash会根据记录的时间戳进行同步。当你需要删除记录时，只需要将数据库这条记录的timestamp更新，并通过标记一个字段为isDelated。然后logstash会定期update新的字段到es里

  

  
• 
  霍云Obsidian

  2019-08-03

  老师，是只有字符串文本字段进行倒排索引，还是像数值型 日期类型 都有倒排索引

  作者回复: 只要index设置成true就有。设置成false，就无法被搜索。
  text会分词，其它的不做分词处理而已。

   1

  
• 
  土柱

  2019-07-22

  老师好，dynamic 设置成 strict 的意义是什么？可以开始是 dynamic=true？然后字段定义好后设置成strict 不允许做修改？

  作者回复: 设置成strict，万一有一条数据里带着不存在的字段，写入就会失败。
  
  设置成true，数据可以写入，还会在mapping中增加那个字段的设置。随着时间的流逝，这类数据会导致mapping设定的膨胀

  

  
• 
  wangdexing

  2019-07-19

  我看了什么是mapping定义 部分
  "一个Mapping属于一个索引的Type
  每个文档都属于一个Type
  一个Type有一个Mapping定义"
  我感觉 es7.0 以前 没有废弃Type的时候 index 是不是对应的是数据库的database，Type对应的是table 不知道理解的对不对。
  
  还有 被索引的字段 是不是一定在mapping中，在mapping中的字段可以设置成不被索引.

  展开

  作者回复: 理解正确

  

  
• 
  木木夕Ace

  2019-07-18

  学习完毕，明天再看

  

  
• 
  danvid

  2019-07-15

  老师我知道mapping的api怎么查但是我想知道，mapping是存储在es data里面哪个文件～我一直没找到mapping信息存储的地方

  作者回复: mapping信息是保存在cluster state里面的。
  文件应该放在 nodes/{N}/_state/global-{NNN} 下面
  
  https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-state.html

  

  
• 
  石将从

  2019-07-11

  demo链接点击显示404

  作者回复: https://github.com/onebirdrocks/geektime-ELK

  

  
• 
  xishuai

  2019-07-11

  老师，两个数来回切换的意思是，文档总数量一会是10，一会儿是15，而且两个值同步增长，即有文档写入时，两个数差值是一样的
  

  作者回复: 这个我还真没有碰到过

  

  
• 
  Y

  2019-07-10

  老师keyword子字段是什么意思

  作者回复: keword是一种字段类型
  
  es的每个字段可以做多字段，例如，你有一个content的字段，类型是text。你可以为他指定一个子字段叫 keyword（也可以取名字叫kw）类型设置成keword，
  
  在做term查询时，就查询content.keyword（或者叫content.kw。
  
  es默认为所有文本都设置成text，并且设置keywoed的子字段

   1

  