2019-09-19本文知识注意点
1：keword是一种字段类型
es的每个字段可以做多字段，例如，你有一个content的字段，类型是text。你可以为他指定一个子字段叫 keyword（也可以取名字叫kw）类型设置成keword，
在做term查询时，就查询content.keyword（或者叫content.kw。
es默认为所有文本都设置成text，并且设置keywoed的子字段
2： mapping信息是保存在cluster state里面的。
文件应该放在 nodes/{N}/_state/global-{NNN} 下面
https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-state.html
3：使用动态mapping的隐患
设置成strict，万一有一条数据里带着不存在的字段，写入就会失败。
设置成true，数据可以写入，还会在mapping中增加那个字段的设置。随着时间的流逝，这类数据会导致mapping设定的膨胀
4：选择使用ES的场景，及同步数据的思路
如果有全文搜索的需求。或者有统计分析的需求，都可以用es作为存储。数据可以在数据库里保存一份，定期同步到es中。然后对一些全文搜索的，对应es实现。
数据库和es同步可以考虑使用logstash的jdbc connector。只需要配置就可以实现增量同步。对于你说的物理删除的记录如何同步es，在logstash中不支持这个功能。但是你可以通过为数据增加isDeleted字段的方式。标记成删除状态。同步到es后 再用程序分别删除。展开 10
2019-07-24老师，您好，我在验证dynamic mapping的时候发现，如果把dynamic改为false后，做_search的quary操作，如果是要match新加的字段是match不到的，但是如果是用match_all是可以查出来的。作者回复: 设置为false，会存储在source中。但是不支持对这个字段的搜索。
match_all是查出全部。更准的说是获取全部文档。所以，你的测试是正确的 2 4
2019-07-09老师你好，想问一下怎么决定是仅用es存储还是数据库存储然后同步es上来？以及哪些数据适合用es来实现搜索功能而不用数据库查询？最后一个问题，数据库删除记录怎么同步es？作者回复: 如果有全文搜索的需求。或者有统计分析的需求，都可以用es作为存储。数据可以在数据库里保存一份，定期同步到es中。然后对一些全文搜索的，对应es实现。
数据库和es同步可以考虑使用logstash的jdbc connector。只需要配置就可以实现增量同步。对于你说的物理删除的记录如何同步es，在logstash中不支持这个功能。但是你可以通过为数据增加isDeleted字段的方式。标记成删除状态。同步到es后 再用程序分别删除。 4
2019-11-16请问老师，mongodb同步到es，有推荐的成熟技术方案么？
老师可以介绍一下大厂，将不同数据源，不仅仅是mysql，同步数据到es都是用什么方案？谢谢！
我尝试了几个方案，都有各自的问题，最后写程序实现的
方案1 logstash-input-mongo，这个plugin最近一次更新是2017年，我在es7版本下试验失败
方案2 通过阿里的mongoshake（这是用于异地通过oplog同步mongo，不是专用于写入es的），修改mongoshake源码改变消息格式，写入kafka，在logstash-input-kafka，可行，但比较折腾
方案3 logstash-input-jdbc，需要通过mongo的aggregate方式输出，转换_id的ObjectId类型为字符串，增量同步是个问题。
方案4，手写代码，用的golang，设置seed，然后读mongo游标方式，bulk写入es。
这件事，我研究了一周，最后放弃前3个方案，改为手写代码，代码量也不大。
老师可以介绍一下大厂，将不同数据源，不仅仅是mysql，同步数据到es都是用什么方案？谢谢！展开 3 2- 2019-08-29老师好。
首先想说，kibana Dev tools可以使用 # 开头来注释，这样就不会像老师使用 // 来注释但是报错了。
然后，如果mapping的dynamic设置成了false，然后新写了字段数据进来，可以使用更改mapping使用update by query来使得新增的字段重新被索引https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by-query.html#picking-up-a-new-property作者回复: 嗯，关于注释，我的repo里之前已经改成了#
第二个，你的理解完全正确，谢谢你的comments 2 - 2019-07-07老师，请问mapping中keywod的子field是用来干什么的？
作者回复: 可用来做term查询的精确匹配或者是用来做terms aggregation
2 
2019-07-12老师，发现了两个问题，虽然没什么影响。
1. 是在能够更改 Mapping 的字段类型 -> 原因下，ppt 上有一句话，“如果修改了字段的数据类型，会导致已被索引的属性无法被搜索。” 不知道我这改的对不对。
2. 设置索引的“dynamic”时，
PUT mapping_test
{
"mappings": {
"dynamic": "false"
}
}
我发现这儿是不能添加默认的 "_doc" Type 的，ES 默认配置中好像不允许那么做，想要那么设置需要把可以添加 Type 的设置打开。展开 1
2019-07-08讲得很好，但是比较基础，希望能有比较高级点的课程，最好是电商常用的facet功能 1 1
2019-12-02老师，您好，，这个课程Demo，我怎么打不开了，提示404.作者回复: 是github的文件无法找到？
1
2019-09-14老师，mapping会吧JSON文档映射成Lucene所需的扁平格式是什么意思呢？主要是不理解 Lucene所需的扁平格式。是指什么格式？作者回复: 扁平指的是不像json那样 具有层级结构
1
2019-08-28一鸣老师，请问一下对于数字货币的一些资产类型，需要使用decimal 去计算, es只支持float类型，做聚合查询的时候肯定不准，这个问题怎么解决呢？
2019-08-17ES和数据库同步的问题，当删除数据库记录时：
使用logstash的jdbc connector，可以通过为数据增加isDeleted字段的方式，标记成删除状态。同步到es后 再用程序分别删除。
具体如何实现呢？ES增加isDeleted字段，数据库删除记录后，当数据库记录同步到ES后，跟ES原来数据做比较，这样ES知道哪些记录被删除了，ES将相应记录的isDeleted字段标记为1，后续用程序在ES删除数据。这样对吗？作者回复: logstash会根据记录的时间戳进行同步。当你需要删除记录时，只需要将数据库这条记录的timestamp更新，并通过标记一个字段为isDelated。然后logstash会定期update新的字段到es里
2019-08-03老师，是只有字符串文本字段进行倒排索引，还是像数值型 日期类型 都有倒排索引作者回复: 只要index设置成true就有。设置成false，就无法被搜索。
text会分词，其它的不做分词处理而已。 1- 2019-07-22老师好，dynamic 设置成 strict 的意义是什么？可以开始是 dynamic=true？然后字段定义好后设置成strict 不允许做修改？
作者回复: 设置成strict，万一有一条数据里带着不存在的字段，写入就会失败。
设置成true，数据可以写入，还会在mapping中增加那个字段的设置。随着时间的流逝，这类数据会导致mapping设定的膨胀 
2019-07-19我看了什么是mapping定义 部分
"一个Mapping属于一个索引的Type
每个文档都属于一个Type
一个Type有一个Mapping定义"
我感觉 es7.0 以前 没有废弃Type的时候 index 是不是对应的是数据库的database，Type对应的是table 不知道理解的对不对。
还有 被索引的字段 是不是一定在mapping中，在mapping中的字段可以设置成不被索引.展开作者回复: 理解正确
2019-07-18学习完毕，明天再看
2019-07-15老师我知道mapping的api怎么查但是我想知道，mapping是存储在es data里面哪个文件～我一直没找到mapping信息存储的地方作者回复: mapping信息是保存在cluster state里面的。
文件应该放在 nodes/{N}/_state/global-{NNN} 下面
https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-state.html
2019-07-11demo链接点击显示404作者回复: https://github.com/onebirdrocks/geektime-ELK
- 2019-07-11老师，两个数来回切换的意思是，文档总数量一会是10，一会儿是15，而且两个值同步增长，即有文档写入时，两个数差值是一样的
作者回复: 这个我还真没有碰到过
2019-07-10老师keyword子字段是什么意思作者回复: keword是一种字段类型
es的每个字段可以做多字段，例如，你有一个content的字段，类型是text。你可以为他指定一个子字段叫 keyword（也可以取名字叫kw）类型设置成keword，
在做term查询时，就查询content.keyword（或者叫content.kw。
es默认为所有文本都设置成text，并且设置keywoed的子字段 1