作者回复: 如果有全文搜索的需求。或者有统计分析的需求，都可以用es作为存储。数据可以在数据库里保存一份，定期同步到es中。然后对一些全文搜索的，对应es实现。数据库和es同步可以考虑使用logstash的jdbc connector。只需要配置就可以实现增量同步。对于你说的物理删除的记录如何同步es，在logstash中不支持这个功能。但是你可以通过为数据增加isDeleted字段的方式。标记成删除状态。同步到es后再用程序分别删除。

2019-07-09

2

10

志鑫

请问老师，mongodb同步到es，有推荐的成熟技术方案么？老师可以介绍一下大厂，将不同数据源，不仅仅是mysql，同步数据到es都是用什么方案？谢谢！我尝试了几个方案，都有各自的问题，最后写程序实现的方案1 logstash-input-mongo，这个plugin最近一次更新是2017年，我在es7版本下试验失败方案2 通过阿里的mongoshake（这是用于异地通过oplog同步mongo，不是专用于写入es的），修改mongoshake源码改变消息格式，写入kafka，在logstash-input-kafka，可行，但比较折腾方案3 logstash-input-jdbc，需要通过mongo的aggregate方式输出，转换_id的ObjectId类型为字符串，增量同步是个问题。方案4，手写代码，用的golang，设置seed，然后读mongo游标方式，bulk写入es。这件事，我研究了一周，最后放弃前3个方案，改为手写代码，代码量也不大。老师可以介绍一下大厂，将不同数据源，不仅仅是mysql，同步数据到es都是用什么方案？谢谢！

作者回复: 谢谢你的分享。每个方案都各有利弊。我们这里通过先写入kafka以及自己写代码实现的相对更多一些。

2019-11-16

8

5

Pengzhi

老师，您好，我在验证dynamic mapping的时候发现，如果把dynamic改为false后，做_search的quary操作，如果是要match新加的字段是match不到的，但是如果是用match_all是可以查出来的。

作者回复: 设置为false，会存储在source中。但是不支持对这个字段的搜索。 match_all是查出全部。更准的说是获取全部文档。所以，你的测试是正确的

2019-07-24

3

5

石头剪刀布

老师好。首先想说，kibana Dev tools可以使用 # 开头来注释，这样就不会像老师使用 // 来注释但是报错了。然后，如果mapping的dynamic设置成了false，然后新写了字段数据进来，可以使用更改mapping使用update by query来使得新增的字段重新被索引https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by-query.html#picking-up-a-new-property

作者回复: 嗯，关于注释，我的repo里之前已经改成了# 第二个，你的理解完全正确，谢谢你的comments

2019-08-29



3

霍云Obsidian

老师，是只有字符串文本字段进行倒排索引，还是像数值型日期类型都有倒排索引

作者回复: 只要index设置成true就有。设置成false，就无法被搜索。 text会分词，其它的不做分词处理而已。

2019-08-03

2

2

小鱼

老师，请问mapping中keywod的子field是用来干什么的？

作者回复: 可用来做term查询的精确匹配或者是用来做terms aggregation

2019-07-07



2

wangdexing

我看了什么是mapping定义部分 "一个Mapping属于一个索引的Type 每个文档都属于一个Type 一个Type有一个Mapping定义" 我感觉 es7.0 以前没有废弃Type的时候 index 是不是对应的是数据库的database，Type对应的是table 不知道理解的对不对。还有被索引的字段是不是一定在mapping中，在mapping中的字段可以设置成不被索引.

作者回复: 理解正确

2019-07-19



1

清风

es做数据同步搭配什么比较好呢

作者回复: 可以考虑logstash

2019-07-10



1

这题忒难

老师，您好，，这个课程Demo，我怎么打不开了，提示404.

作者回复: 是github的文件无法找到？

2019-12-02

3



MAX

老师，mapping会吧JSON文档映射成Lucene所需的扁平格式是什么意思呢？主要是不理解 Lucene所需的扁平格式。是指什么格式？

作者回复: 扁平指的是不像json那样具有层级结构

2019-09-14

2



收起评论

相关阅读

课件地址

全部留言(36)