当前播放: 18 | Dynamic Mapping和常见字段类型
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
课程目录
第一章:概述 (4讲)
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发展历史
免费
04 | Elastic Stack家族成员及其应用场景
免费
第二章:安装上手 (4讲)
05 | Elasticsearch的安装与简单配置
免费
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
第三章:Elasticsearch入门 (15讲)
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
第四章:深入搜索 (13讲)
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
第五章:分布式特性及分布式搜索的机制 (8讲)
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
第六章:深入聚合分析 (4讲)
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
第七章:数据建模 (7讲)
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
第八章:保护你的数据 (3讲)
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
第九章:水平扩展Elasticsearch集群 (6讲)
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
第十章:生产环境中的集群运维 (10讲)
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
第十一章:索引生命周期管理 (2讲)
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
第十二章:用Logstash和Beats构建数据管道 (3讲)
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
第十三章:用Kibana进行数据可视化分析 (4讲)
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
第十四章:探索X-Pack套件 (6讲)
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
实战1:电影搜索服务 (3讲)
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
实战2:Stackoverflow用户调查问卷分析 (3讲)
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
备战:Elastic认证 (5讲)
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结束语
18 | Dynamic Mapping和常见字段类型

18 | Dynamic Mapping和常见字段类型

阮一鸣
eBay Pronto平台技术负责人
100讲 约1000分钟18141
单独订阅¥129
2人成团¥99
10
登录 后留言

精选留言(25)

  • godtrue
    本文知识注意点
    1:keword是一种字段类型
    es的每个字段可以做多字段,例如,你有一个content的字段,类型是text。你可以为他指定一个子字段叫 keyword(也可以取名字叫kw)类型设置成keword,
    在做term查询时,就查询content.keyword(或者叫content.kw。
    es默认为所有文本都设置成text,并且设置keywoed的子字段
    2: mapping信息是保存在cluster state里面的。
    文件应该放在 nodes/{N}/_state/global-{NNN} 下面
    https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-state.html
    3:使用动态mapping的隐患
     设置成strict,万一有一条数据里带着不存在的字段,写入就会失败。
    设置成true,数据可以写入,还会在mapping中增加那个字段的设置。随着时间的流逝,这类数据会导致mapping设定的膨胀
    4:选择使用ES的场景,及同步数据的思路
    如果有全文搜索的需求。或者有统计分析的需求,都可以用es作为存储。数据可以在数据库里保存一份,定期同步到es中。然后对一些全文搜索的,对应es实现。
    数据库和es同步可以考虑使用logstash的jdbc connector。只需要配置就可以实现增量同步。对于你说的物理删除的记录如何同步es,在logstash中不支持这个功能。但是你可以通过为数据增加isDeleted字段的方式。标记成删除状态。同步到es后 再用程序分别删除。
    2019-09-19
    10
  • Pengzhi
    老师,您好,我在验证dynamic mapping的时候发现,如果把dynamic改为false后,做_search的quary操作,如果是要match新加的字段是match不到的,但是如果是用match_all是可以查出来的。

    作者回复: 设置为false,会存储在source中。但是不支持对这个字段的搜索。

    match_all是查出全部。更准的说是获取全部文档。所以,你的测试是正确的

    2019-07-24
    2
    4
  •  莎瓦迪卡
    老师你好,想问一下怎么决定是仅用es存储还是数据库存储然后同步es上来?以及哪些数据适合用es来实现搜索功能而不用数据库查询?最后一个问题,数据库删除记录怎么同步es?

    作者回复: 如果有全文搜索的需求。或者有统计分析的需求,都可以用es作为存储。数据可以在数据库里保存一份,定期同步到es中。然后对一些全文搜索的,对应es实现。

    数据库和es同步可以考虑使用logstash的jdbc connector。只需要配置就可以实现增量同步。对于你说的物理删除的记录如何同步es,在logstash中不支持这个功能。但是你可以通过为数据增加isDeleted字段的方式。标记成删除状态。同步到es后 再用程序分别删除。

    2019-07-09
    1
    4
  • 志鑫
    请问老师,mongodb同步到es,有推荐的成熟技术方案么?
    老师可以介绍一下大厂,将不同数据源,不仅仅是mysql,同步数据到es都是用什么方案?谢谢!

    我尝试了几个方案,都有各自的问题,最后写程序实现的
    方案1 logstash-input-mongo,这个plugin最近一次更新是2017年,我在es7版本下试验失败
    方案2 通过阿里的mongoshake(这是用于异地通过oplog同步mongo,不是专用于写入es的),修改mongoshake源码改变消息格式,写入kafka,在logstash-input-kafka,可行,但比较折腾
    方案3 logstash-input-jdbc,需要通过mongo的aggregate方式输出,转换_id的ObjectId类型为字符串,增量同步是个问题。
    方案4,手写代码,用的golang,设置seed,然后读mongo游标方式,bulk写入es。

    这件事,我研究了一周,最后放弃前3个方案,改为手写代码,代码量也不大。
    老师可以介绍一下大厂,将不同数据源,不仅仅是mysql,同步数据到es都是用什么方案?谢谢!

    作者回复: 谢谢你的分享。每个方案都各有利弊。我们这里通过先写入kafka以及自己写代码实现的相对更多一些。

    2019-11-16
    3
    3
  • 石头剪刀布
    老师好。
    首先想说,kibana Dev tools可以使用 # 开头来注释,这样就不会像老师使用 // 来注释但是报错了。
    然后,如果mapping的dynamic设置成了false,然后新写了字段数据进来,可以使用更改mapping使用update by query来使得新增的字段重新被索引https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by-query.html#picking-up-a-new-property

    作者回复: 嗯,关于注释,我的repo里之前已经改成了#

    第二个,你的理解完全正确,谢谢你的comments

    2019-08-29
    2
  • 小鱼
    老师,请问mapping中keywod的子field是用来干什么的?

    作者回复: 可用来做term查询的精确匹配或者是用来做terms aggregation

    2019-07-07
    2
  • 易冥天
    老师,发现了两个问题,虽然没什么影响。

    1. 是在能够更改 Mapping 的字段类型 -> 原因下,ppt 上有一句话,“如果修改了字段的数据类型,会导致已被索引的属性无法被搜索。” 不知道我这改的对不对。

    2. 设置索引的“dynamic”时,
    PUT mapping_test
    {
      "mappings": {
        "dynamic": "false"
      }
    }
    我发现这儿是不能添加默认的 "_doc" Type 的,ES 默认配置中好像不允许那么做,想要那么设置需要把可以添加 Type 的设置打开。
    2019-07-12
    1
  • 廖志远
    讲得很好,但是比较基础,希望能有比较高级点的课程,最好是电商常用的facet功能
    2019-07-08
    1
    1
  • 这题忒难
    老师,您好,,这个课程Demo,我怎么打不开了,提示404.

    作者回复: 是github的文件无法找到?

    2019-12-02
    1
  • MAX
    老师,mapping会吧JSON文档映射成Lucene所需的扁平格式是什么意思呢?主要是不理解 Lucene所需的扁平格式。是指什么格式?

    作者回复: 扁平指的是不像json那样 具有层级结构

    2019-09-14
    1
  • Cool
    一鸣老师,请问一下对于数字货币的一些资产类型,需要使用decimal 去计算, es只支持float类型,做聚合查询的时候肯定不准,这个问题怎么解决呢?
    2019-08-28
  • 氧气🌙 🐟 🌺
    ES和数据库同步的问题,当删除数据库记录时:
    使用logstash的jdbc connector,可以通过为数据增加isDeleted字段的方式,标记成删除状态。同步到es后 再用程序分别删除。
    具体如何实现呢?ES增加isDeleted字段,数据库删除记录后,当数据库记录同步到ES后,跟ES原来数据做比较,这样ES知道哪些记录被删除了,ES将相应记录的isDeleted字段标记为1,后续用程序在ES删除数据。这样对吗?

    作者回复: logstash会根据记录的时间戳进行同步。当你需要删除记录时,只需要将数据库这条记录的timestamp更新,并通过标记一个字段为isDelated。然后logstash会定期update新的字段到es里

    2019-08-17
  • 霍云Obsidian
    老师,是只有字符串文本字段进行倒排索引,还是像数值型 日期类型 都有倒排索引

    作者回复: 只要index设置成true就有。设置成false,就无法被搜索。
    text会分词,其它的不做分词处理而已。

    2019-08-03
    1
  • 土柱
    老师好,dynamic 设置成 strict 的意义是什么?可以开始是 dynamic=true?然后字段定义好后设置成strict 不允许做修改?

    作者回复: 设置成strict,万一有一条数据里带着不存在的字段,写入就会失败。

    设置成true,数据可以写入,还会在mapping中增加那个字段的设置。随着时间的流逝,这类数据会导致mapping设定的膨胀

    2019-07-22
  • wangdexing
    我看了什么是mapping定义 部分
    "一个Mapping属于一个索引的Type
    每个文档都属于一个Type
    一个Type有一个Mapping定义"
    我感觉 es7.0 以前 没有废弃Type的时候 index 是不是对应的是数据库的database,Type对应的是table 不知道理解的对不对。

    还有 被索引的字段 是不是一定在mapping中,在mapping中的字段可以设置成不被索引.

    作者回复: 理解正确

    2019-07-19
  • 木木夕Ace
    学习完毕,明天再看
    2019-07-18
  • danvid
    老师我知道mapping的api怎么查但是我想知道,mapping是存储在es data里面哪个文件~我一直没找到mapping信息存储的地方

    作者回复: mapping信息是保存在cluster state里面的。
    文件应该放在 nodes/{N}/_state/global-{NNN} 下面

    https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-state.html

    2019-07-15
  • 石将从
    demo链接点击显示404

    作者回复: https://github.com/onebirdrocks/geektime-ELK

    2019-07-11
  • xishuai
    老师,两个数来回切换的意思是,文档总数量一会是10,一会儿是15,而且两个值同步增长,即有文档写入时,两个数差值是一样的

    作者回复: 这个我还真没有碰到过

    2019-07-11
  • Y
    老师keyword子字段是什么意思

    作者回复: keword是一种字段类型

    es的每个字段可以做多字段,例如,你有一个content的字段,类型是text。你可以为他指定一个子字段叫 keyword(也可以取名字叫kw)类型设置成keword,

    在做term查询时,就查询content.keyword(或者叫content.kw。

    es默认为所有文本都设置成text,并且设置keywoed的子字段

    2019-07-10
    1
收起评论
看过的人还看
MySQL实战45讲

林晓斌  网名丁奇,前阿里资深技术专家

48讲 | 46991 人已学习

拼团 ¥79 原价 ¥99
Kafka核心技术与实战

胡夕  人人贷计算平台部总监,Apache Kafka Contributor

46讲 | 9276 人已学习

拼团 ¥79 原价 ¥99
从0开始学架构

李运华  资深技术专家

59讲 | 39988 人已学习

拼团 ¥79 原价 ¥99
数据结构与算法之美

王争  前Google工程师

79讲 | 75599 人已学习

拼团 ¥79 原价 ¥99