当前播放: 10 | 基本概念:节点、集群、分片及副本
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
课程目录
第一章:概述 (4讲)
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发展历史
免费
04 | Elastic Stack家族成员及其应用场景
免费
第二章:安装上手 (4讲)
05 | Elasticsearch的安装与简单配置
免费
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
第三章:Elasticsearch入门 (15讲)
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
第四章:深入搜索 (13讲)
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
第五章:分布式特性及分布式搜索的机制 (8讲)
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
第六章:深入聚合分析 (4讲)
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
第七章:数据建模 (7讲)
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
第八章:保护你的数据 (3讲)
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
第九章:水平扩展Elasticsearch集群 (6讲)
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
第十章:生产环境中的集群运维 (10讲)
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
第十一章:索引生命周期管理 (2讲)
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
第十二章:用Logstash和Beats构建数据管道 (3讲)
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
第十三章:用Kibana进行数据可视化分析 (4讲)
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
第十四章:探索X-Pack套件 (6讲)
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
实战1:电影搜索服务 (3讲)
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
实战2:Stackoverflow用户调查问卷分析 (3讲)
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
备战:Elastic认证 (5讲)
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结束语
10 |	基本概念:节点、集群、分片及副本

10 | 基本概念:节点、集群、分片及副本

阮一鸣
eBay Pronto平台技术负责人
100讲 约1000分钟17010
单独订阅¥129
2人成团¥99
30
登录 后留言

精选留言(66)

  • Geek_e94f9e
    老师您好。请教个问题。我们的ES集群的一个索引有二十多亿个文档,大概有两三个T,有40个分片,查询非常慢,平均要几秒。有什么办法做优化吗?如果每个分片约存30G,那分片数量又会变多,似乎也会影响查询性能。所以,请教一下老师,面对这种文档数量比较大的索引,如果优化,减少查询时间。谢谢。
    2019-06-27
    8
    31
  • Hxd
    docker镜像没有下载成功的同学可以直接在本地做demo
    cerebro在GitHub上下载非常慢,我把它下载下来放到网盘了,大家可以解压到本机做测试:
    链接:https://pan.baidu.com/s/1xFXSKUTeuMjUiW-1fJ_HTw 密码:iaxx
    2019-07-08
    1
    14
  • xiao
    请问在生产环境,一台主机能运行多个节点么?通过增加节点是否提高es效率

    作者回复: 生产环境,建议一台vm或者一台bm一个ES inatance

    2019-07-06
    1
    4
  • 曹伟雄
    老师你好,正准备搭建ES集群(3台)做为分布式系统的日志监控平台,能否给一些注意事项或建议? 比如: 服务器的磁盘,内存多少合适? 分片,副本多少合适? 还有其它...谢谢

    作者回复: 你这个问题,相信听完第三部分后,就会自己给出答案。

    首先,我并不知道你的性能需求,例如多少数据量,多大的写入,是写为主还是查询为主,等等,只能给非常笼统的推荐

    磁盘,推荐 SSD,JVM最大Xmx 不要超过30G。副本分片至少设置为1。 主分片,单个存储不要超过 30 GB(按照这个你推算出分片数,进行设定)

    2019-06-26
    4
  • ┍ 赱私貨灬
    老师,我根据之前的课程,把movies数据集导入到了elasticsearch中。
    然后我在kibana中的索引管理中看到moveis的health为yellow,并且通过 http://localhost:9200/_cluster/health查看,status显示的也是yellow,请问需要做什么调整可以把yellow改为green呢?

    作者回复: 黄的状态 代表你的副本分片没有分配。一个办法是,先设置index的settings,将副本设置成0。一个办法可以通过增加一个节点使得分片能够分配。

    你有观察和思考的好习惯,👍

    2019-06-29
    6
    3
  • SuperSnow
    一个主分片是一个运行的Lucene的实例,是不是也可以理解为是一个运行的elasticsearch实例,毕竟一个节点只有一个主分片。

    作者回复: 在第二部分会有深入的讲解。

    一个node对应一个es instance
    一个node可以有多个index
    一个index可以有多个shard
    一个shard是一个lucene index(这个index是lucene自己的概念、和es的index不是一回事)

    2019-07-09
    1
    2
  • ℡人见人爱浩然君゜
    老师你好:
         请问怎么才能知道一个请求后面可以跟什么参数呢?比如以下:
         GET _cluster/health?level=shards (这个level=shards)
         GET /_cat/nodes?v&h=id,ip,port,v,m(这个h=id)
         ES有没有一个help接口的api呢?可以查阅所有接口和参数的说明。

    作者回复: 在kibana的dev console里,写一个api,mac下按下cmd➕/ 会跳到相应的api

    2019-10-17
    1
    1
  • 杨松
    请教下 -E 参选 这个的具体用法在哪有解释?这个是elasticsearch特有的还是linux的其他服务也可以带这个-E参数?

    作者回复: 是ES自己带的。默认会到elasticsearch.yml中读取,通过-E 会overwrite掉yml中的配置

    2019-10-06
    1
  • Wendell
    老师您好,我现在有一个六节点的集群,角色配置是data=true,master=true。(索引分片分配方式为:六个分片或四个分片)在线上使用过程中发现(正常使用几周后发现的),集群的负载不均衡,有两个节点的DISK使用量接近98%,其它节点磁盘还有较多剩余。集群看到的现象是磁盘爆满的这两个节点的分片都处于未分配的状态【"details": "failed to create shard, failure IOException[No space left on device]"】。之后在集群上新建6个分片的索引的时候,甚至有些索引的分片全在一个节点上。
    问题一:集群在数据写入过程中为什么会有分片数据不自动均衡分配的现象?
    问题二:设置每个索引在一个节点的最大分片数量是否会解决这个问题?
    问题三:已经分配失败的分片,如何快速恢复呢?

    作者回复: 1.集群中磁盘快满的时候,你再增加机器,确实可能导致新建的索引全部分配到新节点上去的可能性。最终导致数据分配不均。所以要记得监控集群,到70%就需要考虑删除数据或是增加节点

    2.可以设置最大分片书缓解这个问题。

    3.分片的尺寸如果过大,确实也没有快速恢复的办法,所以尽量保证分片的size在40G以下

    2019-07-29
    2
    1
  • wangdexing
    简单说下我的操作流程(操作系统windows):
    1.在 cmd控制台中 进入elasticsearch的bin目录下 运行一下命令(必须打开两个cmd窗口 一个窗口运行不了)
    elasticsearch -E node.name=node1 -E cluster.name=geektime -E path.data=node1_data -d
    elasticsearch -E node.name=node2 -E cluster.name=geektime -E path.data=node2_data -d
    2、打开kibana的 配置文件 kibana.yml
    修改elasyicsearch.hosts
    elasticsearch.hosts: ["http://localhost:9200","http://localhost:9201"]
    顺便汉化了一下
    i18n.locale: "zh-CN"
    然后运行 kibana.bat kibana在页面上把电商订单 航空公司等测试数据加进去
    3、修改下logstash.conf
    修改最后部分的输出的elastichosts
    output {
       elasticsearch {
         hosts => ["http://localhost:9200","http://localhost:9201"]
    还有删除上面的input的sincedb_path路径的文件(如果有的话),不删除数据导不进去
    最后启动 logstash -f logstash.conf


    不知道自己的操作过程是不是有问题 请老师帮忙看一下

    作者回复: 应该没有问题,数据导入了,就说明正确了

    2019-07-12
    1
  • Coisini
    老师 进入 cerebro 连接elasticsearch失败 会不会是因为http://elasticsearch:9200 中识别不了elasticsearch这个主机名呀

    作者回复: docker内访问,使用的就是这个内部网络。你访问localhost:9200可以吗?

    2019-07-01
    3
    1
  • AS.Chaser
    老师您好,有一个点不是很能理解:您上课有讲过es在搜索的时候,query阶段会把请求随机发送到主副分片上。这点不是很能理解,副本分片不是用来备份数据的吗,怎么还参与了搜索数据,那分主副分片的意义在哪啊。谢谢老师
    2019-12-31
  • wb
    老师你好,我怎么在docker里面指定es所依赖的jdk版本呢?
    2019-11-18
  • walker
    请问 ES 的单个分片可以跨节点或跨硬盘吗?
    2019-11-14
  • walker
    请问 ES 的单个分片可以跨节点吗?

    作者回复: 单个分片不能垮节点

    2019-11-14
  • sunsky
    老师,为什么我用docker stop 停止副本分片之后 cerebro连接不上了

    作者回复: 是不是杀掉了唯一的master的节点?

    2019-11-07
  • WWR
    我stop集群中一个节点,怎么整个服务都进不去了呢?kibana和cerebro也进不去了
    kibana:无法连接到 Elasticsearch 集群
    cerebro:
    {
      "error": "elasticsearch"
    }

    作者回复: 至少要确保能有一个master节点正常工作,否则集群将无法正常工作

    2019-10-31
    1
  • 涧泉
    老师,您好!请教一下,如果是ELK作为生产日志归集查询的日志处理平台,这个集群部署以及节点的设置有什么建议,硬件方便有什么好的方案,这个日志是交易系统的日志。
    2019-10-27
  • 杨松
    还想请教老师和同学个问题,我用的es是7.3.1版本,用docker安装的,我看了配置文件elasticsearch.yml里面也没有默认的端口号9200,这个默认的端口号必须要我在启动的时候在命令行上指定 -p 9200:9200 -p 9300:9300才行吗?还是这个版本的默认端口号设置在其他地方了?
    2019-10-06
  • Ocean
    老师,您好!如果通过REST API来操作es集群,我应该将请求发送到哪一个节点?将所有的请求都发送到同一个节点会不会有压力。
    2019-09-26
收起评论
看过的人还看
从0开始学架构

李运华  资深技术专家

59讲 | 39291 人已学习

¥99
趣谈网络协议

刘超  网易研究院云计算技术部首席架构师

51讲 | 40128 人已学习

拼团 ¥79 原价 ¥99
MySQL实战45讲

林晓斌  网名丁奇,前阿里资深技术专家

48讲 | 44258 人已学习

拼团 ¥79 原价 ¥99
Kafka核心技术与实战

胡夕  人人贷计算平台部总监,Apache Kafka Contributor

46讲 | 8612 人已学习

拼团 ¥79 原价 ¥99