当前播放: 62 | 如何对集群进行容量规划
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
课程目录
第一章:概述 (4讲)
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发展历史
免费
04 | Elastic Stack家族成员及其应用场景
免费
第二章:安装上手 (4讲)
05 | Elasticsearch的安装与简单配置
免费
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
第三章:Elasticsearch入门 (15讲)
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
第四章:深入搜索 (13讲)
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
第五章:分布式特性及分布式搜索的机制 (8讲)
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
第六章:深入聚合分析 (4讲)
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
第七章:数据建模 (7讲)
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
第八章:保护你的数据 (3讲)
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
第九章:水平扩展Elasticsearch集群 (6讲)
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
第十章:生产环境中的集群运维 (10讲)
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
第十一章:索引生命周期管理 (2讲)
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
第十二章:用Logstash和Beats构建数据管道 (3讲)
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
第十三章:用Kibana进行数据可视化分析 (4讲)
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
第十四章:探索X-Pack套件 (6讲)
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
实战1:电影搜索服务 (3讲)
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
实战2:Stackoverflow用户调查问卷分析 (3讲)
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
备战:Elastic认证 (5讲)
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结束语
62 | 如何对集群进行容量规划

62 | 如何对集群进行容量规划

阮一鸣
eBay Pronto平台技术负责人
100讲 约1000分钟18074
单独订阅¥129
2人成团¥99
5
登录 后留言

精选留言(6)

  • Geek_c52e59
    請教老師,我們目前在生產環境使用的protocol是transport的方式,不是RESTFul API,請問這樣的狀況下增加coordinate node 做查詢的load banlancer是有用嗎的?

    作者回复: lb是基于9200走的http。transport走的是9300,估计你是通过将一组node的ip加入配置文件来实现的吧?这种情况下,通过增加节点也可以实现水平扩展

    2019-11-06
    1
  • 张红泽
    老师我们现在一个索引10个主分片,现在每个主分片80g,现在我们需要增加分片数量,增加到 100个,会造成集群查询变慢吗

    作者回复: 单个分片的尺寸最好控制在50G以下。单台机器,每一个G的内存,分配20个以下的分片。

    你现在突然将主分片扩到100个,每个上面只有8g,这肯定是over sharding了

    2019-10-17
    1
  • 亚伦王
    老师,我想问了一下es中的数据是怎么存储的,是主要的数据都存储在磁盘里吗?那内存里是会存储什么类型的数据吗? 或者举个列子 一个集群3个节点 每台配置都是32核64G 内存 500G磁盘,那理论上这个集群是可以存储1500G左右的数据吗?
    2019-12-21
  • godtrue
    还未做过类似的工作,不过感觉和关系型数据库的容量规划是类似的,老师讲解的挺好,大体原则清楚了。目前组内的另一个同事其实就遇到了关于ES写入慢的问题,不过具体的mapping和es集群的配置不太清楚,是一个定时任务跑一次会产生大量的数据,她会将产生的数据写入ES集群用于后期的展示,一次会产生7.4T的数据,跑一次任务需要一两个小时,是日志性数据,也许可以利用老师的讲解稍微优化一下。
    2019-09-22
  • 金hb.Ryan 冷空氣駕到
    请问hot warm架构会介绍么

    作者回复: 有介绍的

    2019-09-19
  • 飞飞
    请教老师,我们的项目上单表已经达到6t,目前是250多个分片,有什么好的机制能实现更快的数据入库么?

    作者回复: 数据入库如果为了提高写性能,可以参考提高写性能一节。总体来说可以通过修改refresh和translog,牺牲查询实时性和数据稳定性提高tps。

    单表数据6t 如果要写入索引,如果是时间序列数据,可以建立timebase的index。如果不是,可以考虑按照字段进行划分索引,例如按照订单的地区,cn,us,划分不同的索引。然后,当然索引得主分片,确保单个分片的尺寸在30g以下

    2019-09-09
    1
收起评论
看过的人还看
Kafka核心技术与实战

胡夕  人人贷计算平台部总监,Apache Kafka Contributor

46讲 | 9208 人已学习

拼团 ¥79 原价 ¥99
从0开始学架构

李运华  资深技术专家

59讲 | 39918 人已学习

拼团 ¥79 原价 ¥99
趣谈网络协议

刘超  网易研究院云计算技术部首席架构师

51讲 | 41401 人已学习

限时 ¥79 原价 ¥99
MySQL实战45讲

林晓斌  网名丁奇,前阿里资深技术专家

48讲 | 46863 人已学习

拼团 ¥79 原价 ¥99