Elasticsearch 核心技术与实战
阮一鸣
eBay Pronto 平台技术负责人
66492 人已学习
新⼈⾸单¥68
课程目录
已完结/共 100 讲
第八章:保护你的数据 (3讲)
第十一章:索引生命周期管理 (2讲)
第十二章:用Logstash和Beats构建数据管道 (3讲)
第十三章:用Kibana进行数据可视化分析 (4讲)
实战1:电影搜索服务 (3讲)
实战2:Stackoverflow用户调查问卷分析 (3讲)
备战:Elastic认证 (5讲)
Elasticsearch 核心技术与实战
登录|注册
留言
99+
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 08 | Logstash安装与导入数据
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述及学习建议
03 | Elasticsearch简介及其发展历史
04 | Elastic Stack家族成员及其应用场景
05 | Elasticsearch的安装与简单配置
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升集群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结课测试&结束语
登录 后留言

全部留言(185)

  • 最新
  • 精选
QQ怪
置顶
老师用的mac版本的我老是报错,后来找到解决方法了,windows改成这样: input { file { path => ["D:/logstash-7.1.1/movielens/ml-latest-small/movies.csv"] start_position => beginning sincedb_path => "D:/logstash-7.1.1/123" } }

作者回复: 谢谢你的分享!所以其他平台,我确实没有做过测试验证。

2019-06-25
9
36
张耀挺
Windows下面试了好多次,启动都没问题就是没数据,最后看了半天才发现一般我们从windows系统中复制的路径都是\斜杠的,但是配置文件中的路径需要的是/斜杠的路径。如果有这个问题就会导致数据源就没法读取,当然也不会有输出的数据。这种小问题确实很烦人,希望大家能多交流这些小坑。

作者回复: 谢谢你的分享。课程准备工作量比较多,我又没有时间在每台机器上做测试,这些兼容问题确实给一些同学造成了困扰。 谢谢你的极客精神和分享的精神

2019-07-10
3
27
.两个调味罐
我来个windows版的教程吧: 1.下载解压好logstash 2.下载解压ml(我从github下载下来后好像和老师的不大一样,然后就把老师的那些文件复制一份到自己的文件夹里) 3.新建logstash.conf文件(这个文件需要放在logstash的bin目录下),编辑里面的内容:(主要改的就是最上面这一块---path的路径指向的是你的movies.csv路径,要加中括号,sincedb_路径要是一个真实路径,但是可以加一个不存在的文件,这个路径的意思老师在其它留言中有讲解在此不再阐述。) input { file { path => ["C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/movies.csv"] start_position => beginning sincedb_path => "C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/abc" } } 4.打开cmd,进入logstash的bin目录下,执行logstash -f logstash.conf

作者回复: 谢谢你的分享。

2019-06-28
18
27
木木
结合老师和楼上几位前辈的指点,整合了一个能在windows下运行的配置文件(yourdata.confi),供参考。 input { file { path => ["D:/Elasticsearch/ml-latest-small/movies.csv"] start_position => "beginning" sincedb_path => "nul" } } filter { csv { separator => "," columns => ["id","content","genre"] } mutate { split => { "genre" => "|" } remove_field => ["path", "host","@timestamp","message"] } mutate { split => ["content", "("] add_field => { "title" => "%{[content][0]}"} add_field => { "year" => "%{[content][1]}"} } mutate { convert => { "year" => "integer" } strip => ["title"] remove_field => ["path", "host","@timestamp","message","content"] } } output { elasticsearch { hosts => "http://localhost:9200" index => "movies" document_id => "%{id}" } stdout {} }

作者回复: 👍

2019-07-03
6
20
小沫
在执行 LogStash 时 ,需要使用 sudo ,否则命令执行完成后 没有权限操作相关文件。这个确实需要注意。

作者回复: 嗯,谢谢你的分享

2019-06-27
7
18
潇湘
老师,请问下mysql到es的数据同步,具体方法会有讲解吗?

作者回复: 我可以在logstash中加上这部分的讲解

2019-07-11
2
10
LoveDlei
老师您好: 我是es初学者,也是初级使用者。 请教您几个问题: 1.我打算用springboot+springcloud-data-elasticsearch 进行开发,能不能讲解下框架的搭建和使用或者有哪些注意事项? 2.在网上我也搜索一些资料,但是各种说法都是参差不齐,不知该如何选择?老师是否可以提供一写好的资料或网站(网址),作为入门资料,使我们这些初学者(初级使用者)边使用边学习逐渐深入啊? 辛苦老师,帮忙解惑。不知道我描述的问题老师是否理解了!!!我现在就是不知道如何下手?

作者回复: 1. 你可以去看一下我在极客时间写的学习路径 2. 你可以看完视频,安装es和kibana 实际操作一下 3.和spring的集成,原来没有这方面的计划,现在会考虑增加一节

2019-07-06
3
8
oo0oo
奇了怪了,数据没导完(打开数据集对比了一下,发现只导到第9000行),显示停了,kibana索引管理里显示movies索引状态为yellow

作者回复: yellow应该不影响数据写入的。为什么是黄色,通过后面的课程应该会了解原因。 在这个例子中,因为设置了replica为1。在单节点的集群中肯定无法分配副本。所以导致了集群变黄

2019-07-24
3
qbit
导入数据怎么算完?但最后没退出,Ctrl-c 强制退出有问题吗?

作者回复: 不再继续打印输信息了,就算结束了。logstash会监听文件,如有变化,会继续更新。 强制退出不会有影响

2019-07-14
2
2
LaoD。
老师 在docker下安装了logstash 怎么导数据呢?

作者回复: docker中安装了logstash,如果需要导入数据,可以通过attach到docker容器中运行命令。如果只是本机开发学习,没有必要将logstash运行在docker容器中

2020-01-10
2
1
收起评论