当前播放: 08 | Logstash安装与导入数据
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
课程目录
第一章:概述 (4讲)
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发展历史
免费
04 | Elastic Stack家族成员及其应用场景
免费
第二章:安装上手 (4讲)
05 | Elasticsearch的安装与简单配置
免费
06 | Kibana的安装与界面快速浏览
07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro
08 | Logstash安装与导入数据
第三章:Elasticsearch入门 (15讲)
09 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本
11 | 文档的基本CRUD与批量操作
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query DSL简介
17 | Query String&Simple Query String查询
18 | Dynamic Mapping和常见字段类型
19 | 显式Mapping设置与常见参数介绍
20 | 多字段特性及Mapping中配置自定义Analyzer
21 | Index Template和Dynamic Template
22 | Elasticsearch聚合分析简介
23 | 第一部分总结
第四章:深入搜索 (13讲)
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字符串多字段查询
28 | 单字符串多字段查询:Dis Max Query
29 | 单字符串多字段查询:Multi Match
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索的实例
32 | 使用Search Template和Index Alias查询
33 | 综合排序:Function Score Query优化算分
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提示
36 | 配置跨集群搜索
第五章:分布式特性及分布式搜索的机制 (8讲)
37 | 集群分布式模型及选主与脑裂问题
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算分
42 | 排序及Doc Values&Fielddata
43 | 分页与遍历:From, Size, Search After & Scroll API
44 | 处理并发读写操作
第六章:深入聚合分析 (4讲)
45 | Bucket & Metric聚合分析及嵌套聚合
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问题
第七章:数据建模 (7讲)
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query & Reindex API
52 | Ingest Pipeline & Painless Script
53 | Elasticsearch数据建模实例
54 | Elasticsearch数据建模最佳实践
55 | 第二部分总结回顾
第八章:保护你的数据 (3讲)
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
第九章:水平扩展Elasticsearch集群 (6讲)
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard Filtering
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsearch集群的一些方法
64 | 在公有云上管理与部署Elasticsearch集群
第十章:生产环境中的集群运维 (10讲)
65 | 生产环境常用配置与上线清单
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问题
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内存使用
74 | 一些运维的相关建议
第十一章:索引生命周期管理 (2讲)
75 | 使用Shrink与Rollover API有效管理时间序列索引
76 | 索引全生命周期管理及工具介绍
第十二章:用Logstash和Beats构建数据管道 (3讲)
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到Elasticsearch
79 | Beats介绍
第十三章:用Kibana进行数据可视化分析 (4讲)
80 | 使用Index Pattern配置数据
81 | 使用Kibana Discover探索数据
82 | 基本可视化组件介绍
83 | 构建Dashboard
第十四章:探索X-Pack套件 (6讲)
84 | 用Monitoring和Alerting监控Elasticsearch集群
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的异常检测(上)
87 | 用机器学习实现时序数据的异常检测(下)
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
实战1:电影搜索服务 (3讲)
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsearch
92 | 搭建你的电影搜索服务
实战2:Stackoverflow用户调查问卷分析 (3讲)
93 | 需求分析及架构设计
94 | 数据Extract & Enrichment
95 | 构建Insights Dashboard
备战:Elastic认证 (5讲)
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构建应用
100 | 结束语
08 | 	Logstash安装与导入数据

08 | Logstash安装与导入数据

阮一鸣
eBay Pronto平台技术负责人
100讲 约1000分钟16933
单独订阅¥129
2人成团¥99
13
本节摘要
展开
登录 后留言

精选留言(130)

  • QQ怪 置顶
    老师用的mac版本的我老是报错,后来找到解决方法了,windows改成这样:
    input {
      file {
        path => ["D:/logstash-7.1.1/movielens/ml-latest-small/movies.csv"]
        start_position => beginning
        sincedb_path => "D:/logstash-7.1.1/123"
      }
    }

    作者回复: 谢谢你的分享!所以其他平台,我确实没有做过测试验证。

    2019-06-25
    4
    22
  • 张耀挺
    Windows下面试了好多次,启动都没问题就是没数据,最后看了半天才发现一般我们从windows系统中复制的路径都是\斜杠的,但是配置文件中的路径需要的是/斜杠的路径。如果有这个问题就会导致数据源就没法读取,当然也不会有输出的数据。这种小问题确实很烦人,希望大家能多交流这些小坑。

    作者回复: 谢谢你的分享。课程准备工作量比较多,我又没有时间在每台机器上做测试,这些兼容问题确实给一些同学造成了困扰。

    谢谢你的极客精神和分享的精神

    2019-07-10
    1
    14
  • .两个调味罐
    我来个windows版的教程吧:
    1.下载解压好logstash
    2.下载解压ml(我从github下载下来后好像和老师的不大一样,然后就把老师的那些文件复制一份到自己的文件夹里)
    3.新建logstash.conf文件(这个文件需要放在logstash的bin目录下),编辑里面的内容:(主要改的就是最上面这一块---path的路径指向的是你的movies.csv路径,要加中括号,sincedb_路径要是一个真实路径,但是可以加一个不存在的文件,这个路径的意思老师在其它留言中有讲解在此不再阐述。)
    input {
      file {
        path => ["C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/movies.csv"]
        start_position => beginning
        sincedb_path => "C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/abc"
      }
    }


    4.打开cmd,进入logstash的bin目录下,执行logstash -f logstash.conf

    作者回复: 谢谢你的分享。

    2019-06-28
    13
    9
  • 小沫
    在执行 LogStash 时 ,需要使用 sudo ,否则命令执行完成后 没有权限操作相关文件。这个确实需要注意。

    作者回复: 嗯,谢谢你的分享

    2019-06-27
    5
    9
  • 潇湘
    老师,请问下mysql到es的数据同步,具体方法会有讲解吗?

    作者回复: 我可以在logstash中加上这部分的讲解

    2019-07-11
    6
  • 木木
    结合老师和楼上几位前辈的指点,整合了一个能在windows下运行的配置文件(yourdata.confi),供参考。

    input {
      file {
        path => ["D:/Elasticsearch/ml-latest-small/movies.csv"]
        start_position => "beginning"
        sincedb_path => "nul"
      }
    }

    filter {
      csv {
        separator => ","
        columns => ["id","content","genre"]
      }

      mutate {
        split => { "genre" => "|" }
        remove_field => ["path", "host","@timestamp","message"]
      }

      mutate {

        split => ["content", "("]
        add_field => { "title" => "%{[content][0]}"}
        add_field => { "year" => "%{[content][1]}"}
      }


      mutate {
        convert => {
          "year" => "integer"
        }
        strip => ["title"]
        remove_field => ["path", "host","@timestamp","message","content"]
      }


    }

    output {
       elasticsearch {
         hosts => "http://localhost:9200"
         index => "movies"
         document_id => "%{id}"
       }
      stdout {}
    }

    作者回复: 👍

    2019-07-03
    2
    6
  • LoveDlei
    老师您好:
        我是es初学者,也是初级使用者。
    请教您几个问题:
    1.我打算用springboot+springcloud-data-elasticsearch 进行开发,能不能讲解下框架的搭建和使用或者有哪些注意事项?
    2.在网上我也搜索一些资料,但是各种说法都是参差不齐,不知该如何选择?老师是否可以提供一写好的资料或网站(网址),作为入门资料,使我们这些初学者(初级使用者)边使用边学习逐渐深入啊?

    辛苦老师,帮忙解惑。不知道我描述的问题老师是否理解了!!!我现在就是不知道如何下手?

    作者回复: 1. 你可以去看一下我在极客时间写的学习路径
    2. 你可以看完视频,安装es和kibana 实际操作一下
    3.和spring的集成,原来没有这方面的计划,现在会考虑增加一节

    2019-07-06
    5
  • ChaoX
    window版本如出现如下错误时
    Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>"Could not execute action: PipelineAction::Create<main>, action_result: false", :backtrace=>nil}
    可复制下文input内容改成如下:
    input {
      file {
        path => ["csv路径"]
        start_position => beginning
        sincedb_path => "nul"
      }
    }
    sincedb_path 路径改为nul即可
    2019-06-29
    1
    5
  • 张瑜
    没有在该路径下“- movielens/logstash6.conf //logstash 6.x 配置文件”找到logstash6.x的配置文件呢
    2019-08-16
    1
  • oo0oo
    奇了怪了,数据没导完(打开数据集对比了一下,发现只导到第9000行),显示停了,kibana索引管理里显示movies索引状态为yellow

    作者回复: yellow应该不影响数据写入的。为什么是黄色,通过后面的课程应该会了解原因。

    在这个例子中,因为设置了replica为1。在单节点的集群中肯定无法分配副本。所以导致了集群变黄

    2019-07-24
    1
  • Geek_zy
    老师我的logstash启动成功了但是报这个错误是怎么回事呢?
    [ERROR][logstash.outputs.elasticsearch] Failed to install template. {:message=>"Got response code '503' contacting Elasticsearch at URL 'http://localhost:9200/_template/logstash'", :class=>"LogStash
    error_message=>"Elasticsearch Unreachable: [http://localhost:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"
    是和docker 的网路不通吗?

    作者回复: 如果要确保是否docker的问题,你可以先通过访问9200查看集群状态。

    或者先启动单机的es。通过二分法定位真正的问题所在。缩小范围,再做解决

    2019-07-16
    1
  • 绅士
    1,第一次sincedb_path => "/dev/null",报错,指定路径不存在
    2,sincedb_path => "/Users/jxliu/elsticsearch/ml-latest-small/abc",报错
    Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.
    兄弟们,你们遇到这种情况了吗
    2019-07-15
    1
  • walker
    导入数据怎么算完?但最后没退出,Ctrl-c 强制退出有问题吗?

    作者回复: 不再继续打印输信息了,就算结束了。logstash会监听文件,如有变化,会继续更新。

    强制退出不会有影响

    2019-07-14
    1
    1
  • 一步
    这里的 logstash.conf 和 movies.csv 文件 为什么要拷贝到 bin 目录下呢?
    直接使用 -f 指定配置 logstash.conf文件的路径 和 movies.csv 文件用绝对路径不可以吗?

    作者回复: 拷贝到哪里都可以,只要确保路径正确。放bin下面只是方便演示

    2019-07-12
    1
  • Sam
    老师,我用logstash导入数据后,提示“ 1 unassigned shards"。
    我的es环境为单个节点。可否告知下原因。

    作者回复: 应该是分片副本设置成1,单节点下,副本必须和主分片在不同的节点上,因此导致了unassign

    2019-07-10
    1
  • 数据通过logstash导入ES成功,然后通过Kibana DevTools 命令DELETE moves进行删除索引,删除后再次通过logstash进行数据导入,未报异常,但是数据导入不成功,老师可以给讲解一下问题出在哪里么

    作者回复: 不知道你的sincedb_path设置是什么?如果指定了有意义的路径,可以尝试删除改文件。

    通过我们课程中的logstash的配置文件可知,我们有一个参数sincedb_path,其值为“/dev/null”,这个参数的是用来配置记录logstash读取日志文件位置的文件的名称的,我们将文件的名称指定为“/dev/null”这个 Linux 系统上特殊的空文件,那么 logstash 每次重启进程的时候,尝试读取 sincedb 内容,都只会读到空白内容,也就会理解成之前没有过运行记录,自然就从初始位置开始读取了!

    2019-07-05
    2
    1
  • tangyongchun
    老师,可以分享下课件吗

    作者回复: https://github.com/onebirdrocks/geektime-ELK

    进入part-1,下面有第一部分的课件的pdf

    2019-07-05
    1
  • Y
    好像是启动成功了 但是数据没有导入到ES

    作者回复: 请查看logstash的console是否有输出错误信息,如课程视频所演示,如果数据写入成功,会打印出相关的文档信息

    2019-06-28
    1
  • kyushu
    您好,请问下Logstash的集成可以添加到docker里面么,需要调整相关配置吗?

    作者回复: logstash也可以集成进docker,讲课为了保持简洁,所以没有涵盖logstash的配置。如果你有兴趣 可以参考github这个项目

    https://github.com/deviantony/docker-elk

    2019-06-25
    1
    1
  • Middleware
    老师,后续可能的话讲解下配置文件,一味的复制,感觉不是很好

    作者回复: 你是说logstash的配置文件吗?后续课程中会做出讲解的,第一部分主要是让大家先通过实际操作体验,建立一个大概的概念。

    2019-06-24
    1
收起评论
看过的人还看
从0开始学架构

李运华  资深技术专家

59讲 | 39237 人已学习

拼团 ¥79 原价 ¥99
趣谈网络协议

刘超  网易研究院云计算技术部首席架构师

51讲 | 40041 人已学习

拼团 ¥79 原价 ¥99
MySQL实战45讲

林晓斌  网名丁奇,前阿里资深技术专家

48讲 | 44112 人已学习

拼团 ¥79 原价 ¥99
Kafka核心技术与实战

胡夕  人人贷计算平台部总监,Apache Kafka Contributor

46讲 | 8580 人已学习

拼团 ¥79 原价 ¥99