下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 08 | Logstash安装与导入数据
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Elasticsearch核心技术与实战

共100讲 · 约1000分钟
16516
免费
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发...
免费
04 | Elastic Stack家族成员及...
免费
05 | Elasticsearch的安装与...
06 | Kibana的安装与界面快速...
07 | 在Docker容器中运行Elas...
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和...
10 | 基本概念:节点、集群、分...
11 | 文档的基本CRUD与批量操...
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query ...
17 | Query String&Simple ...
18 | Dynamic Mapping和常见...
19 | 显式Mapping设置与常见参...
20 | 多字段特性及Mapping中配...
21 | Index Template和Dynami...
22 | Elasticsearch聚合分析简...
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字...
28 | 单字符串多字段查询:Dis...
29 | 单字符串多字段查询:Mult...
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索...
32 | 使用Search Template和In...
33 | 综合排序:Function Scor...
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提...
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑...
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算...
42 | 排序及Doc Values&Field...
43 | 分页与遍历:From, Siz...
44 | 处理并发读写操作
45 | Bucket & Metric聚合分...
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问...
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query &...
52 | Ingest Pipeline & Pa...
53 | Elasticsearch数据建模实...
54 | Elasticsearch数据建模最...
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard...
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsea...
64 | 在公有云上管理与部署Elas...
65 | 生产环境常用配置与上线清...
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问...
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内...
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover AP...
76 | 索引全生命周期管理及工具...
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到El...
79 | Beats介绍
80 | 使用Index Pattern配置数...
81 | 使用Kibana Discover探索...
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监...
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的...
87 | 用机器学习实现时序数据的...
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsea...
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichm...
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构...
100 | 结束语
本节摘要
展开

精选留言(126)

  • QQ怪 置顶
    2019-06-25
    老师用的mac版本的我老是报错,后来找到解决方法了,windows改成这样:
    input {
      file {
        path => ["D:/logstash-7.1.1/movielens/ml-latest-small/movies.csv"]
        start_position => beginning
        sincedb_path => "D:/logstash-7.1.1/123"
      }
    }
    展开

    作者回复: 谢谢你的分享!所以其他平台,我确实没有做过测试验证。

    4
    21
  • 2019-07-10
    Windows下面试了好多次,启动都没问题就是没数据,最后看了半天才发现一般我们从windows系统中复制的路径都是\斜杠的,但是配置文件中的路径需要的是/斜杠的路径。如果有这个问题就会导致数据源就没法读取,当然也不会有输出的数据。这种小问题确实很烦人,希望大家能多交流这些小坑。

    作者回复: 谢谢你的分享。课程准备工作量比较多,我又没有时间在每台机器上做测试,这些兼容问题确实给一些同学造成了困扰。

    谢谢你的极客精神和分享的精神

    1
    13
  • 2019-06-28
    我来个windows版的教程吧:
    1.下载解压好logstash
    2.下载解压ml(我从github下载下来后好像和老师的不大一样,然后就把老师的那些文件复制一份到自己的文件夹里)
    3.新建logstash.conf文件(这个文件需要放在logstash的bin目录下),编辑里面的内容:(主要改的就是最上面这一块---path的路径指向的是你的movies.csv路径,要加中括号,sincedb_路径要是一个真实路径,但是可以加一个不存在的文件,这个路径的意思老师在其它留言中有讲解在此不再阐述。)
    input {
      file {
        path => ["C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/movies.csv"]
        start_position => beginning
        sincedb_path => "C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/abc"
      }
    }


    4.打开cmd,进入logstash的bin目录下,执行logstash -f logstash.conf
    展开

    作者回复: 谢谢你的分享。

    13
    9
  • 2019-06-27
    在执行 LogStash 时 ,需要使用 sudo ,否则命令执行完成后 没有权限操作相关文件。这个确实需要注意。

    作者回复: 嗯,谢谢你的分享

    5
    9
  • 2019-07-11
    老师,请问下mysql到es的数据同步,具体方法会有讲解吗?

    作者回复: 我可以在logstash中加上这部分的讲解

    6
  • 2019-07-06
    老师您好:
        我是es初学者,也是初级使用者。
    请教您几个问题:
    1.我打算用springboot+springcloud-data-elasticsearch 进行开发,能不能讲解下框架的搭建和使用或者有哪些注意事项?
    2.在网上我也搜索一些资料,但是各种说法都是参差不齐,不知该如何选择?老师是否可以提供一写好的资料或网站(网址),作为入门资料,使我们这些初学者(初级使用者)边使用边学习逐渐深入啊?

    辛苦老师,帮忙解惑。不知道我描述的问题老师是否理解了!!!我现在就是不知道如何下手?
    展开

    作者回复: 1. 你可以去看一下我在极客时间写的学习路径
    2. 你可以看完视频,安装es和kibana 实际操作一下
    3.和spring的集成,原来没有这方面的计划,现在会考虑增加一节

    5
  • 2019-07-03
    结合老师和楼上几位前辈的指点,整合了一个能在windows下运行的配置文件(yourdata.confi),供参考。

    input {
      file {
        path => ["D:/Elasticsearch/ml-latest-small/movies.csv"]
        start_position => "beginning"
        sincedb_path => "nul"
      }
    }

    filter {
      csv {
        separator => ","
        columns => ["id","content","genre"]
      }

      mutate {
        split => { "genre" => "|" }
        remove_field => ["path", "host","@timestamp","message"]
      }

      mutate {

        split => ["content", "("]
        add_field => { "title" => "%{[content][0]}"}
        add_field => { "year" => "%{[content][1]}"}
      }


      mutate {
        convert => {
          "year" => "integer"
        }
        strip => ["title"]
        remove_field => ["path", "host","@timestamp","message","content"]
      }


    }

    output {
       elasticsearch {
         hosts => "http://localhost:9200"
         index => "movies"
         document_id => "%{id}"
       }
      stdout {}
    }
    展开

    作者回复: 👍

    2
    5
  • 2019-06-29
    window版本如出现如下错误时
    Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>"Could not execute action: PipelineAction::Create<main>, action_result: false", :backtrace=>nil}
    可复制下文input内容改成如下:
    input {
      file {
        path => ["csv路径"]
        start_position => beginning
        sincedb_path => "nul"
      }
    }
    sincedb_path 路径改为nul即可
    展开
    1
    4
  • 2019-08-16
    没有在该路径下“- movielens/logstash6.conf //logstash 6.x 配置文件”找到logstash6.x的配置文件呢
    1
  • 2019-07-24
    奇了怪了,数据没导完(打开数据集对比了一下,发现只导到第9000行),显示停了,kibana索引管理里显示movies索引状态为yellow

    作者回复: yellow应该不影响数据写入的。为什么是黄色,通过后面的课程应该会了解原因。

    在这个例子中,因为设置了replica为1。在单节点的集群中肯定无法分配副本。所以导致了集群变黄

    1
  • 2019-07-16
    老师我的logstash启动成功了但是报这个错误是怎么回事呢?
    [ERROR][logstash.outputs.elasticsearch] Failed to install template. {:message=>"Got response code '503' contacting Elasticsearch at URL 'http://localhost:9200/_template/logstash'", :class=>"LogStash
    error_message=>"Elasticsearch Unreachable: [http://localhost:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"
    是和docker 的网路不通吗?
    展开

    作者回复: 如果要确保是否docker的问题,你可以先通过访问9200查看集群状态。

    或者先启动单机的es。通过二分法定位真正的问题所在。缩小范围,再做解决

    1
  • 2019-07-15
    1,第一次sincedb_path => "/dev/null",报错,指定路径不存在
    2,sincedb_path => "/Users/jxliu/elsticsearch/ml-latest-small/abc",报错
    Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.
    兄弟们,你们遇到这种情况了吗
    展开
    1
  • 2019-07-14
    导入数据怎么算完?但最后没退出,Ctrl-c 强制退出有问题吗?

    作者回复: 不再继续打印输信息了,就算结束了。logstash会监听文件,如有变化,会继续更新。

    强制退出不会有影响

    1
    1
  • 2019-07-12
    这里的 logstash.conf 和 movies.csv 文件 为什么要拷贝到 bin 目录下呢?
    直接使用 -f 指定配置 logstash.conf文件的路径 和 movies.csv 文件用绝对路径不可以吗?

    作者回复: 拷贝到哪里都可以,只要确保路径正确。放bin下面只是方便演示

    1
  • 2019-07-10
    老师,我用logstash导入数据后,提示“ 1 unassigned shards"。
    我的es环境为单个节点。可否告知下原因。

    作者回复: 应该是分片副本设置成1,单节点下,副本必须和主分片在不同的节点上,因此导致了unassign

    1
  • 2019-07-05
    数据通过logstash导入ES成功,然后通过Kibana DevTools 命令DELETE moves进行删除索引,删除后再次通过logstash进行数据导入,未报异常,但是数据导入不成功,老师可以给讲解一下问题出在哪里么

    作者回复: 不知道你的sincedb_path设置是什么?如果指定了有意义的路径,可以尝试删除改文件。

    通过我们课程中的logstash的配置文件可知,我们有一个参数sincedb_path,其值为“/dev/null”,这个参数的是用来配置记录logstash读取日志文件位置的文件的名称的,我们将文件的名称指定为“/dev/null”这个 Linux 系统上特殊的空文件,那么 logstash 每次重启进程的时候,尝试读取 sincedb 内容,都只会读到空白内容,也就会理解成之前没有过运行记录,自然就从初始位置开始读取了!

    2
    1
  • 2019-07-05
    老师,可以分享下课件吗

    作者回复: https://github.com/onebirdrocks/geektime-ELK

    进入part-1,下面有第一部分的课件的pdf

    1
  • Y
    2019-06-28
    好像是启动成功了 但是数据没有导入到ES

    作者回复: 请查看logstash的console是否有输出错误信息,如课程视频所演示,如果数据写入成功,会打印出相关的文档信息

    1
  • 2019-06-25
    您好,请问下Logstash的集成可以添加到docker里面么,需要调整相关配置吗?

    作者回复: logstash也可以集成进docker,讲课为了保持简洁,所以没有涵盖logstash的配置。如果你有兴趣 可以参考github这个项目

    https://github.com/deviantony/docker-elk

    1
    1
  • 2019-06-24
    老师,后续可能的话讲解下配置文件,一味的复制,感觉不是很好

    作者回复: 你是说logstash的配置文件吗?后续课程中会做出讲解的,第一部分主要是让大家先通过实际操作体验,建立一个大概的概念。

    1