精选留言(129)

• 

  QQ怪 置顶

  老师用的mac版本的我老是报错，后来找到解决方法了，windows改成这样：
  input {
    file {
      path => ["D:/logstash-7.1.1/movielens/ml-latest-small/movies.csv"]
      start_position => beginning
      sincedb_path => "D:/logstash-7.1.1/123"
    }
  }

  作者回复: 谢谢你的分享！所以其他平台，我确实没有做过测试验证。

  2019-06-25

   4

   21
• 

  张耀挺

  Windows下面试了好多次，启动都没问题就是没数据，最后看了半天才发现一般我们从windows系统中复制的路径都是\斜杠的，但是配置文件中的路径需要的是/斜杠的路径。如果有这个问题就会导致数据源就没法读取，当然也不会有输出的数据。这种小问题确实很烦人，希望大家能多交流这些小坑。

  作者回复: 谢谢你的分享。课程准备工作量比较多，我又没有时间在每台机器上做测试，这些兼容问题确实给一些同学造成了困扰。
  
  谢谢你的极客精神和分享的精神

  2019-07-10

   1

   14
• 

  .两个调味罐

  我来个windows版的教程吧：
  1.下载解压好logstash
  2.下载解压ml（我从github下载下来后好像和老师的不大一样，然后就把老师的那些文件复制一份到自己的文件夹里）
  3.新建logstash.conf文件（这个文件需要放在logstash的bin目录下），编辑里面的内容:(主要改的就是最上面这一块---path的路径指向的是你的movies.csv路径，要加中括号，sincedb_路径要是一个真实路径，但是可以加一个不存在的文件，这个路径的意思老师在其它留言中有讲解在此不再阐述。)
  input {
    file {
      path => ["C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/movies.csv"]
      start_position => beginning
      sincedb_path => "C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/abc"
    }
  }
  
  
  4.打开cmd，进入logstash的bin目录下，执行logstash -f logstash.conf

  作者回复: 谢谢你的分享。

  2019-06-28

   13

   9
• 

  小沫

  在执行 LogStash 时 ，需要使用 sudo ，否则命令执行完成后 没有权限操作相关文件。这个确实需要注意。

  作者回复: 嗯，谢谢你的分享

  2019-06-27

   5

   9
• 

  潇湘

  老师，请问下mysql到es的数据同步，具体方法会有讲解吗？

  作者回复: 我可以在logstash中加上这部分的讲解

  2019-07-11

  

   6
• 

  LoveDlei

  老师您好：
      我是es初学者，也是初级使用者。
  请教您几个问题：
  1.我打算用springboot+springcloud-data-elasticsearch 进行开发，能不能讲解下框架的搭建和使用或者有哪些注意事项？
  2.在网上我也搜索一些资料，但是各种说法都是参差不齐，不知该如何选择？老师是否可以提供一写好的资料或网站（网址），作为入门资料，使我们这些初学者（初级使用者）边使用边学习逐渐深入啊？
  
  辛苦老师，帮忙解惑。不知道我描述的问题老师是否理解了！！！我现在就是不知道如何下手？

  作者回复: 1. 你可以去看一下我在极客时间写的学习路径
  2. 你可以看完视频，安装es和kibana 实际操作一下
  3.和spring的集成，原来没有这方面的计划，现在会考虑增加一节

  2019-07-06

  

   5
• 

  木木

  结合老师和楼上几位前辈的指点，整合了一个能在windows下运行的配置文件（yourdata.confi），供参考。
  
  input {
    file {
      path => ["D:/Elasticsearch/ml-latest-small/movies.csv"]
      start_position => "beginning"
      sincedb_path => "nul"
    }
  }
  
  filter {
    csv {
      separator => ","
      columns => ["id","content","genre"]
    }
  
    mutate {
      split => { "genre" => "|" }
      remove_field => ["path", "host","@timestamp","message"]
    }
  
    mutate {
  
      split => ["content", "("]
      add_field => { "title" => "%{[content][0]}"}
      add_field => { "year" => "%{[content][1]}"}
    }
  
  
    mutate {
      convert => {
        "year" => "integer"
      }
      strip => ["title"]
      remove_field => ["path", "host","@timestamp","message","content"]
    }
  
  
  }
  
  output {
     elasticsearch {
       hosts => "http://localhost:9200"
       index => "movies"
       document_id => "%{id}"
     }
    stdout {}
  }

  作者回复: 👍

  2019-07-03

   2

   5
• 

  ChaoX

  window版本如出现如下错误时
  Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>"Could not execute action: PipelineAction::Create<main>, action_result: false", :backtrace=>nil}
  可复制下文input内容改成如下:
  input {
    file {
      path => ["csv路径"]
      start_position => beginning
      sincedb_path => "nul"
    }
  }
  sincedb_path 路径改为nul即可

  2019-06-29

   1

   5
• 

  张瑜

  没有在该路径下“- movielens/logstash6.conf //logstash 6.x 配置文件”找到logstash6.x的配置文件呢

  2019-08-16

  

   1
• 

  oo0oo

  奇了怪了，数据没导完（打开数据集对比了一下，发现只导到第9000行），显示停了，kibana索引管理里显示movies索引状态为yellow

  作者回复: yellow应该不影响数据写入的。为什么是黄色，通过后面的课程应该会了解原因。
  
  在这个例子中，因为设置了replica为1。在单节点的集群中肯定无法分配副本。所以导致了集群变黄

  2019-07-24

  

   1
• 

  Geek_zy

  老师我的logstash启动成功了但是报这个错误是怎么回事呢？
  [ERROR][logstash.outputs.elasticsearch] Failed to install template. {:message=>"Got response code '503' contacting Elasticsearch at URL 'http://localhost:9200/_template/logstash'", :class=>"LogStash
  error_message=>"Elasticsearch Unreachable: [http://localhost:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"
  是和docker 的网路不通吗？

  作者回复: 如果要确保是否docker的问题，你可以先通过访问9200查看集群状态。
  
  或者先启动单机的es。通过二分法定位真正的问题所在。缩小范围，再做解决

  2019-07-16

  

   1
• 

  绅士

  1，第一次sincedb_path => "/dev/null"，报错，指定路径不存在
  2，sincedb_path => "/Users/jxliu/elsticsearch/ml-latest-small/abc"，报错
  Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.
  兄弟们，你们遇到这种情况了吗

  2019-07-15

  

   1
• 

  walker

  导入数据怎么算完？但最后没退出，Ctrl-c 强制退出有问题吗？

  作者回复: 不再继续打印输信息了，就算结束了。logstash会监听文件，如有变化，会继续更新。
  
  强制退出不会有影响

  2019-07-14

   1

   1
• 

  一步

  这里的 logstash.conf 和 movies.csv 文件 为什么要拷贝到 bin 目录下呢？
  直接使用 -f 指定配置 logstash.conf文件的路径 和 movies.csv 文件用绝对路径不可以吗？

  作者回复: 拷贝到哪里都可以，只要确保路径正确。放bin下面只是方便演示

  2019-07-12

  

   1
• 

  Sam

  老师，我用logstash导入数据后，提示“ 1 unassigned shards"。
  我的es环境为单个节点。可否告知下原因。

  作者回复: 应该是分片副本设置成1，单节点下，副本必须和主分片在不同的节点上，因此导致了unassign

  2019-07-10

  

   1
• 

  蕊

  数据通过logstash导入ES成功，然后通过Kibana DevTools 命令DELETE moves进行删除索引，删除后再次通过logstash进行数据导入，未报异常，但是数据导入不成功，老师可以给讲解一下问题出在哪里么

  作者回复: 不知道你的sincedb_path设置是什么？如果指定了有意义的路径，可以尝试删除改文件。
  
  通过我们课程中的logstash的配置文件可知，我们有一个参数sincedb_path，其值为“/dev/null”，这个参数的是用来配置记录logstash读取日志文件位置的文件的名称的，我们将文件的名称指定为“/dev/null”这个 Linux 系统上特殊的空文件，那么 logstash 每次重启进程的时候，尝试读取 sincedb 内容，都只会读到空白内容，也就会理解成之前没有过运行记录，自然就从初始位置开始读取了！

  2019-07-05

   2

   1
• 

  tangyongchun

  老师，可以分享下课件吗

  作者回复: https://github.com/onebirdrocks/geektime-ELK
  
  进入part-1，下面有第一部分的课件的pdf

  2019-07-05

  

   1
• 

  Y

  好像是启动成功了 但是数据没有导入到ES

  作者回复: 请查看logstash的console是否有输出错误信息，如课程视频所演示，如果数据写入成功，会打印出相关的文档信息

  2019-06-28

  

   1
• 

  kyushu

  您好，请问下Logstash的集成可以添加到docker里面么，需要调整相关配置吗？

  作者回复: logstash也可以集成进docker，讲课为了保持简洁，所以没有涵盖logstash的配置。如果你有兴趣 可以参考github这个项目
  
  https://github.com/deviantony/docker-elk

  2019-06-25

   1

   1
• 

  Middleware

  老师，后续可能的话讲解下配置文件，一味的复制，感觉不是很好

  作者回复: 你是说logstash的配置文件吗？后续课程中会做出讲解的，第一部分主要是让大家先通过实际操作体验，建立一个大概的概念。

  2019-06-24

  

   1