QQ怪 置顶2019-06-25老师用的mac版本的我老是报错，后来找到解决方法了，windows改成这样：
input {
file {
path => ["D:/logstash-7.1.1/movielens/ml-latest-small/movies.csv"]
start_position => beginning
sincedb_path => "D:/logstash-7.1.1/123"
}
}展开作者回复: 谢谢你的分享！所以其他平台，我确实没有做过测试验证。
5 22
2019-07-10Windows下面试了好多次，启动都没问题就是没数据，最后看了半天才发现一般我们从windows系统中复制的路径都是\斜杠的，但是配置文件中的路径需要的是/斜杠的路径。如果有这个问题就会导致数据源就没法读取，当然也不会有输出的数据。这种小问题确实很烦人，希望大家能多交流这些小坑。作者回复: 谢谢你的分享。课程准备工作量比较多，我又没有时间在每台机器上做测试，这些兼容问题确实给一些同学造成了困扰。
谢谢你的极客精神和分享的精神 1 14
2019-06-28我来个windows版的教程吧：
1.下载解压好logstash
2.下载解压ml（我从github下载下来后好像和老师的不大一样，然后就把老师的那些文件复制一份到自己的文件夹里）
3.新建logstash.conf文件（这个文件需要放在logstash的bin目录下），编辑里面的内容:(主要改的就是最上面这一块---path的路径指向的是你的movies.csv路径，要加中括号，sincedb_路径要是一个真实路径，但是可以加一个不存在的文件，这个路径的意思老师在其它留言中有讲解在此不再阐述。)
input {
file {
path => ["C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/movies.csv"]
start_position => beginning
sincedb_path => "C:/Users/Administrator/Desktop/ES/logstash-7.0.0/movielens/ml-latest-small/abc"
}
}
4.打开cmd，进入logstash的bin目录下，执行logstash -f logstash.conf展开作者回复: 谢谢你的分享。
13 11
2019-06-27在执行 LogStash 时 ，需要使用 sudo ，否则命令执行完成后 没有权限操作相关文件。这个确实需要注意。作者回复: 嗯，谢谢你的分享
5 9
2019-07-03结合老师和楼上几位前辈的指点，整合了一个能在windows下运行的配置文件（yourdata.confi），供参考。
input {
file {
path => ["D:/Elasticsearch/ml-latest-small/movies.csv"]
start_position => "beginning"
sincedb_path => "nul"
}
}
filter {
csv {
separator => ","
columns => ["id","content","genre"]
}
mutate {
split => { "genre" => "|" }
remove_field => ["path", "host","@timestamp","message"]
}
mutate {
split => ["content", "("]
add_field => { "title" => "%{[content][0]}"}
add_field => { "year" => "%{[content][1]}"}
}
mutate {
convert => {
"year" => "integer"
}
strip => ["title"]
remove_field => ["path", "host","@timestamp","message","content"]
}
}
output {
elasticsearch {
hosts => "http://localhost:9200"
index => "movies"
document_id => "%{id}"
}
stdout {}
}展开作者回复: 👍
3 7
2019-07-11老师，请问下mysql到es的数据同步，具体方法会有讲解吗？作者回复: 我可以在logstash中加上这部分的讲解
6
2019-06-29window版本如出现如下错误时
Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>"Could not execute action: PipelineAction::Create<main>, action_result: false", :backtrace=>nil}
可复制下文input内容改成如下:
input {
file {
path => ["csv路径"]
start_position => beginning
sincedb_path => "nul"
}
}
sincedb_path 路径改为nul即可展开 1 6
2019-07-06老师您好：
我是es初学者，也是初级使用者。
请教您几个问题：
1.我打算用springboot+springcloud-data-elasticsearch 进行开发，能不能讲解下框架的搭建和使用或者有哪些注意事项？
2.在网上我也搜索一些资料，但是各种说法都是参差不齐，不知该如何选择？老师是否可以提供一写好的资料或网站（网址），作为入门资料，使我们这些初学者（初级使用者）边使用边学习逐渐深入啊？
辛苦老师，帮忙解惑。不知道我描述的问题老师是否理解了！！！我现在就是不知道如何下手？展开作者回复: 1. 你可以去看一下我在极客时间写的学习路径
2. 你可以看完视频，安装es和kibana 实际操作一下
3.和spring的集成，原来没有这方面的计划，现在会考虑增加一节 5
2019-12-20windows下还有个小问题要注意：
logstash的安装目录不能有空格，不然运行会报错：找不到或无法加载主类 1
2019-08-16没有在该路径下“- movielens/logstash6.conf //logstash 6.x 配置文件”找到logstash6.x的配置文件呢 1
2019-07-24奇了怪了，数据没导完（打开数据集对比了一下，发现只导到第9000行），显示停了，kibana索引管理里显示movies索引状态为yellow作者回复: yellow应该不影响数据写入的。为什么是黄色，通过后面的课程应该会了解原因。
在这个例子中，因为设置了replica为1。在单节点的集群中肯定无法分配副本。所以导致了集群变黄 1
2019-07-16老师我的logstash启动成功了但是报这个错误是怎么回事呢？
[ERROR][logstash.outputs.elasticsearch] Failed to install template. {:message=>"Got response code '503' contacting Elasticsearch at URL 'http://localhost:9200/_template/logstash'", :class=>"LogStash
error_message=>"Elasticsearch Unreachable: [http://localhost:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"
是和docker 的网路不通吗？展开作者回复: 如果要确保是否docker的问题，你可以先通过访问9200查看集群状态。
或者先启动单机的es。通过二分法定位真正的问题所在。缩小范围，再做解决 1
2019-07-151，第一次sincedb_path => "/dev/null"，报错，指定路径不存在
2，sincedb_path => "/Users/jxliu/elsticsearch/ml-latest-small/abc"，报错
Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.
兄弟们，你们遇到这种情况了吗展开 1 1- 2019-07-14导入数据怎么算完？但最后没退出，Ctrl-c 强制退出有问题吗？
作者回复: 不再继续打印输信息了，就算结束了。logstash会监听文件，如有变化，会继续更新。
强制退出不会有影响 1 1 
2019-07-12这里的 logstash.conf 和 movies.csv 文件 为什么要拷贝到 bin 目录下呢？
直接使用 -f 指定配置 logstash.conf文件的路径 和 movies.csv 文件用绝对路径不可以吗？作者回复: 拷贝到哪里都可以，只要确保路径正确。放bin下面只是方便演示
1
2019-07-10老师，我用logstash导入数据后，提示“ 1 unassigned shards"。
我的es环境为单个节点。可否告知下原因。作者回复: 应该是分片副本设置成1，单节点下，副本必须和主分片在不同的节点上，因此导致了unassign
1
2019-07-05数据通过logstash导入ES成功，然后通过Kibana DevTools 命令DELETE moves进行删除索引，删除后再次通过logstash进行数据导入，未报异常，但是数据导入不成功，老师可以给讲解一下问题出在哪里么作者回复: 不知道你的sincedb_path设置是什么？如果指定了有意义的路径，可以尝试删除改文件。
通过我们课程中的logstash的配置文件可知，我们有一个参数sincedb_path，其值为“/dev/null”，这个参数的是用来配置记录logstash读取日志文件位置的文件的名称的，我们将文件的名称指定为“/dev/null”这个 Linux 系统上特殊的空文件，那么 logstash 每次重启进程的时候，尝试读取 sincedb 内容，都只会读到空白内容，也就会理解成之前没有过运行记录，自然就从初始位置开始读取了！ 2 1
2019-07-05老师，可以分享下课件吗作者回复: https://github.com/onebirdrocks/geektime-ELK
进入part-1，下面有第一部分的课件的pdf 1
2019-06-28好像是启动成功了 但是数据没有导入到ES作者回复: 请查看logstash的console是否有输出错误信息，如课程视频所演示，如果数据写入成功，会打印出相关的文档信息
1
2019-06-25您好，请问下Logstash的集成可以添加到docker里面么，需要调整相关配置吗？作者回复: logstash也可以集成进docker，讲课为了保持简洁，所以没有涵盖logstash的配置。如果你有兴趣 可以参考github这个项目
https://github.com/deviantony/docker-elk 1 1