老师您好，目前有个日志内容增强的需求，希望可以通过logstash或者其他关联组件实现，希望老师能指点一下：原始日志有User字段（域账号），但没有相关的人员信息，需要通过其他外部数据来实现关联，在日志写入es之前新增user对应的部门和公司字段信息，这类关联数据后的日志内容增强是否可以在数据清洗处理层实现呢

作者回复: 这部分的逻辑应该在ETL中去做。例如通过Logstash的JDBC插件，将表的数据join抽取。做相应的transformation后再load到ES中。 transformation可以在logstash做，也可以通过ingest node的pipline去实现。具体看你case的复杂度了

2020-02-17



2

李芳

请教老师一个问题：怎样使用logstash导入word文档到ES呢

作者回复: logstash 似乎并不能处理word文档。如果需要处理pdf，ppt等文档，需要安装 ingest-attachment插件 https://www.elastic.co/guide/en/elasticsearch/plugins/current/ingest-attachment.html

2020-02-18



1

Alec

老师您好，有个问题我一直看到现在还不是很清晰：如果我从 log 里面提取了用户访问的栏目 ID，发送到 elasticsearch 后，想在 kibana 显示数据时，能够显示栏目的名称，那么这个关系映射应该是在哪里进行呢？

作者回复: 尽量denormalization，也就是说把栏目名字作为字段一起写入es

2019-10-07



1

旗开得胜

es如何存储三元组数据，做知识图谱搜索呢？

作者回复: 我没有用es做过这方面的事，看看是否有其他同学做过这样的事，你也可以google查一下相关的信息

2020-02-06





Crismike

老师您好，在使用filebeat进行logstash输入的时候，发现如果直接输出到控制台是有数据的，但是利用elasticsearch插件输出的时候，es里面没有数据，这个情况应该如何debug？

作者回复: 插件输出是什么意思？

2020-01-11





我们的心事儿

老师讲的很棒，物超所值

作者回复: 谢谢

2019-11-21

2



Run

刚好公司要用,刚好拼团,很nice

2019-12-25



5

chuck

^\s的正则表达式，意思应该是匹配到字符串是以空白字符开始的。整体的意思是，在多行输入的情况下，匹配到以空白字符开始的那行，那么就应该属于上一行的event。有些口误，不过也没关系。

2019-11-19



5

李勇

老师，问一下，logstash如果输出到两个不同的kafka，现在是如果一个kafka输出失败，则另外一个kafka的输出也会失败。现在我期望两个kafka的output 各自处理，即某一个output不影响另外的output输出，老师您看这可行么？

2023-06-05





科富

请教老师一个中文分词的问题：部门的svn log是用中文写的，格式固定，形如：【修改原因】增加xxx功能【修改人】张三【评审人】李四现在希望将svn log导入elk进行分析，中文导入es以及kibana查询都正常。希望能将修改人，评审人等提取成keyword，有什么插件或者方法在logstash阶段完成字段提取么？

2021-08-19





收起评论