• 金龟
    2019-09-30
    物理删除有木有办法,增量更新
    
     2
  • 简简单单
    2019-11-19
    搞了3个多小时 终于导入成功了, 遇到了好多坑 首先是java 的那个包无法加载, 其次是 elastcsearch开启了x-pack 不知道在mysql-demo.yaml文件中怎么写, 请问一下老师 mysql-demo.yaml文件中 elasticsearch对象中怎么写x-pack的账号密码? 参数是什么呢?
     1
     1
  • 超威丶
    2019-09-29
    请问logstash这种轮询方式获取数据有没有啥性能问题?我们目前使用方式是kafka订阅biglog,2者区别是啥?

    作者回复: 性能问题我很难一下给出回答。要是需要结合你的实际场景,数据量,更新频率等。

    binlog结合kafaka肯定也是一种选择,在实现方面,你需要考虑到数据的顺序性和完整性。

    
     1
  • 飞翔
    2020-02-06
    但是mysql 数据库都是提前建立好的 没有isdelete字段 mysql 就会直接删除这条数据, 那es 这边怎么做
    
    
  • Geek_338c4c
    2019-12-16
    老师可以将spring相关代码也上传一下吗?
    
    
  • Geek_f7e5ba
    2019-11-29
    老师您好,我环境是在windows 上面 ES5.6 和logstash7.4 按照您的配置文件信息,敲了一遍为什么一直同步不了!
    一直报这种错误
    { 2026 rufus-scheduler intercepted an error:
      2026 job:
      2026 Rufus::Scheduler::CronJob "* * * * *" {}
      2026 error:
      2026 2026
      2026 LogStash::PluginLoadingError
      2026 Unable to find driver class via URLClassLoader in given driver jars: com.mysql.jdbc.Driver and com.mysql.jdbc.Driver
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/plugin_mixins/jdbc/jdbc.rb:181:in `open_jdbc_connection'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/plugin_mixins/jdbc/jdbc.rb:253:in `execute_statement'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/inputs/jdbc.rb:309:in `execute_query'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/inputs/jdbc.rb:276:in `block in run'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:234:in `do_call'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:258:in `do_trigger'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:300:in `block in start_work_thread'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:299:in `block in start_work_thread'
      2026 org/jruby/RubyKernel.java:1425:in `loop'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:289:in `block in start_work_thread'
      
    展开

    作者回复: 需要讲mysql jdbc driver的jar文件放在logstash的jar目录下

    
    
  • Joseph
    2019-11-28
    我的上面两个问题解决了 但是还是想请老师把logstash连接加密的elasticsearch的方式在配置文件中写一下!
    
    
  • PLADahuzi
    2019-11-26
    感觉这种查表得方式应该不是很适用于生产环境的,监听binlog日志相对于生产环境来说更好点

    作者回复: 监听binlog确实有更多jdbc不具备的优点

    
    
  • 乱世丰筵
    2019-11-18
    老师您好 ,现在有一个实际应用的需求, 数据库用的oracle 11g以上. 现在想Es的新增和查询数据尽量和java 业务系统解耦 ,与数据库设计解耦, 查询可以使用 官网提供的restful api ,在数据同步上. 用logstash 就必须设计成逻辑删除了是吧 , 如果用物理删除, 用 rowid 的话,有没有办法, 或者再写一套java 后台去查询比对呢 有没有其他比较好的方式

    作者回复: 物理删除 那你需要在删除的时候调用相应的hook去处理了。第三方应该无法感知这一点

    
    
  • Jone_乔泓恺
    2019-10-23
    老师您好,根据您的例子,我进行了修改把users表中last_updated字段的数据类型修改成了timestamp,
    在mysql-demo.conf文件中也修改了配置tracking_column_type => "timestamp",问题是:记录最后一次运行的结果中的日期和本地日期不同,这该如何处理?

    作者回复: 使用了timestamp 会有时区的问题,需要在不同的系统中设定好

    
    
  • 乌鸦
    2019-10-23
    感谢老师!这种方式能否用于工程实践还是需要看具体的应用场景。这里只是提供了一种通过JDBC同步数据到ElasticSearch的方式,不能武断的判断这种方式的好坏。毕竟从工程的角度看任何技术方案,都只能评价合适还是不合适!
    
    
  • Geek_2e09f0
    2019-10-23
    什么情况最起码你得跟我说怎么部署应用吧你这啥都没有就开始说代码

    作者回复: 怎么部署es和logstash,请看第一部分的相关视频

     3
    
  • dongge
    2019-09-30
    配置文件中的密码如何用密文显示?

    作者回复: 目前应该不支持对密文加密吧

    
    
我们在线,来聊聊吧