下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 78 | 利用JDBC插件导入数据到Elasticsearch
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Elasticsearch核心技术与实战

共100讲 · 约1000分钟
16609
免费
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发...
免费
04 | Elastic Stack家族成员及...
免费
05 | Elasticsearch的安装与...
06 | Kibana的安装与界面快速...
07 | 在Docker容器中运行Elas...
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和...
10 | 基本概念:节点、集群、分...
11 | 文档的基本CRUD与批量操...
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query ...
17 | Query String&Simple ...
18 | Dynamic Mapping和常见...
19 | 显式Mapping设置与常见参...
20 | 多字段特性及Mapping中配...
21 | Index Template和Dynami...
22 | Elasticsearch聚合分析简...
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字...
28 | 单字符串多字段查询:Dis...
29 | 单字符串多字段查询:Mult...
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索...
32 | 使用Search Template和In...
33 | 综合排序:Function Scor...
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提...
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑...
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算...
42 | 排序及Doc Values&Field...
43 | 分页与遍历:From, Siz...
44 | 处理并发读写操作
45 | Bucket & Metric聚合分...
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问...
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query &...
52 | Ingest Pipeline & Pa...
53 | Elasticsearch数据建模实...
54 | Elasticsearch数据建模最...
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard...
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsea...
64 | 在公有云上管理与部署Elas...
65 | 生产环境常用配置与上线清...
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问...
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内...
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover AP...
76 | 索引全生命周期管理及工具...
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到El...
79 | Beats介绍
80 | 使用Index Pattern配置数...
81 | 使用Kibana Discover探索...
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监...
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的...
87 | 用机器学习实现时序数据的...
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsea...
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichm...
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构...
100 | 结束语
本节摘要
展开

精选留言(12)

  • 2019-11-19
    搞了3个多小时 终于导入成功了, 遇到了好多坑 首先是java 的那个包无法加载, 其次是 elastcsearch开启了x-pack 不知道在mysql-demo.yaml文件中怎么写, 请问一下老师 mysql-demo.yaml文件中 elasticsearch对象中怎么写x-pack的账号密码? 参数是什么呢?
    1
    1
  • 2019-09-30
    物理删除有木有办法,增量更新
    1
  • 2019-09-29
    请问logstash这种轮询方式获取数据有没有啥性能问题?我们目前使用方式是kafka订阅biglog,2者区别是啥?

    作者回复: 性能问题我很难一下给出回答。要是需要结合你的实际场景,数据量,更新频率等。

    binlog结合kafaka肯定也是一种选择,在实现方面,你需要考虑到数据的顺序性和完整性。

    1
  • 2019-12-16
    老师可以将spring相关代码也上传一下吗?
  • 2019-11-29
    老师您好,我环境是在windows 上面 ES5.6 和logstash7.4 按照您的配置文件信息,敲了一遍为什么一直同步不了!
    一直报这种错误
    { 2026 rufus-scheduler intercepted an error:
      2026 job:
      2026 Rufus::Scheduler::CronJob "* * * * *" {}
      2026 error:
      2026 2026
      2026 LogStash::PluginLoadingError
      2026 Unable to find driver class via URLClassLoader in given driver jars: com.mysql.jdbc.Driver and com.mysql.jdbc.Driver
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/plugin_mixins/jdbc/jdbc.rb:181:in `open_jdbc_connection'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/plugin_mixins/jdbc/jdbc.rb:253:in `execute_statement'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/inputs/jdbc.rb:309:in `execute_query'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/logstash-input-jdbc-4.3.16/lib/logstash/inputs/jdbc.rb:276:in `block in run'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:234:in `do_call'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:258:in `do_trigger'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:300:in `block in start_work_thread'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:299:in `block in start_work_thread'
      2026 org/jruby/RubyKernel.java:1425:in `loop'
      2026 F:/ELK/logstash-7.4.2/vendor/bundle/jruby/2.5.0/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:289:in `block in start_work_thread'
      
    展开

    作者回复: 需要讲mysql jdbc driver的jar文件放在logstash的jar目录下

  • 2019-11-28
    我的上面两个问题解决了 但是还是想请老师把logstash连接加密的elasticsearch的方式在配置文件中写一下!
  • 2019-11-26
    感觉这种查表得方式应该不是很适用于生产环境的,监听binlog日志相对于生产环境来说更好点

    作者回复: 监听binlog确实有更多jdbc不具备的优点

  • 2019-11-18
    老师您好 ,现在有一个实际应用的需求, 数据库用的oracle 11g以上. 现在想Es的新增和查询数据尽量和java 业务系统解耦 ,与数据库设计解耦, 查询可以使用 官网提供的restful api ,在数据同步上. 用logstash 就必须设计成逻辑删除了是吧 , 如果用物理删除, 用 rowid 的话,有没有办法, 或者再写一套java 后台去查询比对呢 有没有其他比较好的方式

    作者回复: 物理删除 那你需要在删除的时候调用相应的hook去处理了。第三方应该无法感知这一点

  • 2019-10-23
    老师您好,根据您的例子,我进行了修改把users表中last_updated字段的数据类型修改成了timestamp,
    在mysql-demo.conf文件中也修改了配置tracking_column_type => "timestamp",问题是:记录最后一次运行的结果中的日期和本地日期不同,这该如何处理?

    作者回复: 使用了timestamp 会有时区的问题,需要在不同的系统中设定好

  • 2019-10-23
    感谢老师!这种方式能否用于工程实践还是需要看具体的应用场景。这里只是提供了一种通过JDBC同步数据到ElasticSearch的方式,不能武断的判断这种方式的好坏。毕竟从工程的角度看任何技术方案,都只能评价合适还是不合适!
  • 2019-10-23
    什么情况最起码你得跟我说怎么部署应用吧你这啥都没有就开始说代码

    作者回复: 怎么部署es和logstash,请看第一部分的相关视频

    3
  • 2019-09-30
    配置文件中的密码如何用密文显示?

    作者回复: 目前应该不支持对密文加密吧