下载APP
登录
关闭
讲堂
算法训练营
Python 进阶训练营
企业服务
极客商城
客户端下载
兑换中心
渠道合作
推荐作者
当前播放: 43 | 分页与遍历:From, Size, Search After & Scroll API
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看

Elasticsearch核心技术与实战

共100讲 · 约1000分钟
16516
免费
01 | 课程介绍
免费
02 | 内容综述及学习建议
免费
03 | Elasticsearch简介及其发...
免费
04 | Elastic Stack家族成员及...
免费
05 | Elasticsearch的安装与...
06 | Kibana的安装与界面快速...
07 | 在Docker容器中运行Elas...
08 | Logstash安装与导入数据
09 | 基本概念:索引、文档和...
10 | 基本概念:节点、集群、分...
11 | 文档的基本CRUD与批量操...
12 | 倒排索引介绍
13 | 通过Analyzer进行分词
14 | Search API概览
15 | URI Search详解
16 | Request Body与Query ...
17 | Query String&Simple ...
18 | Dynamic Mapping和常见...
19 | 显式Mapping设置与常见参...
20 | 多字段特性及Mapping中配...
21 | Index Template和Dynami...
22 | Elasticsearch聚合分析简...
23 | 第一部分总结
24 | 基于词项和基于全文的搜索
25 | 结构化搜索
26 | 搜索的相关性算分
27 | Query&Filtering与多字...
28 | 单字符串多字段查询:Dis...
29 | 单字符串多字段查询:Mult...
30 | 多语言及中文分词与检索
31 | Space Jam,一次全文搜索...
32 | 使用Search Template和In...
33 | 综合排序:Function Scor...
34 | Term&Phrase Suggester
35 | 自动补全与基于上下文的提...
36 | 配置跨集群搜索
37 | 集群分布式模型及选主与脑...
38 | 分片与集群的故障转移
39 | 文档分布式存储
40 | 分片及其生命周期
41 | 剖析分布式查询及相关性算...
42 | 排序及Doc Values&Field...
43 | 分页与遍历:From, Siz...
44 | 处理并发读写操作
45 | Bucket & Metric聚合分...
46 | Pipeline聚合分析
47 | 作用范围与排序
48 | 聚合分析的原理及精准度问...
49 | 对象及Nested对象
50 | 文档的父子关系
51 | Update By Query &...
52 | Ingest Pipeline & Pa...
53 | Elasticsearch数据建模实...
54 | Elasticsearch数据建模最...
55 | 第二部分总结回顾
56 | 集群身份认证与用户鉴权
57 | 集群内部安全通信
58 | 集群与外部间的安全通信
59 | 常见的集群部署方式
60 | Hot & Warm架构与Shard...
61 | 分片设计及管理
62 | 如何对集群进行容量规划
63 | 在私有云上管理Elasticsea...
64 | 在公有云上管理与部署Elas...
65 | 生产环境常用配置与上线清...
66 | 监控Elasticsearch集群
67 | 诊断集群的潜在问题
68 | 解决集群Yellow与Red的问...
69 | 提升集群写性能
70 | 提升进群读性能
71 | 集群压力测试
72 | 段合并优化及注意事项
73 | 缓存及使用Breaker限制内...
74 | 一些运维的相关建议
75 | 使用Shrink与Rollover AP...
76 | 索引全生命周期管理及工具...
77 | Logstash入门及架构介绍
78 | 利用JDBC插件导入数据到El...
79 | Beats介绍
80 | 使用Index Pattern配置数...
81 | 使用Kibana Discover探索...
82 | 基本可视化组件介绍
83 | 构建Dashboard
84 | 用Monitoring和Alerting监...
85 | 用APM进行程序性能监控
86 | 用机器学习实现时序数据的...
87 | 用机器学习实现时序数据的...
88 | 用ELK进行日志管理
89 | 用Canvas做数据演示
90 | 项目需求分析及架构设计
91 | 将电影数据导入Elasticsea...
92 | 搭建你的电影搜索服务
93 | 需求分析及架构设计
94 | 数据Extract & Enrichm...
95 | 构建Insights Dashboard
96 | Elastic认证介绍
97 | 考点梳理
98 | 集群数据备份
99 | 基于Java和Elasticseach构...
100 | 结束语
本节摘要
展开

精选留言(12)

  • 2019-08-14
    老师,scroll分页的scroll=5m这个参数,请问设置有什么讲究么,如果设置了5m,我利用它来做全量数据导出,可能要导15m才能导完,那5m后这个快照就失效了,这时会怎样呢,是重新建立一个快照么

    作者回复: 第二次调用的时候还会指定这个参数,所以不会存在说的问题。

    1
  • 2019-08-11
    老师,spring-data-elasticsearch 支持 search after 吗,我没有找到,java 使用 elasticsearch 使用用那个 框架比较好

    作者回复: spring data目前支持最高的版本是6.8,7.x的支持你可能还需要稍微等等。

    java调用es,可以使用官方提供的high leve java client,是基于官方的low level client开发的

    1
  • 2019-11-20
    老师如果数据量特别大用scroll是不是就不合适了,创建快照是把当前index的所有数据快照一份吗?

    作者回复: scroll适合大的数据量。缺点就是中间加入的数据不能被读取到。

    snapshot是支持指定索引创建的,而且是支持增量的

  • 2019-10-25
    感觉seach_after 只能做一页一页往下翻,限制了用户不能随机跳到哪一页得行为啊。scroll 适合做备份,如果不限制用户随机跳到那一页是不是还是只能用 size from 嘛?
  • 2019-09-22
    老师我发现一个问题,每次返回的scroll_id都是一样的,你的例子里面也是一样的,但是返回的数据不一样。
    2
  • 2019-09-21
    ES分页查询,老师介绍了几种实现方式,她们各有优缺点:
    1:默认查出前十条
    2:最多只能查询出1W条,过了就报警
    3:from+size
    4:search after
    查询的数据分布在不同的节点上的分片上,本质是对数据的分库分表的水平切分,那聚合、排序、分页等需要拿到所有数据进行操作的场景必定会复杂一些,有些情况拿出的数据可能超过单机的容量,那估计一定那不出来了,老师,限制最多1万条数据有什么讲究没?
    展开

    作者回复: 其实想表达的是 ES不适合做搜素的深度分页。

    1w条其实就会加载很多数据到内存中,所以可以吧这个参数调的更小,只能说es默认配置相对还比较温和。

  • 2019-08-18
    scroll=5m,请问这个5m或者1m有什么讲究吗?

    作者回复: 最好设置的不要过大,在一分钟或5分钟后会失效的意思

  • 2019-08-15
    search_after为什么非要用加上id作为唯一性呢? 一定要确定唯一性吗,不确定唯一性,按照某一字段查不行么?
  • 2019-08-15
    原来的oracle订单数据显示总数和分页,每页十条数据。但表数据是上亿,支持一百万数据分页显示。能改成用es吗

    作者回复: 深度分页,并不是搜索引擎所擅长的。google也一样。你应该结合oracle和es一起使用。es用来实现全文检索

    1
  • 2019-08-11
    老师好,个人听了还是没理解细节,请教几个问题,谢谢!
    (1)请问search after是第二次是怎么根据id定位搜索,请问原理是怎样?
    (2)另外scroll是第一次查询将所有结果缓存到coordinator,后续只查询缓存吗?
  • 2019-08-10
    老师,我这边还是没能理解深度分页出现的原因?
    执行查询的流程是这个样子,
    在from=990 size=10情况下
    1,执行query ,从每个分片上获取1000个文档id以及打分
    2,根据打分进行排序,取from 到from+size 的文档id
    2, 执行fetch,去各个分片上获取文档id对应的文档

    这样的情况下,为什么会ppt出现1000个文档的概念?
    展开
    2
  • 2019-08-08
    请教老师一个问题,如链接https://blog.csdn.net/wild46cat/article/details/62889554,文中使用sort排序,对于方案一,如果不指定keyword就只能使用方案2,请问为何?原理是什么,谢谢您