当小内存遇上大数据



登录注册

当前播放: 当小内存遇上大数据







00:00 / 00:00

高清

高清

1.0x

2.0x
1.5x
1.25x
1.0x
0.5x



网页全屏



全屏

00:00

付费课程，可试看

合辑：新版短视频



如何优化深度学习数据读取？

如何通过自动化测试技术来提升服务端系统质量？

Kubernetes下如何基于拓扑结构来调度？

如何通过Jenkins快速实现一个持续集成流水线？

当小内存遇上大数据

2019年必学的DevOps流行工具

Kafka某台broker IO阻塞，为何会导致发送方无法发送消息？

什么是C++中的The Rule of Three？

基于时序特性，如何构建一个时序存储引擎？

如何利用反射和泛型编程让你的Java代码更优雅？

C++中为什么move constructor需要加noexcept？

如何使用Postman做接口自动化测试？

给你点“颜色”瞧瞧

如何用Spark实现一个通用大数据计算引擎？

如何让你的Robot Framework飞起来？

如何透彻理解Selenium和WebDriver？

Spring Data JPA 如何进行复杂动态查询？

Spring Data JPA如何实现动态部分更新？

未来的编程语言长什么样？

高并发场景下锁的使用技巧（悲观锁/乐观锁/分布式锁）

为什么React组件要声明key？

为什么React不推荐使用Mixin？

如何设计一个高可用的配置中心？

如何通过代码技巧提升内存使用效率？

如何全面地改造Robust？

如何基于Netty构建一个简单的RPC服务？

Spring Boot中如何使用HTTP/2？

教你10分钟玩转Gradle plugin

如何深入理解Kube-Proxy？

如何深入理解Kubernetes架构？

如何使用和优化iOS中的WebView？

一个1000万资金重复支付的代码剖析

如何实现数据异构的多级缓存策略？

如何从 CRD 扩展开发切入Kubernetes源码学习？

如何更轻松简单地从源码编译部署Kubernetes？

如何设计并实现一个高可用的订单系统？

ZooKeeper的ZAB算法与Paxos的本质区别是什么？

微服务框架Apache ServiceComb的设计思想有哪些？

如何深入理解分布式事务TCC实现原理？

SSR 、CSR、预渲染、同构等首屏优化技术要如何选择？

如何利用ClassPath解决Java开发工程问题？

如何读懂Babel转换出的JavaScript代码?

大厂前端面试中经常提到的Promise要如何实现？

使用 Vue 开发小程序是怎么做到的？

为什么CSS要放在header底部，JavaScript要放在body底部？

前端Router是怎么实现的？

如何理解现代发布策略？以Kubernetes为例

JavaScript中如何封装一个具有自动失败重试功能的HTTP模块？

JavaScript中如何优雅地实现函数防抖？

服务发现技术是如何演进出来的？

当小内存遇上大数据

Itamar Turner-Trauring（夏夜译）

当你写了一个处理数据的软件，它可能在小样本文件上运行地很好，但一旦加载大量真实数据后，这个软件就会崩溃。
原因在于你没有足够的内存，假设你是 16GB 的 RAM ，你就无法一次载入 100GB 大小的文件。因为载入这么大的文件时，操作系统在某个时刻就会耗尽内存，不能分配存储单元，你的程序也就会崩溃。
为了防止这类情况发生，你该怎么做呢？

展开



¥4.99 购买

开通VIP







登录后留言

精选留言(6)

冰激凌的眼泪

买更大的内存
压缩
分块
索引

2019-12-15



 4
种个大西瓜

这种动画的形式很好，多来点

2019-12-14



 2
许童童

Stream流其实就是分块思想的一种具体实现

2019-12-16



 1
iHTC

大数据
压缩
分块
索引

2019-12-17




老鱼

买更大的内存
压缩
分块
索引

2019-12-17




delete is create

问题来了如果数据库有10g的数据 ram只有2g 那么在web代码中查询全表会发生什么

2019-12-13

 1

