当前播放: SnappyData在美团酒店实时数据分析中的应用
00:00 / 00:00
标清
  • 标清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
合辑:新兴大数据处理技术
SnappyData在美团酒店实时数据分析中的应用
用Kafka Streams搭建实时的广告消费系统

SnappyData在美团酒店实时数据分析中的应用

焦向 美团点评高级技术专家

焦向,美团点评高级技术专家,酒店经营效率组负责人。

内容介绍

以 Flink 和 SnappyData 为核心,将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案,转化为目前以“后处理”为核心的方案。

  1. 开发效率:得到质变,无需预处理,周级别需求小时级完成;

  2. 节省存储空间:比如原方案 Kylin 中 150T+ 预处理结果数据不再需要;

  3. 其他一些收益:比如指标一致性显著提升;

  4. 历史数据问题:采用类 SCD Type 2 的方式,处理历史事实数据和数据压缩,有不少对比数据;

  5. 建模问题:直接从原始表支持需求,中间缺少传统数仓建模的抽象层次,尝试实现类似 Shasta 的 RVL 层。

介绍 SnappyData 的优势劣势,当前的问题,我们在调优方面的努力,以及我们的定制化修改:

  1. 支持注册 Spark 声明式 UDF,相比于命令式 UDF,性能提升一个量级,很好的解决了酒店的特殊场景;

  2. Boxing/Unboxing 优化;

  3. QueryPlan Cache 相关的优化。

展开
¥4.99 购买
开通VIP
4
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
其他推荐
41:08
把前端性能监控做到极致
杨森 蚂蚁金服 前端技术专家
试看
38:27
大规模机器学习在LinkedIn预测模型中的应用
张镭 LinkedIn Engineering Manager
试看
14:43
基于微服务打造共享开发平台
于人 随行付 CTO & 研发中心总经理,黑少·微服务商店创始人
试看