22 | 大数据平台设计：如何用数据为用户创造价值？
李智慧
该思维导图由 AI 生成，仅供参考
特别说明：本文相关技术仅用于技术展示，具体实践中，数据收集和算法应用需要遵循国家个人信息保护法与信息安全法等有关法律制度。
你好，我是李智慧。
现在，业界普遍认为互联网创新已经进入下半场，依靠技术创新或者商业模式创新取得爆发性发展的机会越来越少。于是大家把目光转向精细化运营，主要手段就是依靠大数据技术，挖掘每个用户独特的商业价值，提供更具个性化的服务，以此来提升服务水平和营收能力，最终获得更强的市场竞争能力。
Udi 大数据平台的主要目标是根据用户的不同喜好，为其分配不同的车型，一方面改善用户体验，另一方面也增加平台营收。此外，如何为用户推荐最优的上车点和下车点，如何分析订单和营收波动，如何发现潜在的高风险用户等等，也需要依赖大数据平台。
大数据技术不同于我们前面设计的高并发案例，高并发案例虽然也要处理海量用户的请求，但是每个用户请求都是独立的，计算与存储也是每个用户独立进行的。而大数据技术则要将这些海量的用户数据进行关联计算，因此，适用于高并发架构的各种分布式技术并不能解决大数据的问题。
Udi 大数据平台设计
根据 Udi 大数据应用场景的需求，需要将手机 App 端数据、数据库订单和用户数据、操作日志数据、网络爬虫爬取的竞争对手数据统一存储到大数据平台，并支持数据分析师、算法工程师提交各种 SQL 语句、机器学习算法进行大数据计算，并将计算结果存储或返回。Udi 大数据平台架构如下图：
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
大数据平台设计与应用是如何为用户创造价值的？本文深入介绍了大数据平台的设计与应用，突出了大数据技术在用户个性化服务和业务优化中的重要作用。通过Udi大数据平台的架构设计和具体案例的讲解，读者可以快速了解大数据平台的架构和应用场景，以及大数据技术在业务优化中的实际应用。文章重点介绍了大数据技术在网约车平台中的应用，强调了大数据技术在用户体验优化和业务决策中的重要性。通过机器学习和数据挖掘，网约车平台可以依赖大数据优化用户体验，提升平台营收。对于读者来说，本文提供了对大数据平台设计与应用的深入了解，以及大数据技术在实际业务中的应用场景和价值，对于从事大数据和机器学习相关工作的读者来说，可以从中获得启发和思考。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《李智慧 · 高并发架构实战课》，新⼈⾸单¥59
《李智慧 · 高并发架构实战课》，新⼈⾸单¥59
立即购买
登录 后留言
全部留言(5)
- 最新
- 精选
👽我觉得，大数据的核心在于，用10%甚至更少的用户的经验。为剩下90%的用户提升体验。（当然还有杀熟） 我最近的业务，是一个特定行业内，需要考虑货运量的路径规划项目。整套业务在目前了解到的行业内应该是空白。什么都要摸爬滚打。当然，部份业务可以利用高德，百度，腾讯地图做支撑。但是，还有很多内容需要自己从零开始积累。 目标，收集体验用户的数据。然后基于此，优化用户体验，然后拿更好的用户体验获取更多的用户，再基于更多的用户数据进一步优化用户体验，最终实现良性循环。♻️作者回复: 赞
2022-04-085
peter请教老师几个问题啊： Q1：用户更换手机型号后，老的型号数据是丢弃还是保留？ Q2：日志系统，ELK适合打车业务处理系统，Flume适合大数据系统，是这样吗？ Q3：实际系统，比如滴滴，用户端会5秒上报一次吗？会不会太频繁？ Q4：是否有开源的仿滴滴的系统，前后端都有的那种。 Q5：滴滴这样的公司，其大数据平台规模有多大？ Q6：像极客时间这样的规模，是否需要大数据平台？需要的话，一两台服务器就足够处理了吗？作者回复: 1 保留 2 可以这么说 3 分情况，用户上车前会频繁一点 4 不了解 5 不了解 7 需要，用到数据分析和机器学习就需要大数据平台。一两台应该是不够的。
2022-04-084
易企秀-郭彦超1、日志埋点时多端多平台 访客标识是如何打通的 2、有没有好的办法对用户的行为进行链路跟踪 3、如何监控埋点日志的准确性作者回复: 1 用户只要登录过，就可以跟设备信息绑定，如果新设备一次也没登录过，似乎没办法吧。 2 用户所有日志都记录设备信息和时间戳，日志本身就是行为链路 3 应该没办法的，无法保证所有日志都能上传。对于大数据计算，通常也不需要日志的绝对准确
2022-04-081- 易企秀-郭彦超前面提到了两个问题 想问下老师这边有么有成熟的方法或框架可以借鉴 1、如何分析营收波动 2、预测用户流失风险需要收集哪些特征数据，使用的是哪种算法模型
作者回复: 1 https://time.geekbang.org/column/article/77360 这篇专栏讲过一个营收波动分析的案例，可以参考下
2022-04-081 
CJJ
老师，想问一下，报表的即席查询可以统一用MySQL来做么？但是有一些明细表数据很多，MySQL也很慢，有什么优化的思路吗？作者回复: 即席查询大多是聚合类型的查询，可以用impala或者presto，greenplum也很好用，clickhouse也不错
2022-07-022
收起评论
