李智慧 · 高并发架构实战课
李智慧
同程艺龙交通首席架构师,前 Intel & 阿里架构师,《大型网站技术架构》作者
23286 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 26 讲
李智慧 · 高并发架构实战课
15
15
1.0x
00:00/00:00
登录|注册

22 | 大数据平台设计:如何用数据为用户创造价值?

Hive
Impala
协同过滤
分类算法
聚类分析
派单引擎
推荐引擎
MySQL
Sqoop
Yarn
Spark
定时SQL统计
即时查询
Sqoop数据同步
Flume日志收集
SparkStreaming
用户操作上报模块
定时数据上报模块
启动上报模块
信息安全法
个人信息保护法
带来的价值
大数据与机器学习在工作中的应用
商业机会发现
行为数据挖掘
用户体验优化
匹配算法
乘车偏好
车辆画像
用户画像
优化派单引擎
应用
数据导出
资源管理
机器学习
数据分析
爬虫数据导入
数据库导入
系统日志导入
App端数据采集
平台营收增加
用户体验改善
车型分配
用户喜好分析
遵循法律制度
技术展示
思考题
网约车平台与大数据
Udi大数据派单引擎设计
数据导出与应用
大数据计算
大数据采集与导入
大数据平台目标
特别说明
大数据平台设计:如何用数据为用户创造价值?

该思维导图由 AI 生成,仅供参考

特别说明:本文相关技术仅用于技术展示,具体实践中,数据收集和算法应用需要遵循国家个人信息保护法与信息安全法等有关法律制度。
你好,我是李智慧。
现在,业界普遍认为互联网创新已经进入下半场,依靠技术创新或者商业模式创新取得爆发性发展的机会越来越少。于是大家把目光转向精细化运营,主要手段就是依靠大数据技术,挖掘每个用户独特的商业价值,提供更具个性化的服务,以此来提升服务水平和营收能力,最终获得更强的市场竞争能力。
Udi 大数据平台的主要目标是根据用户的不同喜好,为其分配不同的车型,一方面改善用户体验,另一方面也增加平台营收。此外,如何为用户推荐最优的上车点和下车点,如何分析订单和营收波动,如何发现潜在的高风险用户等等,也需要依赖大数据平台。
大数据技术不同于我们前面设计的高并发案例,高并发案例虽然也要处理海量用户的请求,但是每个用户请求都是独立的,计算与存储也是每个用户独立进行的。而大数据技术则要将这些海量的用户数据进行关联计算,因此,适用于高并发架构的各种分布式技术并不能解决大数据的问题。

Udi 大数据平台设计

根据 Udi 大数据应用场景的需求,需要将手机 App 端数据、数据库订单和用户数据、操作日志数据、网络爬虫爬取的竞争对手数据统一存储到大数据平台,并支持数据分析师、算法工程师提交各种 SQL 语句、机器学习算法进行大数据计算,并将计算结果存储或返回。Udi 大数据平台架构如下图:
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

大数据平台设计与应用是如何为用户创造价值的?本文深入介绍了大数据平台的设计与应用,突出了大数据技术在用户个性化服务和业务优化中的重要作用。通过Udi大数据平台的架构设计和具体案例的讲解,读者可以快速了解大数据平台的架构和应用场景,以及大数据技术在业务优化中的实际应用。文章重点介绍了大数据技术在网约车平台中的应用,强调了大数据技术在用户体验优化和业务决策中的重要性。通过机器学习和数据挖掘,网约车平台可以依赖大数据优化用户体验,提升平台营收。对于读者来说,本文提供了对大数据平台设计与应用的深入了解,以及大数据技术在实际业务中的应用场景和价值,对于从事大数据和机器学习相关工作的读者来说,可以从中获得启发和思考。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《李智慧 · 高并发架构实战课》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(5)

  • 最新
  • 精选
  • 👽
    我觉得,大数据的核心在于,用10%甚至更少的用户的经验。为剩下90%的用户提升体验。(当然还有杀熟) 我最近的业务,是一个特定行业内,需要考虑货运量的路径规划项目。整套业务在目前了解到的行业内应该是空白。什么都要摸爬滚打。当然,部份业务可以利用高德,百度,腾讯地图做支撑。但是,还有很多内容需要自己从零开始积累。 目标,收集体验用户的数据。然后基于此,优化用户体验,然后拿更好的用户体验获取更多的用户,再基于更多的用户数据进一步优化用户体验,最终实现良性循环。♻️

    作者回复: 赞

    2022-04-08
    5
  • peter
    请教老师几个问题啊: Q1:用户更换手机型号后,老的型号数据是丢弃还是保留? Q2:日志系统,ELK适合打车业务处理系统,Flume适合大数据系统,是这样吗? Q3:实际系统,比如滴滴,用户端会5秒上报一次吗?会不会太频繁? Q4:是否有开源的仿滴滴的系统,前后端都有的那种。 Q5:滴滴这样的公司,其大数据平台规模有多大? Q6:像极客时间这样的规模,是否需要大数据平台?需要的话,一两台服务器就足够处理了吗?

    作者回复: 1 保留 2 可以这么说 3 分情况,用户上车前会频繁一点 4 不了解 5 不了解 7 需要,用到数据分析和机器学习就需要大数据平台。一两台应该是不够的。

    2022-04-08
    4
  • 易企秀-郭彦超
    1、日志埋点时多端多平台 访客标识是如何打通的 2、有没有好的办法对用户的行为进行链路跟踪 3、如何监控埋点日志的准确性

    作者回复: 1 用户只要登录过,就可以跟设备信息绑定,如果新设备一次也没登录过,似乎没办法吧。 2 用户所有日志都记录设备信息和时间戳,日志本身就是行为链路 3 应该没办法的,无法保证所有日志都能上传。对于大数据计算,通常也不需要日志的绝对准确

    2022-04-08
    1
  • 易企秀-郭彦超
    前面提到了两个问题 想问下老师这边有么有成熟的方法或框架可以借鉴 1、如何分析营收波动 2、预测用户流失风险需要收集哪些特征数据,使用的是哪种算法模型

    作者回复: 1 https://time.geekbang.org/column/article/77360 这篇专栏讲过一个营收波动分析的案例,可以参考下

    2022-04-08
    1
  • CJJ
    老师,想问一下,报表的即席查询可以统一用MySQL来做么?但是有一些明细表数据很多,MySQL也很慢,有什么优化的思路吗?

    作者回复: 即席查询大多是聚合类型的查询,可以用impala或者presto,greenplum也很好用,clickhouse也不错

    2022-07-02
    2
收起评论
显示
设置
留言
5
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部