后端技术面试 38 讲
李智慧
同程艺龙交通首席架构师,前 Intel& 阿里架构师,《大型网站技术架构》作者
37373 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
不定期加餐 (1讲)
后端技术面试 38 讲
15
15
1.0x
00:00/00:00
登录|注册

32 | AI与物联网架构:从智能引擎到物联网平台

数据分析与机器学习算法
数据清洗、转换
数据同步系统
SQL引擎
存储系统
大数据计算框架
设备控制信号
边缘计算
机器学习模型
大数据流计算引擎
消息队列
大数据平台
智能网关
终端设备数据采集
商品的协同过滤推荐
用户的协同过滤推荐
商品属性的推荐
人口统计的推荐
数据输出
数据处理
数据采集
大数据平台技术
大数据底层技术
物联网大数据架构
智能推荐算法
大数据平台架构
大数据技术
思考题
AI与物联网架构
参考文章

该思维导图由 AI 生成,仅供参考

当我们在说大数据技术的时候,说的可能是几种差别很大的技术。
一种是大数据底层技术,指的就是各种大数据计算框架、存储系统、SQL 引擎等等,这些技术比较通用,经过十几年的优胜劣汰,主流的技术产品相对比较集中,主要就是我上篇专栏讨论的 MapReduce、Spark、Hive、Flink 等技术产品。
一种是大数据平台技术,Spark、Hive 这些大数据底层技术产品不像我们前面讨论过的分布式缓存、分布式消息队列,在处理用户请求的应用中,使用这些技术产品的 API 接口就可以了。大数据计算的数据通常不是用户请求的数据,计算时间也往往超过了一次用户请求响应能够接受的时间。但是大数据的计算结果又常常需要在用户交互过程中直接呈现,比如电商常用的智能推荐,用户购买一个商品,系统会推荐可能感兴趣的商品,这些推荐的商品就是大数据计算的结果。所以在互联网系统架构中,需要把处理用户请求的在线业务系统和大数据计算系统打通。这就需要一个大数据平台来完成。
此外还有一种技术是数据分析与机器学习算法,上面提到的商品智能推荐就是这样一种算法,通过算法向用户呈现他感兴趣的商品,使互联网应用看起来好像有某种智能一样。

大数据平台架构

我们先看下大数据平台架构。上面说过,大数据平台主要就是跨越需要长时间处理的大数据计算和需要实时响应的互联网应用之间的鸿沟,使系统成为一个完整的整体。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

物联网大数据架构与AI技术的结合,构建了一个完整的系统,实现了从数据采集到实时处理再到智能控制的全流程。大数据平台架构主要包括数据采集、处理和输出三个部分,通过数据同步系统将数据导入HDFS,再通过大数据计算框架执行数据分析和挖掘。智能推荐算法成为大数据平台的重要组成部分,通过各种算法实现对用户的个性化推荐。在物联网大数据架构中,终端设备数据的采集、处理与设备的智能控制是关键,通过智能网关和大数据平台实现了数据的实时处理和智能控制。随着5G时代的到来,物联网的发展将更加快速。 大数据技术的应用需要关注大数据平台的开发和算法的应用。大数据平台的各种子系统需要进行二次开发,以满足公司独特需求。而算法的发现和挖掘使数据发挥价值,因此在应用大数据时需要关注大数据算法。 思考题:在工作中,可以利用大数据与AI算法提高效率、优化体验的地方有很多。例如,在电商平台可以利用个性化推荐算法提高用户购物体验;在智能家居领域,可以利用大数据分析用户习惯,实现智能控制;在金融领域,可以利用大数据风控算法提高交易安全性等。 通过文章,读者可以了解到物联网大数据架构与AI技术的结合,以及大数据平台的开发和算法的应用对于提高效率和优化体验的重要性。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《后端技术面试 38 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(4)

  • 最新
  • 精选
  • 许凯
    想请问下老师,控制命令如何流转到与终端tcp相连的服务器上,并从服务器发送给对应的终端呢?

    作者回复: 边缘服务器到终端的通信技术就是目前5G的典型应用场景。

    2020-02-26
    2
    3
  • Citizen Z
    利用 AI 进行系统性能调优应该有想象空间,可以试想业务系统可以根据历史性能日志来找出业务特征与系统容量之间的关系,形成一种优化模型。 业务特征如用户访问时段、系统类型、业务类别、PV、地点。。。 系统容量如 JVM 参数、连接池参数、集群规模。。。 如果能分析到这两者之间的规律,就可以达到根据业务的情况来智能优化 IT 资产的目的,系统能够提出建议,做这个工作的人就可以解放出来把精力用来优化这个工具。 手动调优的工作之于架构师如同手工发布工作之于运维工程师,运维工程师的理想是运维自动化,架构师的理想可否是架构智能化?
    2020-02-08
    1
    16
  • 不记年
    关于思考题我首先想到的是 idea的一个代码提示的插件,通过统计分析来预测代码。
    2020-02-24
    8
  • escray
    典型大数据平台架构的那张图确实能够一图顶千言,另外,大部分的系统应该都可以被分为数据采集、数据处理和数据输出三个部分,还记得大明湖畔的冯诺依曼么? 感觉大数据平台的数据同步系统,也就是 ETL,可能需要大量的程序员,不知道什么时候这部分工作也会被机器拿过去做。 除了智能推荐,以前似乎总是在说辅助决策,但是似乎决策比推荐要复杂多了。 对于 5G 不怎么感冒,感觉现在 4G 的速度蛮快的(如果运营商不耍流氓的话),费用也还可以接受(5G 应该会更贵吧),似乎没有特别的应用场景,真的需要每一个电子设备都联网在线么? 留言里面说到智能运维,但是估计还是需要人工干预吧,确实普通运维工程师的职位在减少;什么时候会有智能编码呢? 机器学习新闻写作似乎已经实现了,有点好奇新闻的素材从哪里来,除了天气预报、赛事比分和股指期货,总得有人提供第一手的素材吧,而且大家想看的不光是数字。
    2020-10-15
    2
    3
收起评论
显示
设置
留言
4
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部