物联网开发实战
郭朝斌
小米生态链企业秒秒测 IoT 事业部总监,前诺基亚高级工程师
17380 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 36 讲
物联网开发实战
15
15
1.0x
00:00/00:00
登录|注册

04 | 数据分析:数据的价值有哪些?

你好,我是郭朝斌。
在前两讲,我们了解了物联网设备层的通信技术和网络层的网络协议。设备借助通信技术,能接入网络;而统一的网络协议,保证了云平台能够“看懂”这些上报的数据。
但是,如果只是单纯地采集和存储的话,那么数据就只是数据库中的 0 和 1 ,很难谈得上有什么价值。某种程度上说,物联网系统的价值其实就在于数据的价值,而数据的价值则来源于我们对数据的分析和应用。
所以这一讲,我们来到了物联网数据流的第三站,应用层。开始下面的学习之前,你可以假设一下,如果你是物联网平台开发人员,你会怎么有效地分析和应用数据呢?

从数据的角度审视物联网

回答这个问题之前,我想先从数据的角度,带你对物联网体系结构再做一次梳理。
你可能有疑惑了,之前我们整理的物联网三大层面,不是也跟数据流向有关吗?是的,但是那三个层面是基于各部分的特性划分的,包含的技术内容更广。
而今天这一讲,我只专注数据这一个维度,对数据从“生产”到“消费”的过程做一个更细化的拆分和整理,得出一个技术体系。通过这个体系,你就能够对数据相关的技术有一个更加清晰的认识,而且学习过程中心里时刻有个宏观视角,不会“迷失”在各种技术的琐碎细节里面。
我先给出这张物联网数据分析的技术体系示意图,然后我会结合这张图片,从下往上分别讲解其中的每一步:
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

物联网数据分析的技术体系包括数据源数据采集、数据传输、数据存储、数据处理和数据应用五个步骤。数据分析方法包括可视化、挖掘分析、预测分析和控制决策,涉及统计分析、机器学习和人工智能算法。监督学习和非监督学习算法用于挖掘分析、预测分析和控制决策。物联网数据技术体系与大数据系统相似,但涉及嵌入式系统、传感器技术、特殊网络协议和控制决策技术。物联网数据规模将远超互联网,提出新挑战。整体而言,本文介绍了物联网数据分析的技术体系和相关算法,以及其在商业和社会中的应用和挑战。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《物联网开发实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(18)

  • 最新
  • 精选
  • 夜路破晓
    因为目前主要负责数据这块,所以学习本篇的时候主要精力放在本职工作与职业规划之间寻求可能的发展路径方面,明确后期学习的重点方向和内容。给了自己5年时间进入物联网圈子,就像之前讲的,希望在这个圈子能找到自己的一亩三分地扒食糊口顺带做点自己喜欢的事情。在如今“奔四”的路上搭进去一半时间来做这件事,方向、时间、决心都具备了,接下来就剩下脚踏实地干就完了。

    作者回复: 赞,加油

    2020-11-16
    13
  • 9ambition
    先定应用场景,明确任务,再讨论批处理和流处理适用于这个场景下的哪个任务。 批处理非常适合需要阶段性处理数据的场合。 流处理非常适合用于需要快速处理数据的场合。 我这里举例子: 应用场合:室内-居家环境 任务1: 气体浓度实时汇报 答案:流处理更佳,因为数据源做了数据采集之后,最好就是把采集到的数据直接做处理并且展示,这样才能实现气体浓度的实时汇报。 任务2:gas leakage检测 答案:流处理更佳。因为gas leakage检测的核心就是快速,及时检测。一旦出现gas leakage,数据源采集数据已经发现异常的时候,还需要将采集到的数据进行扎堆处理后才能反馈,就已经没有及时的功能,也就失去了快速检测的意义。 任务3:室内气体长期监控以及未来气体浓度变化趋势 答案:这个一定是批处理更好。例如你需要做过去一个星期的室内各个气体的浓度变化情况,这当然需要采集到过去一个星期的所有的数据,然后做数据处理以及相关的数据应用以总结出过去一个星期各个气体的浓度变化情况。如果你需要根据过去的情况去对未来做预测,第一步就需要获得过去的数据,这些过去的数据数量庞大但是互相具有一定关联性,如果采用流处理就很难利用到同一时段不同时间的数据的关联性,所以要用到批处理。

    作者回复: great👍

    2021-02-16
    4
  • 亦思尘
    郭老师,您好,方便的话能不能在每篇文章下面推荐一些文章或是书籍,市面上上的资源质量参差不齐,谢谢

    作者回复: 我后面可以考虑在加餐推荐几本书。

    2020-11-17
    2
    4
  • YueShi
    使用例子感觉可以加上《城市大脑》这个东西 据说之前杭州堵成狗了, 现在开车大部分情况下是一路绿灯 背后就是一套庞大的物联网系统去支撑

    作者回复: 赞������,确实是有相关的系统,我在云栖大会看到过这个介绍。

    2020-11-17
    3
    4
  • 大风哥
    批处理是离线处理,用于大量数据处理深加工,流处理是实时处理,用于将大数据实时展现。 看了下面一位哥们的留言,深有感触,我也是奔4的人了,目前看好物联网这一方向,作为一个大龄程序猿,只能继续砥砺前行,希望坚持到底!

    作者回复: 👍

    2021-01-10
    3
  • Sceneryback
    目前携号转网都是整点生效的,估计是整点进行批处理,大概是实时处理能力不足吧😂

    作者回复: 哈哈,活学活用了

    2020-11-19
    3
    3
  • 加油加油
    老师您好,请问有没有书籍或者资料更详细的指导物联网平台系统的建设 ?

    作者回复: 这方面的书籍还比较少,平台除了与设备相关的部分,很多还是和互联网一样,你可以分析一下自己真正需要掌握的知识,然后专门去学习,这样效率高。因为即使有这样的书也是分成很多部分,比如设备接入、消息队列、数据存储、数据处理、Web业务系统来讲,还是需要找到你不了解的部分,深入去掌握。

    2020-11-16
    3
  • 周飞
    物联网跟serverless 真是天生绝配啊。

    作者回复: 是的👍

    2020-12-13
    2
  • bulb
    个人对批处理和流处理的一些粗浅理解 批处理,统计汇总性的信息,发现海量数据直接的整体特性和内在管理 流处理,更有针对性,针对单个数据源做实时的判断 不知道理解的对不对

    作者回复: 为留言点赞 说回问题,批处理和流处理主要是数据处理方式的不同,流处理一样面临海量的并发数据

    2020-11-18
  • 独舞
    我们目前项目正用到老师说的这些知识,想快一些消化吸收这些知识,一周3篇的更新太少了,我们一般都不是几天一篇去消化的,可以先通读整体,再重新精读每一个章节,希望老师采纳,非常感谢。

    作者回复: 确实办不到,有问题可以沟通群里和我交流哈

    2020-11-17
收起评论
显示
设置
留言
18
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部