从0开始学大数据
李智慧
同程艺龙交通首席架构师,前Intel大数据架构师,《大型网站技术架构》作者
立即订阅
14333 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术?
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史:大数据的前世今生
预习 02 | 大数据应用发展史:从搜索引擎到人工智能
预习 03 | 大数据应用领域:数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷,HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架?
08 | MapReduce如何让数据完成一次旅行?
09 | 为什么我们管Yarn叫作资源调度框架?
10 | 模块答疑:我们能从Hadoop学到什么?
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的?
12 | 我们并没有觉得MapReduce速度慢,直到Spark出现
13 | 同样的本质,为何Spark可以更高效?
14 | BigTable的开源实现:HBase
15 | 流式计算的代表:Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的?
17 | 模块答疑:这么多技术,到底都能用在什么场景里?
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎?
19 | Spark的性能优化案例分析(上)
20 | Spark的性能优化案例分析(下)
21 | 从阿里内部产品看海量数据处理系统的设计(上):Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计(下):架构与创新
23 | 大数据基准测试可以带来什么好处?
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑:我能从大厂的大数据开发实践中学到什么?
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来?
28 | 知名大厂如何搭建大数据平台?
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑:为什么大数据平台至关重要?
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”?
36 | 模块答疑:为什么说数据驱动运营?
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测?
38 | 如何发掘数据之间的关系?
39 | 如何预测用户的喜好?
40 | 机器学习的数学原理是什么?
41 | 从感知机到神经网络算法
42 | 模块答疑:软件工程师如何进入人工智能领域?
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你,有无限可能
第2季回归丨大数据之后,让我们回归后端
从0开始学大数据
登录|注册

预习 03 | 大数据应用领域:数据驱动一切

李智慧 2018-11-03
大数据出现的时间只有十几年,被人们广泛接受并应用只有几年的时间,但就是这短短几年的时间,大数据呈现出爆炸式增长的态势。在各个领域,大数据的身影几乎无处不在。今天我们通过一些大数据典型的应用场景分析,一起来看看大数据到底能做些什么,我们学大数据究竟有什么用,应该关注大数据的哪些方面。

大数据在医疗健康领域的应用

健康医疗领域是最近几年获得最多创业者和投资人青睐的大数据领域。为什么这么说呢?首先,医疗健康领域会产生大量的数据;其次,医疗健康领域有一个万亿级的市场规模;最关键的是,医疗健康领域里很多工作依赖人的经验,而这正是机器学习的强项
1. 医学影像智能识别
图像识别是机器学习获得的重大突破之一,使用大量的图片数据进行深度机器学习训练,机器可以识别出特定的图像元素,比如猫或者人脸,当然也可以识别出病理特征。
比如 X 光片里的异常病灶位置,是可以通过机器学习智能识别出来的。甚至可以说医学影像智能识别在某些方面已经比一般医生拥有更高的读图和识别能力,但是鉴于医疗的严肃性,现在还很少有临床方面的实践。
虽然在临床实践方面应用有限,但是医疗影像 AI 还是在一些领域取得一定的进展。医学影像智能识别,一方面可以帮助医生进行辅助诊疗,另一方面对于皮肤病等有外部表现的病症,病人可以自己拍照然后使用 AI 智能识别做一个初步诊断。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(63)

  • 凯恩-格吉塔斯
    一家快餐披萨店,外卖电话响了,店长拿起电话。
    店长:您好,这里是××披萨店。请问有什么需要我为您服务?
    顾客:你好,我想要订一份披萨。
    店长:请问您是陈先生吗?
    顾客:你怎么知道我姓陈?
    店长:陈先生,因为我们的CRM(客户关系管理)系统对接了三大通讯服务商,看到您的来电号码,我就知道您贵姓了。
    顾客:哦,那我想要一份海鲜至尊披萨。
    店长:陈先生,海鲜披萨不适合您,建议您另选一份。
    顾客:为什么?
    店长:根据您的医疗记录,您的血尿酸值偏高,有痛风的症状,建议您不要食用高嘌呤的食物。您可以试试我们店最经典的田园蔬菜披萨,低脂、健康,符合您现阶段的饮食要求。
    顾客:你怎么知道我会喜欢这种披萨?
    店长:您上周在一家网上书店买了一本《低脂健康食谱》,其中就有这款披萨的菜谱。
    顾客:那好吧。我要一个家庭特大号披萨,多少钱?
    店长:99元。这个足够您一家六口吃了。但您的母亲应该少吃,她上个月刚做了心脏搭桥手术,还处于恢复期。
    顾客:好的,知道了。我可以刷卡吗?
    店长:抱歉,陈先生。请您付现吧,因为您的信用卡已经刷爆了,您现在还欠银行5000元,而且还不包括住房贷款利息。
    顾客:那我先去附近的提款机取现金。
    店长:陈先生,根据银行记录,您今天已经超过了日提款限额。
    顾客:算了,那你们直接把披萨送到我家里吧,家里有现金,你们多久能送到?
    店长:大约30分钟。如果您不想等,可以自己来取。
    顾客:为什么?
    合理建议顾客上门自取。
    店长:我这边看到您家的地址是某某路东段22号,距离我们店开车只有5分钟路程,您名下登记有一辆车号为×××××××的轿车,这辆车目前正在距离您家不到两分钟车程的地方。如果您等不及,可以回家拿了现金就开车来店里取,这大概要花您10分钟的时间,正好是一个披萨出炉的时间。这样,您总共只需花15至20分钟就可以将披萨拿回家,比我们送货上门要快。


    这就是 大数据

    作者回复: 👍🏻

    2018-11-03
    4
    119
  • My dream
    老师,我建议你在课程中讲一下实战操作分析数据的步骤,让我们理解的更深刻直观
    2018-11-03
    37
  • Hyun
    首先得问自己一个问题,即我能说出的应用领域有多少呢?

    医疗健康
    餐饮、食品、农业
    交通运输
    教育
    体育
    政治
    经济
    通信、制造业等轻工生产
    钢铁、机械等重工生产
    媒体,社交,电商等互联网应用

    在这些业务背景下,如何使用大数据技术来满足更高端的应用,其实是需要每个懂行业的人去思考的。我想知道负责技术实现的关键人物,会有多少是真正去通晓一个行业,或者行业知识的更深次把握是由什么样的渠道交付给技术实现者的。毕竟行业领袖比如袁隆平,他肯定不会自己去学大数据及技术,用 spark 来写一套基因识别算法,去更新田间高低矮穗的AB测试吧。他肯定会把这套试验方法交给一个懂大数据技术的人,让他去负责实现。

    所以我很想知道:
    1)从一个大数据项目从立项到实施,从立项者到实施者,都会有哪些角色,以及他们之间的分工职责大概会有哪些;
    2)每个岗位应该安排多少人力资源?

    谢谢
    2018-11-03
    24
  • 余生、请你指教
    按照 凯恩-格吉塔斯 网友这么说,人在大数据面前还有多少隐私?
    2018-11-05
    12
  • lyshrine
    我想到的还有体育领域,可以利用大数据制定球队战略,利用实时数据及时调整比赛中的战术。还可以对体育训练有帮助,可以分析和总结优秀选手的动作姿势,纠正其它他运动员的动作。未来体育仅仅靠天赋和苦练不足以取得最好的成绩,必须依赖大数据。

    作者回复: 赞

    2018-11-03
    12
  • S.H.
    对我们这门课程学习来说,可以通过获取用户的学习时长,学习时间,页面停留时间,反复阅读次数,评论交互等数据信息,分析用户的学习需求,平台可以用来做课程推荐,讲师可以优化课程。

    作者回复: 是的

    2018-11-06
    6
  • 张相荣
    现代化智慧农业也是大数据技术服务的一个场景

    作者回复: 是的

    2018-11-03
    5
  • 一一
    我想到两点,1 公交车通过大数据技术分析计算每辆公交车每天的用电或用油量,不断优化驾驶员驾驶习惯,从而达到节省城市公交成本的目的。 2 外卖平台通过大数据技术实时定位每位外卖员的位置和其手头的接单数量,不断优化接单速度和订单完成速度。

    作者回复:
    想法不错👍🏻

    2018-11-03
    5
  • Cs
    我更觉得大数据分析是对整个群体而言,个体意义对于这个没太大的意义,也就不是担心个人隐私会泄露的问题……即使是应对措施也是针对群体而言的,像前面说的那样,能准确判断出个人的一切信息以及决策,那本质上已经侵犯了个人权益,这应该还是要避免的
    2018-12-14
    4
  • Austin
    城市摄像头收集行为数据,可以根据行为,比如说站姿,走路方式,等人类无法发现的细节,对指定人进行追踪,无论他是否露脸,永远逃不掉。

    作者回复: 厉害

    2018-11-13
    4
  • 李渝Will
    大数据的应用太多了 关键是用了之后有什么质的效果 不能画蛇添足 为了数据分析而分析
    2018-12-12
    2
  • 小千
    其实目前公认的大数据技术优于传统技术的也就是三个方向:
    1.图像,语音识别,生成。
    2.推荐,搜索系统。
    3.简单规则的游戏。
    大数据能成功应用的领域,都是把这些领域的问题成功的转换成上述三个技术问题,比如说大数据医学诊断,其实就是对ct,x光图像做图像识别,根据病历做推荐系统。
    2018-11-05
    2
  • 落叶飞逝的恋
    购物猜你喜欢,新闻、段子都是大数据的应用

    作者回复: 是的

    2018-11-05
    2
  • ming
    抖音、头条的智能推荐也是基于大数据

    作者回复: 是的,BAT在PC时代崛起,美团在移动时代崛起,头条在智能时代崛起,头条抓住了时代的潮流。

    2018-11-05
    2
  • 歪脖贰点零
    天气预报,海量天气因素数据采集,结合同期过往的大量数据,进行预测分析未来N天的天气走势。实时采集实时计算可以显示当前级未来N小时的天气情况。

    作者回复: 赞

    2018-11-04
    2
  • 无聊才读书
    但是感觉没有隐私了!
    2018-12-01
    1
  • 张苗
    我们每天都会接触到的电商app,新闻app中的商品推荐,资讯推荐功能都会用到大数据技术。后台系统会统计我们的购买习惯,资讯偏好来给我们推荐想要的东西。

    作者回复: 是的

    2018-11-03
    1
  • 探索无止境
    大数据还可以结合人脸识别,帮助警方尽快定位到嫌疑人,加快破案速度

    作者回复: 是的

    2018-11-03
    1
  • 李铁牛
    我觉得环境方面应用大数据也比较广,像是天气预报,空气质量预测等等,而且还可以和很多行业结合,比如交通,医疗

    作者回复: 是的

    2018-11-03
    1
  • 摘星星种星星
    一个科技向善的场景:找回被拐、失踪儿童,找到犯罪分子
    2019-11-20
收起评论
63
返回
顶部