从0开始学大数据
李智慧
同程艺龙交通首席架构师,前Intel大数据架构师,《大型网站技术架构》作者
立即订阅
14333 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术?
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史:大数据的前世今生
预习 02 | 大数据应用发展史:从搜索引擎到人工智能
预习 03 | 大数据应用领域:数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷,HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架?
08 | MapReduce如何让数据完成一次旅行?
09 | 为什么我们管Yarn叫作资源调度框架?
10 | 模块答疑:我们能从Hadoop学到什么?
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的?
12 | 我们并没有觉得MapReduce速度慢,直到Spark出现
13 | 同样的本质,为何Spark可以更高效?
14 | BigTable的开源实现:HBase
15 | 流式计算的代表:Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的?
17 | 模块答疑:这么多技术,到底都能用在什么场景里?
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎?
19 | Spark的性能优化案例分析(上)
20 | Spark的性能优化案例分析(下)
21 | 从阿里内部产品看海量数据处理系统的设计(上):Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计(下):架构与创新
23 | 大数据基准测试可以带来什么好处?
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑:我能从大厂的大数据开发实践中学到什么?
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来?
28 | 知名大厂如何搭建大数据平台?
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑:为什么大数据平台至关重要?
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”?
36 | 模块答疑:为什么说数据驱动运营?
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测?
38 | 如何发掘数据之间的关系?
39 | 如何预测用户的喜好?
40 | 机器学习的数学原理是什么?
41 | 从感知机到神经网络算法
42 | 模块答疑:软件工程师如何进入人工智能领域?
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你,有无限可能
第2季回归丨大数据之后,让我们回归后端
从0开始学大数据
登录|注册

42 | 模块答疑:软件工程师如何进入人工智能领域?

李智慧 2019-02-02
你好,我是李智慧。在大数据算法模块,我们一起学习了几种最常用的大数据算法,包括 KNN 分类算法、贝叶斯分类算法、PageRank 网页排名算法、关联分析 Apriori 算法、聚类分析 K-means 算法、神经网络算法以及几种常见的推荐算法,算是对大数据算法有了初步了解。
作为软件工程师,如果想掌握一些大数据算法的背景知识,以便更好地和算法相关团队合作,那么以这个模块讨论的算法为基础,触类旁通,针对公司使用的算法再进一步了解和学习,基本上也就够用了。但是,如果想从软件工程师深入进人工智能领域,那么就还需要系统地学习和掌握机器学习各方面的知识。
下面根据我的经验,给你呈现一个软件工程师进入人工智能领域的“学习路线图”,希望可以帮助到想转型进入人工智能领域的同学。

数学基础

机器学习有时候也被称为统计学习,其实就是统计大量历史数据中的规律,构建算法模型,再利用模型对现在的数据进行分类和预测。所以学习机器学习算法,先要复习一下统计学和概率论方面的知识。
很多算法的特征与函数都用向量空间表示,很多大数据算法计算也可以转化为矩阵与向量计算。比如 PageRank 算法就可以将网页间的链接关系表示为一个稀疏矩阵,所有页面的 PageRank 值构成一个向量,然后将矩阵与向量不断迭代相乘就可以了。因此,你还需要再复习一下线性代数的知识。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(5)

  • 杰之7
    最后一节课老师聊了关于AI的变现的话题,给了学习AI的知识储备,主要在数学,机器学习算法,大数据技术产品和懂些英文。

    精通算法的人很多,但能将算法和业务结合的人并不多。大数据技术和机器学习技术能为整个生产环境提供平台,至于变现,更多的是我们有些有好奇的心去发现和实践。

    整个专栏的结束,对于我自己而言,在课程学习的过程中,问了老师金融科技的问题,老师给予的回答是金融科技是加速器,发展前景不亚于今天的互联网技术。我要做的是就是用大数据产品和数据挖掘算法,懂金融产品的时候,在风控模型和量化上得到我个人价值的提升。

    这条路上的人很多,但能做好两者的人绝对不多,对于我普通的个人而言,做到了就是荣耀,没做到也就随大流在时间里刷走的自身吧。未来可期。

    作者回复: 加油

    2019-02-03
    3
  • Hyun
    各大平台对人工智能的跟进,可能都会有所偏重。

    百度是搜索起家的,对于全文搜索比较有优势,他的兴趣着落点会非常的广泛,包括政经,文体,宣教等;阿里是消费者数据更齐全,对于推荐和消费趋势更有说服力;美团更有优势在日常全品类覆盖;携程则更多看好在旅游周边。微信更接近人的真实社交需求,快速画像;还有一类特别想不到的,我认为适合做云AI的是搜狗等输入法公司。目前语音、图像识别等输入,远远达不到文字在互联网留下的痕迹,掌握了第一入口的输入法,应当是最大的赢家。

    2019-02-03
    2
  • 张苗
    推荐下 机器学习实战 这本书,偏实践,对理解机器学习很有帮助
    老师的大数据课程让我对大数据技术有了整体的了解,同时对于如何学习大数据技术有了明确的方向,真的是授人以渔,收获颇丰~感谢!
    2019-02-07
    1
  • 跟着老师学习了 Hadoop 大数据系统的原理与架构;Hive、Spark、HBase 等大数据生态下主要产品的原理和应用;学习了自己开发一个大数据 SQL 引擎的思路与方法,以及 Spark 源代码性能测试与优化等大数据开发实践;以及大数据技术背后的应用,大数据算法等许多内容。谢谢老师
    我有一个问题想得到老师的指导,就是大数据平台怎么监控?怎么保持其持久稳定性得运行呢?用什么来源的工具获取数据呢?再次谢谢老师。

    作者回复: Hadoop等大数据系统自身就被设计为高可用系统,部分服务器宕机不会引起系统的不可用。

    2019-02-27
  • 纯洁的憎恶
    感谢李老师的大数据第一课。相比课程知识点,收获更大的是重新认识到了大数据的位置、意义和作用,初步了解到进一步系统学习大数据的方法和途径。期待进阶课程。

    PS:今年1月份新出版的《深度学习 智能时代的核心驱动力量》——特伦斯·谢诺夫斯基,如何?
    具备人工智能功能的ERP软件有哪些成熟产品?
    2019-02-02
收起评论
5
返回
顶部