从0开始学大数据
李智慧
同程艺龙交通首席架构师,前Intel大数据架构师,《大型网站技术架构》作者
立即订阅
14333 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术?
免费
预习模块 (3讲)
预习 01 | 大数据技术发展史:大数据的前世今生
预习 02 | 大数据应用发展史:从搜索引擎到人工智能
预习 03 | 大数据应用领域:数据驱动一切
模块一 Hadoop大数据原理与架构 (7讲)
04 | 移动计算比移动数据更划算
05 | 从RAID看垂直伸缩到水平伸缩的演化
06 | 新技术层出不穷,HDFS依然是存储的王者
07 | 为什么说MapReduce既是编程模型又是计算框架?
08 | MapReduce如何让数据完成一次旅行?
09 | 为什么我们管Yarn叫作资源调度框架?
10 | 模块答疑:我们能从Hadoop学到什么?
模块二 大数据生态体系主要产品原理与架构 (7讲)
11 | Hive是如何让MapReduce实现SQL操作的?
12 | 我们并没有觉得MapReduce速度慢,直到Spark出现
13 | 同样的本质,为何Spark可以更高效?
14 | BigTable的开源实现:HBase
15 | 流式计算的代表:Storm、Flink、Spark Streaming
16 | ZooKeeper是如何保证数据一致性的?
17 | 模块答疑:这么多技术,到底都能用在什么场景里?
模块三 大数据开发实践 (8讲)
18 | 如何自己开发一个大数据SQL引擎?
19 | Spark的性能优化案例分析(上)
20 | Spark的性能优化案例分析(下)
21 | 从阿里内部产品看海量数据处理系统的设计(上):Doris的立项
22 | 从阿里内部产品看海量数据处理系统的设计(下):架构与创新
23 | 大数据基准测试可以带来什么好处?
24 | 从大数据性能测试工具Dew看如何快速开发大数据系统
25 | 模块答疑:我能从大厂的大数据开发实践中学到什么?
模块四 大数据平台与系统集成 (6讲)
26 | 互联网产品 + 大数据产品 = 大数据平台
27 | 大数据从哪里来?
28 | 知名大厂如何搭建大数据平台?
29 | 盘点可供中小企业参考的商业大数据平台
30 | 当大数据遇上物联网
31 | 模块答疑:为什么大数据平台至关重要?
模块五 大数据分析与运营 (5讲)
32 | 互联网运营数据指标与可视化监控
33 | 一个电商网站订单下降的数据分析案例
34 | A/B测试与灰度发布必知必会
35 | 如何利用大数据成为“增长黑客”?
36 | 模块答疑:为什么说数据驱动运营?
模块六 大数据算法 (6讲)
37 | 如何对数据进行分类和预测?
38 | 如何发掘数据之间的关系?
39 | 如何预测用户的喜好?
40 | 机器学习的数学原理是什么?
41 | 从感知机到神经网络算法
42 | 模块答疑:软件工程师如何进入人工智能领域?
智慧写给你的寄语 (1讲)
所有的不确定都是机会——智慧写给你的新年寄语
结束语 (2讲)
结束语 | 未来的你,有无限可能
第2季回归丨大数据之后,让我们回归后端
从0开始学大数据
登录|注册

25 | 模块答疑:我能从大厂的大数据开发实践中学到什么?

李智慧 2018-12-25
你好,我是李智慧,又到了我们模块答疑的时间了。在这个模块里,我主要讲了大数据开发的实践,所以今天我想和你聊聊我在大厂里学到哪些经验。
软件编程大体上可以分成两种,一种是编写的程序直接供最终用户使用,针对用户需求进行开发,可以说绝大多数工程师开发的绝大多数程序都属于这一种;还有一种是编写的程序供其他工程师使用,大到全球通用的各种编程语言、编程框架、虚拟机、大数据系统,小到公司内部,甚至团队内部自己开发的各种工具、框架,以及应用系统内的非业务模块,都是属于这一种。
一般说来,后一种编程因为输出的程序要给其他工程师使用,接受专业同行的审视,而且被复用的次数更多,更偏向底层,所以通常技术难度更高一点,开发这样的软件对工程师的技能提升也更高一点。技术产品难度有难易之分,正如工程师水平也分高下,但是两者之间却没有必然联系。
这些年,我在各种不同的公司工作过,在几个人的小作坊开发过只有几个人使用的所谓 ERP 系统,也在所谓的大厂参与过全球顶级的大数据系统的开发,据我所见,优秀的人哪里都有,大厂里优秀工程师更多一些,但是小作坊里有时候也卧虎藏龙。
导致工程师技术水平不同的不在于是大厂还是小作坊,大厂里有十几年如一日拧螺丝钉的人,在一个极其狭窄的技术产品里重复技术细节的工作,对这些年的技术进步几乎一无所知;小作坊也有自己开发整套技术框架的人,虽说是重复造轮子,但是因为造过,所以对软件开发的关键技术和架构设计有更深刻的领悟,软件设计能力和编程技巧通常也更胜一筹。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《从0开始学大数据》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(14)

  • 纯洁的憎恶
    在这个信息爆炸的时代,很可能意味着噪音多过有价值的声音,那么过滤掉噪音直达关键信息的手段就显得格外重要。跳过网上良莠不齐的资料,直接查阅原始论文就是很好的策略。还有就是通过极客时间这样的产品,通过付费门槛和头部声誉过滤掉噪音。
    2018-12-25
    8
  • 启能
    给大家推荐一些大数据相关的经典文章吧?
    2018-12-25
    1
    3
  • MJ
    问一个很笨的问题,查看论文的渠道,老师可否指点一二?

    作者回复: 百度就可以 MapReduce+论文,如果没有直接搜到论文,点进去通常也会有论文的链接。

    2019-01-02
    1
  • lixxD
    公司没有用大数据,可能是因为数据量不大,不需要大数据方案就能解决问题,这个时候向组里提议大数据方案是一种好的做法吗?

    作者回复: 大数据不光是大数据技术本身,还有配套的各种数据分析和机器学习的代码库 文档 最佳实践,用大数据方案会带来额外的收益。

    数据量不大,也可能是忽略了一些数据。从知识储备的角度,从团队技术进步的角度,也值得开始用大数据。

    2018-12-25
    1
  • 落叶飞逝的恋
    只要你想要就拼命的取争取,非常好!
    2019-03-04
  • lzw
    请问,老师说到的论文,一般是怎么获取?

    作者回复: 根据产品名称可以用搜索引擎搜索论文,论文里有引用其他论文,有兴趣可以进一步阅读。

    2019-01-24
  • 小老鼠
    你们这个性能测试工具开源吗?若不开源作为一个中小型公司用什么工具测试大数据比较好,另外请教大数据功能应该如何测试。
    2019-01-22
  • 修行者
    确实,如今信息太多,如何去甄别有用的信息及价值,显得格外重要;
    1. 花大量的时间去对比,判别价值量
    2. 通过一定的付费,用金钱去过滤一些无用的噪声
    3. 听取比自己层次高的人的一些建议,而不是同等水平人的
    2018-12-28
  • special
    学习大数据接近一年,对Hadoop各种工具的特点、原理以及编程使用有较为全面的总结,大数据小白入门的好帮手。
    欢迎关注公众号:
    程序员的修身养性
    一起交流学习!
    2018-12-28
  • 老师,我想租几台云服务器自己搭建练习,请问3台1核1g的服务器能搭建起来吗?

    作者回复: 有点小,可以单机部署的,也可以建虚拟机建集群

    2018-12-26
  • 阿神
    老师,一直有个问题,咨询了很多人都没找到我要的答案。MPP(像greeplum),MPP on hadoop(像HAWQ,Impala),还有spark sql,到底各自适合什么业务场景,企业该如何选型?
    2018-12-26
  • WesleyWong
    公司才开始使用, 我负责各组件的调研, 感谢老师的文章,让我更深入的了解各个组件. 最近遇到各种问题, 还要继续努力.
    2018-12-25
  • 观弈道人
    老师读论文一般都是读英文论文吧,这个难度真心有点大
    2018-12-25
  • 星辰
    公司有做数据埋点,但是大数据的处理我看是成都基地应该准备做了……
    2018-12-25
收起评论
14
返回
顶部