数据科学家和数据工程师之间有什么差别?
极客时间编辑部
讲述:丁婵大小:1.30M时长:02:51
此前,Acheron 团队在 Reddit 上做了网络分析(AMA)后发现,人们提出的最常见问题是数据科学家和数据工程师之间到底有什么差别。对此,他们从不同的目标、思维方式、工具和所需的背景等维度来讨论了数据工程师和数据科学家的技术差别。
首先从目标来看,数据工程师的目标更关注于任务和开发,构建自动化系统和建模数据结构,帮助数据得到有效处理。这代表着数据工程师的目标是创建并开发表和数据管道,以支持用于分析的仪表盘和其他的数据用户。他们的工作和大多数的工程师很类似,要进行大量的设计、假设、约束和开发才能完成最终的任务。每个设计和解决方案也都会有自己的约束,即使它们都可以执行最终的任务。
相对而言,数据科学家更加以问题为中心。他们需要寻找降低成本、增加利润、提升用户体验或业务效率的方法。这代表着他们要先提出问题,然后自己解决问题。数据科学家需要分析、收集支持信息、得出问题的结论。
其次,从工具层面来讲,数据科学家和数据工程师都需要依赖于 Python 和 SQL。然而,两个岗位的人使用这些技术的方式是不同的。同样,这也和思维方式的不同息息相关。Python 是非常健壮的语言,它拥有强大的类库来帮助管理操作性任务和分析性任务。
数据科学家会使用 Pandas 和 Scikit Learn 这样的语言,而数据工程师会使用 Python 来管理管道。在这里 Airflow 和 Luigi 这样的类库就能派上用处。
如上所说,数据科学家的查询将重点关注于问题。但是数据工程师的查询会更关注于数据的清理和转换。
最后,数据工程师和数据科学家都需要了解数据和编程。然而,也有一些差别,由于数据科学家更像是研究员,如果有基于研究的背景会是加分点,比如经济学、心理学等。他们还需要具有良好的商业意识,能将其与自身的研究背景结合起来。此外,大多数雇主更希望招聘至少硕士学历、具备某些技术或数学研究背景的数据科学家。
而数据工程师就不一定需要硕士学位。数据工程师更像是一个开发人员。比起理论知识,他们需要更多的实践经验。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论