高技能人才或是未来大数据发展的最大瓶颈
极客时间编辑部
讲述：丁婵大小：2.54M时长：05:32
大数据无疑是当下最流行的热词和前沿技术之一。本质上，大数据具有三大类特征：快速、海量和复杂，大多数公司都在经历着这三大特征的各种形态组合。目前，这些特征中，还存在很多较难以解决的挑战。近日，大数据战略家 Gary Cheung 发文对“大数据”的问题进行拆分，分析了是什么使大数据充满挑战，以及现在如何用最新的方法解决这些问题。以下为原文内容。
高速的数据
高速的数据指在短时间内产生的大量数据。它通常被认为是实时的或是准实时的数据流。处理数据流有很多挑战，包括在采集时不丢失数据、处理数据流中的重复记录、流数据与更大的历史数据集集成，以及进行实时分析等。
传统的数据流服务比如 Rabbit MQ 和 Active MQ 只在单节点上运行因此受到了服务器能力的限制。Apache Kafka 引入了分布式流服务的概念，使得数据流可以分散到多个节点（服务器）上，这实现了高吞吐的流处理，每秒能达到数百万条。随着服务向云上的迁移，开发者不用再管理底层的硬件。亚马逊的 Kinesis 和谷歌的 Pub/Sub 将后方的服务器完全抽离，使开发者能够更专注于业务逻辑和数据。
海量数据
处理超大数据集通常会受到存储和处理数据的计算资源的限制。通常一块商用硬盘可以容纳 1TB 的数据量。有些数据集能有好多 PB。这些数据需要在数据中心内跨多个服务器（或传统的 RAID 盘）存储。除此之外，处理这些数据也需要大量的物理内存和 CPU。
Hadoop 的出现一定程度上降低了数据处理的成本。这套系统的核心是 Hive，一种能像数据库一样存储数据的类 SQL 处理系统。数据处理在商用硬件上进行，使用 Map-Reduce 算法。这些服务器通常被存放在数据中心。但是，管理维护数据中心和 Hadoop 套件的成本非常高。
但最近，很多的存储和处理都转移到了云上，比如 AWS 和 GCP （Google Cloud Platform ) 这些主流玩家。AWS 和 GCP 都提供受管理的 Map Reduce 或 Spark 服务。他们也提供大规模可扩展的数据库服务，能为 PB 级的数据集提供关系型数据库服务。这些解决方案最大的优点是用户不用管理底层的硬件，可以专注于更重要的任务。
复杂数据
“大数据”的第三个特征是复杂。理想的数据集有预先定义的 schema，每种数据类型（string, number, date）都有定义好的主键，以及完善的数据字典。数据集中没有重复，所有的值都是精准的。
复杂数据的概念和理想数据完全相反。所有数据集都有一定的复杂性，但有一些天生更难处理。通常这些复杂数据集没有定义结构（没有行列结构），经常变化，数据质量很差或没有记录。
为复杂数据做快速标注时，大多数不好的数据应该在源头就进行识别。数据工程师需要构建足够强壮的系统来快速获取和过滤这些数据集，但是这些数据最终还是要在源头纠正。此外，如果可以，建议在数据产生的源头定好 SLA 来减少低质量的数据，使数据更好管理。
处理复杂数据集，让它们能遵从整洁的格式需要下很大的功夫。每种数据质量问题都需要区别处理，有很多工具可以用来处理这种数据。通常数据科学家和工程师会用 Jupyter Notebook 以及 Pandas 或 Spark 来处理、分析、可视化这些数据集。Jupyter 为开发者提供了交互式的环境使他们能在代码中逐行遍历数据集，从而节省很多时间。Databricks 也提供了非常好的数据处理和分析环境，包含了一个类似 Jupyter Notebook 的 UI、独有的 Spark 特性、以及简单易用的节点管理能力。
小结
可以看出，这些特征中的任何一个挑战都很难解决。但是，大多数的公司都经历着这三种问题的各种形态组合。挑战变得更庞大了，这需要衡量不同的工具和方法来解决他们特定的问题。
向云服务的转移很大程度上降低了处理和管理大数据的壁垒，公司不再需要建设数据中心并且花大量的预算在专用软件上。但是招聘懂得如何使用正确的工具来处理大数据问题的人才仍然是个难题。
降低大数据使用门槛的下一步是利用机器学习技术来理解数据的结构以及监测数据发生的变化。由于高技能人才将成为处理大数据的瓶颈，未来 5-10 年间产生的下一代工具，很可能会关注这些特征。
以上就是今天的内容，希望对你有所帮助。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论