37 | 当数据遇上AI，Twitter的数据挖掘实战（一）

Twitter的数据挖掘实战论文介绍了在大数据系统中遇到的挑战和解决方案。作者指出，大部分困难来自于系统和系统之间的“鸿沟”，以及不同团队和角色之间的“鸿沟”。在实际工作中，数据科学家需要花费大量时间在“定义问题”和“清理数据”上。而在大数据系统中，日志格式的不一致、字段名称的差异等问题会给数据分析带来困难。 为了解决这些问题，Twitter采用了技术手段来填补知识鸿沟、提升团队效率。他们引入了强Schema的格式Thrift和数据的元数据管理工具HCatalog，将隐性知识显性化，提升工作效率。通过Thrift和HCatalog，日志格式始终和代码保持一致，字段含义得以明确定义，而数据的来源和生成方式也得以清晰记录，避免重复劳动。 Twitter还单独启动了一个项目，将最常用的用户行为日志统一记录在客户端，以统一的格式记录。这些优化措施都体现了Twitter通过技术手段减少重复劳动，将隐性知识显性化，从而提升团队效率的策略。 总之，本文通过介绍Twitter在大数据系统中的实践经验，展示了如何通过技术手段解决数据挖掘中的“沟通问题”，并提升团队效率。这对于读者了解大数据系统中的挑战和解决方案，以及如何运用技术手段提升团队效率具有重要参考意义。 Twitter的解决方案简单直接，通过技术手段将需要交流的信息变成系统里固定的一部分，从而长治久安。