11 | 怎么一劳永逸地解决数据安全问题？
该思维导图由 AI 生成，仅供参考
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
本文深入探讨了数据中台建设中的数据安全管理问题，并提出了五大法宝。首先介绍了数据备份与恢复机制，详细阐述了网易HDFS数据备份的实现方式。其次，讲解了垃圾回收箱设计，介绍了HDFS提供的垃圾回收功能以及其存在的缺陷，并提出了对HDFS Client进行修改的建议。接着，文章详细介绍了精细化的权限管理机制，以及OpenLDAP、Kerberos和Ranger在数据中台中的应用。通过对这些技术的深入解析，读者可以快速了解数据中台建设中的数据安全解决方案，为解决数据安全问题提供了有益的参考。 在面对数据中台建设中的数据安全问题时，本文提出了五大法宝，包括数据备份与恢复机制、垃圾回收箱设计、精细化的权限管理机制、操作审计机制以及开发和生产集群物理隔离。这些法宝涵盖了数据安全管理的多个方面，为读者提供了全面的解决方案。此外，文章还介绍了不同企业对于安全性和效率的不同诉求，以及针对这些诉求的两种部署模式。通过本文的阐述，读者可以深入了解数据中台建设中的数据安全问题，并根据实际情况选择适合自身企业的解决方案。文章内容丰富，涵盖了数据安全管理的多个方面，对于数据中台建设中的安全问题具有重要的参考价值。
《数据中台实战课》，新⼈⾸单¥59
全部留言(13)
- 最新
- 精选
吴科🍀引入权限管理，肯定会影响研发效率的。最好在项目开始前就引入。任务上线后再加入权限，要在开发环境严格测试，否则可能会任务因权限不足报错。 老师例子中，开发与生产两套集群用一个元数据的方案，提高了开发效率。但是，如果开发中要创建删除表，怎么避免不影响生产呢。 今天这一讲的5个最佳实践都很不错，很有借鉴意义。作者回复: 你好，吴科，每次一更新，就看到你的留言，非常的感动，感谢你的一路阅读~ 两套集群共享Metastore，在网易数据中台中，模型的创建和删除都是要通过第6讲模型设计中心中，通过工单完成的。 对应下来，比如da_music 项目，生产、测试集群物理隔离的环境下，平台会默认初始化两个库，一个是da_music_dev一个是da_music_online，开发模式下，我们提交任务是用的个人keytab，生产模式下，我们提交任务使用的项目keytab，因为keytab不同，所以我们可以限制，da_music_online只对项目keytab有更新和删除权限，个人keytab只有读取权限。这样就解决了你说的那个创建删除表，影响生产环境的问题了~ 感谢你的阅读，也感谢你的认可，期待再次相会。
2020-04-2716
尹英順郭老师，请教一个问题，数据安全框架Knox+Ranger是否可以实现认证、授权和审计功能？这个框架中还需要Kerberos作为安全认证体系吗？作者回复: 你好，knox 主要是基于restful api实现的安全防护，在网易，大家还是比较习惯直接用spark或者hadoop客户端提交任务，如果你们已经全部实现了Spark的服务化，即使用restful api 提交spark任务，我认为和knox集成，是可以的。但是如果做不到完全服务化掌控，还是需要Kerberos的。
2020-05-0726
西南偏北这里面最难实现的应该是那个权限管理那一块，如果不是开始就介入做起来，到后面会越来越难做，我们公司目前就是面临这个问题…作者回复: 所以你就明白我提这个问题的用意了吧。权限越早接越有利，越往后，成本越高，因为迟早都要接。 @aof我看到每次一更新，你就在留言区第一时间互动，真的非常感谢一路以来的阅读，下一次见~
2020-04-2823
风轻云淡老师，开发环境就是冷备份集群吗？作者回复: HI，你好，不是的，冷备集群，主要是用来存冷数据，一般来说是归档数据或者备份数据，一般使用EC存储的方式降低存储成本。 你说的开发模式，是指生产、测试集群分离，开发模式对应的是灰度集群或者测试集群，这个集群一般运行的是测试数据。 灰度集群和冷备集群并不是一个概念。感谢你的阅读~ 祝好~
2020-07-191
龙轼不错。很全面。顺便说下之前我们在HDFS上做了一个安全路径检查，防止人为的失误删除直接跳过垃圾回收站的行为作者回复: 你好，龙轼， 你说的是rm 命令-skipTrash可以跳过回收站，做cmd的检查是吧？ 一些大文件，为了避免进入回收站，造成存储浪费，所以hdfs提供了相关的命令参数，可以跳过回收站。 我觉得，避免hdfs数据误删除，主要是第一个区分对应的人是否有删除权限，另外就是有权限的人误删除之后，有恢复的机制，回收站就是后者。 感谢你的留言，也感谢你的肯定，祝好~
2020-05-151
Jie这里提到的全钻取是不是可以用黑盒模型来实现？作者回复: 你好，你说的是全维度钻取吗？ 全维度钻取是基于数据中台的元数据实现的，数据中台中，一个指标有哪些可分析维度，然后基于不同维度的数据对比，给出结论。
2020-05-021
Bill赞，很细致。作者回复: 感谢你的认可，安全无小事，希望对你能有帮助。欢迎你在留言区与我互动，我们下次见。
2020-04-281- JohnT3e在进行权限管理时，先构建权限体系，再按照资源本身的重要性和价值进行。特别是对于一些维度表，往往包含比较敏感和丰富的信息。也可以从平台或者工具上入手尽可能透明化，降低权限对开发的影响。其实，注意影响还是在前期投入如何解决好改造和开发新需求之间矛盾。可以通过类似灰度发布的做法，逐步改造迁移。 另外，发现两处typo： “此时对应目录下面会生成一个.snaoshot 的文件夹。”中的.snaoshot应该是.snapshot “为什么考虑 DistCp 呢？因为它支持增量数据的同步。它有一个 diifer 参数”中的diifer应该是differ
作者回复: 你好，首先感谢你对文章中单词拼写的指正。 你说的是对的，权限的引入要越早越好，通过平台，降低权限的使用门槛。 感谢你的阅读~
2020-04-2721 
王数据脱敏管理，貌似没有提到过，数据中台应该会提供数据服务脱敏的能力吧。2020-11-1611
数据小白看来我盟的黑历史 ，在业内已经闻名遐迩了~2023-04-04归属地：上海
