讲师介绍:赵剑雄,Freewheel大数据开发工程师,过往工作主要围绕离线数仓及离线数据处理平台的设计以及开发等。问题背景:随着云计算的流行,对象存储技术由于使用及维护成本低廉,逐渐普及开来。但由于对象存储技术本身的技术特点,在对象存储的情况下,由于没有move操作,以及对象存储写一致性等问题,会使得数据更新的时间可能会变得很长,这期间对Hive表进行访问的数据一致性无法得到保证。本文主要探讨这个问题的原因e以及解决方法。内容看点:Hive在对象存储的场景下数据更新一致性问题的探讨Hive的元数据管理服务HiveMetaStore的特性Hive中刷新数据的数据一致性问题
精选留言(1)