• YueShi
    2020-12-05
    NewSQL: 对ACID有严格的要求, 并发量特别大的场景, NoSQL: 数据查询量远大于写入更新, 还有NewSQL一般对硬件要求比较高, 成本较高

    作者回复: 赞,成本这点很对

    
    10
  • 9ambition
    2021-02-18
    从处理性能看,选用不同数据库的前提是搞清楚自己需要的数据属于什么类型的。 如果是存储具有强一致性,或者说存储的数据具有典型的结构化特征,就很需要用结构化型数据库,老师之前也讲到过,数据量不是特别大的时候,其实用不用分布式关系数据库都ok,但是如果数据量很大很大,需要在很大的数据量中查找某一个特定的结构化数据,就可以用分布式结构化数据库以提升查询和存储速率。 如果存储的数据类型是可用“键”-“值”结构表示的,用半结构化数据库存储就可以,但是话说回来,其实很多结构化的数据也还是可以用半结构化的方式表示,所以有的时候两者混用也是ok的。(至少从实战角度看) 如果存储的数据不是结构化数据,也不是“键”-“值”结构的数据,就可以用分布式文件系统来读取和存储。 如果要横向比较的话,我会觉得用半结构化的处理效率会比结构化快,因为结构化就需要先锁定表,然后再去访问某一列,再锁定某一行。而半结构化只需要锁定“键”,就可以直接访问对应的值。分布式文件系统没有用过,所以不是很懂。 从成本来看,我首先会去看数据库是否开源,其次是使用人群规模,一般来说用得多还开源的想必对电脑的要求不会太高。
    展开

    作者回复: 赞👍

    共 2 条评论
    3
  • PM Silence
    2020-12-17
    作为小白,大只能这样理解吗? 在业务体系复杂,却又包含多种关联的时候,可以使用NewSQL,比如多条业务线,需要调用订单模块,订单又要与支付产生关联。这些数据结构相对比较结构化,但是关联关系又很多,所以用NewSQL合适一些。 比如烟感、地磁、水浸等设备可以用NoSQL,因为不同设备数据结构略有不同,相同产品不同型号可能也不同,使用NoSQL可以较好解决数据兼容问题。 音视频这种非结构化数据使用分布式文件系统,但是在一些场景下,例如安防监控、交通监控之类的,想从数十小时内找到目标内容很费劲,所以很多科技在致力于非结构化数据结构化处理,满足快速检索的需求。

    作者回复: 基本OK,传感器数据也可以考虑时序数据库

    
    2
  • 小可
    2021-02-03
    老师请教个问题,除了数据本身存储选型,针对每个设备每天每种数据类型数据量的统计,比如20万设备5种类型保留30天,也就是3000w数据量,该选什么存储?统计粒度再细一点到每小时保留7天,也就是1.7亿又该选什么存储?

    作者回复: 针对设备的周期性数据可以用时序数据库,时序数据库本身就可以提供一些高效的数据操作。

    
    
  • Rovebiy
    2020-12-14
    老师,你好,我觉得postgresql数据库就很适合,除了分布式,其他场景都可以应用,为什么没提到呢

    作者回复: PostgreSQL挺好的,只是没有提到而已,可以继续使用

    
    
  • Geek_9b7997
    2020-12-02
    请问下,时序数据库不是应该归类到非关系型数据库吗?

    作者回复: 为什么这么说呢,没有理解? 先明确一个概念啊,这里非关系型数据库是指NoSQL数据库。为什么说时序数据库是NoSQL数据库呢?

    共 2 条评论
    
  • 佳伦
    2021-11-30
    最近四维纵横的matrixdb挺火的
    
    2
  • 代先生。
    2022-03-09
    请问Clickhose不推荐吗?
    共 1 条评论
    1
  • 班戟鱼
    2023-07-06 来自新加坡
    有一个疑问,hdfs不是不适合存储海量小文件吗?如果图片文件都很小,hdfs存储是否就不太合适了
    
    
  • Geek_scorpio
    2022-11-13 来自四川
    这一讲特别有感受,在数据存储和数据未来的处理读取上,我们也是升级改良了几版本。 现在是Sharding-JDBC在MySql的基本上做水平扩展,并对价值比较高的时序报警做存储,并生成统计类分片表。 而各种设备的时序数据依托唯一键值,以JSON的方式存储进MongoDB中,当后续Spark进行离线批处理的时候,再按唯一键读取进行统计分析。 现在成本还比较小,也想过利用NewSQL来升级MySql,但是部署成本上确实要高不少
    
    