09 | 数据传输的质量:金融业务对数据传输有什么要求?
任杰
你好,我是任杰。这节课我想和你聊一聊怎么做好金融数据的传输。
我们在开篇词提到过,如果你对系统的要求高,通常都会说要按照金融级的标准来设计。所以当我们提到金融数据传输的时候,你可能也会觉得数据传输应该也是要求非常高的,既要速度快,又要流量大,而且还有极强的容灾能力。
没错,在金融行业很多地方会有这样的要求,但是也有一些地方要求并不高。所以这节课我会带你分析一下金融业务在不同场景下对数据传输的要求是什么,以及解决方案都有哪些。
案例分析
按照惯例,我们还是从一个具体的例子开始。和我们之前讲扫码支付一样,这里的例子既要典型,又要简单。所以思考再三,我选择了简化版的券商算法交易平台对接交易所的例子,原因有这些:
1. 涉及场景多。既有事务数据,也有市场数据。
2. 模型简单。只涉及到 2 个主体。
3. 复杂度可选。连接交易所的要求可以很高,也可以很低,具体取决于你愿意出多少钱,有多久的研发时间。
那我们来看看简化的模型是怎样的。
在券商对接交易所的例子里,一共包括两个主体:券商和交易所。券商的任务是将券商提供的市场交易信息发送到自己的算法交易平台,平台分析这些信息之后发送买卖订单给交易所。交易所负责处理收到的订单,在处理完之后将交易信息传递给券商。整个过程都是用软件实现,而不是用硬件。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
金融科技领域的重要议题之一是金融数据传输系统的优化和实时市场数据处理。本文从金融数据的时效性出发,探讨了数据传输系统的优化方法。针对算法交易平台对实时数据的需求,提出了针对性的容灾能力调整建议。此外,文章还介绍了实时市场数据的特殊部署和数据分发方式,以及数据压缩的重要性和金融行业专用的通讯协议。通过对金融数据传输系统的多个方面进行深入分析,为金融科技领域的从业者提供了有益的参考和指导。 金融数据传输涉及交易数据和市场数据两种类型。处理金融交易数据时,需要考虑数据限流的架构选型。市场数据分为非实时和实时两种处理方式,对订阅发布和消息架构选择需做好区分。实时市场数据的消费者分为不同级别,系统架构也应分级处理数据分发。实时系统的优化主要体现在数据压缩上,金融行业采用特有的FIX二进制通讯协议。 在实时数据系统中,处理速度不一致可能导致数据量过大,影响用户处理。解决此问题的方法值得探讨。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式金融架构课》,新⼈⾸单¥59
《分布式金融架构课》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(6)
- 最新
- 精选
- lukeFIX的缺点不就是数据冗余度太高,编解码效率太低么
作者回复: luke同学你好。FIX刚好解决的是这些问题。
2021-02-242 - tt平衡速度不同的节点,就像CPU和主内存之间的差异,往往都是引入一个中间层比如一级缓存、二级缓存来解决,这些缓存对外是透明的。 这么来看,实时数据推送的层级结构与CPU缓存、内存的层级结构非常类似: 越往上的层级,成本越高数量越少; 越往下的层级,成本越低数量越多。 缓存利用了数据在空间上的局部性: 一个数据周围的数据也很快会被访问。 只是问题中说的速度的差异还会带来数据量的积压,所以还需要有“削峰填谷”的能力,这个正好是消息系统最主要的职责之一。 但是,等一下,客户来不及处理的数据真的需要放入数据的“水库”中等待用户后续处理么?这可是实时数据,也许等到客户可以处理的时候,数据的价值已经消失了,所以此时的数据已经不值得用户再去花那么多钱了。 所以,用户在和交易所买席位费的时候先评估自己的需求:要么花费和交易所等量的钱去对接,要不就降低自己的层级。 对交易所来说,提供的就是实时数据,第一是不能被下游系统阻塞;第二是不必缓存没有被消费的数据,因为缓存完再提供,那提供的就不是实时数据服务了。 推导来推导去,得出的结论不过是:实时数据就是传输过程中发生丢失就不需要找回的数据。2021-01-11211
- webmin按时间窗合并明细数据,对于不同能力的用户给不同窗口大小的数据,比如:统计10,20,50毫秒窗口。2021-01-191
- 张志生"比如说 Apache Kafka 默认带有一定容灾功能。一般要求部署 3 个节点,其中一个是主节点,另外两个是备份节点。",麻烦老师确认一下,这个细节是否正确。我的理解apache kafka集群只有controller角色,分区才有leader,follower概念。2022-08-25归属地:上海
- salt实时数据如何保证低延时的同时,保证数据的完整性 (不丢失)、顺序性2022-05-21
- 柳钢实时用户能否对于需要的数据进行筛选?需要的数据才处理,不需要的数据直接丢失?2021-10-10
收起评论