04｜接入与传输：成本、可靠性、时效性与安全合规应如何平衡？

1. 数据接入层的选型与实现是大数据系统中的关键环节，需要考虑统一使用 Fluentd 来承接所有的流式数据流，并在数据接入层方面采用直连的方式将批量数据写入存储中。 2. 数据传输层的选型与实现需要考虑高吞吐量、低延迟、高可用性、数据一致性和可扩展性，其中 Apache Kafka 是最理想的技术选型，而在特定场景下也可以考虑 Apache Pulsar。 3. 在大数据系统设计中，成本控制是决定架构方案可行性的关键因素，需要在成本、可靠性、时效性三方面根据业务需要做折衷，选择开源免费方案、具备弹性伸缩的方案，并支持容器化部署，以实现资源的高效利用。 4. 安全合规是一个刚性目标，不应该被牺牲，需要采用合理的数据加密策略、访问控制与身份认证，并建立全链路的审计体系，以满足安全合规要求。