讲师介绍:袁艺,现任Freewheel高级研发工程师,工作以来一直从事大数据相关的研发工作,擅长Kafka/Druid/Spark,ApacheDruidCommitter。问题背景:SparkStreaming是基于Spark的框架,主要用于处理实时计算业务。由于流量的变化,SparkStreaming运行时需要动态获取和释放计算资源,而Spark框架已经提供了相应的能力。这节课我们主要介绍这个功能的实现。内容看点:1.SparkStreaming弹性伸缩机制的工作流程2.SparkStreaming扩容和缩容的逻辑3.从SparkStreaming的原理来思考缩扩容
精选留言