hujihu33
2021-12-23
视频内容总结: 1,旧的计划器和Blink新的计划器的几个不同点,之后会用Blink的计划器 2,table api 和 SQL 的程序的结构--table connect (sink/source) 创建表, 之后可以通过from , select 或者是 sqlQuery() 对数据源表进行操作并建立相应的table 对象,之后就是executeinsert() 3, tableEnvironment 能够做什么事情 4, flink sreaming query 和 flink batch query 、blink streaming query (使用 blinkplanner)、blink batch query 5, 基于table api的查询 6, 基于sql的查询 sqlQuery 7,数据的输出,怎么定义输出sink,之后就 result.executeinsert()
1
颜颜颜爱学习
2021-01-29
老师你好,对于flink1.12.0版本的流批一体测试时,我发现了一个小问题,就是对于离线数据分词统计时,sum为1 的单词不会被打印出来,sum 大于 1 的才会打印出来,能帮忙解释一下为什么会这样么? 代码: val env = StreamExecutionEnvironment.getExecutionEnvironment env.setRuntimeMode(RuntimeExecutionMode.BATCH) // 在DataStream API上以批处理方式执行 // 本地测试文件 val inputStream = env.readTextFile(getClass.getResource("/hello.txt").getPath) // 分词统计,问题:批处理模式的时候,sum 为 1 的单词不会被打印 val resultStream = inputStream .flatMap(_.split(",")) .filter(_.nonEmpty) .map((_, 1)) .keyBy(_._1) .sum(1) resultStream.print() env.execute("word count") 测试文件的数据内容: hello,flink hello,flink hello,hive hello,hive hello,hbase hello,hbase hello,scala hello,kafka hello,kafka 测试结果:hello/flink/hive/hbase/kafka的和大于1,会打印出来;但是 scala的个数为1,不会被打印出来
展开
1
Geek_591cf9
2023-09-05
来自广东
老师讲这么多源码,能不能提供一个思路怎么看flink项目的源码
☺
2022-06-16
老师,您好,通过sql api除了能进行查询输出结果外,还能不能对输入的数据做一些自定义的计算得出结果?以及如果结果有多个,能不能输出到不同的sink?谢谢