• cricket1981
    2019-07-12
    Beam的函数确实难用,不像spark和scala collection那样用起来直观.
    sc.textFile("file:///your-input.txt").flatMap(_.split("[^\\p{L}]+")).map((_,1)).reduceByKey(_+_).map(_.swap).sortByKey(false).map(_.swap).collect
    
     1
  • 李孟
    2019-07-08
    这还是比较重,spark求同样的需求几个函数就搞定了
    
     1
  • 杰洛特
    2019-11-14
    前两章还在说不要使用任何 DoFnTester 进行测试,这边怎么又来写 DoFnTester 了?感觉这专栏像是很多人写了拼起来的,有很多前后矛盾的地方
    
    
  • cricket1981
    2019-07-12
    如何用Apache Beam求word count TopK问题呢?

    作者回复: 谢谢你的提问!在Beam原生的Composite Transform中有一个叫Top Transform,只需要应用Top Transform然后传入一个自己实现的Comparator就好了。

    
    
  • cricket1981
    2019-07-12
    如果要按word出现次数从大到小排序应该怎么写?

    作者回复: 谢谢你的提问!这个可以应用Beam中的Top Transform,实现一个Comparator Interface就可以了。

    
    
我们在线,来聊聊吧