如何计算Spark中的2列?
我测试一下。但这不是好方法。
joinDF = logDF.join(logDF2,"day_number")
compareNumberRequestTraffic = joinDF.groupBy("day_number") \
.agg(functions.count("request","request2")) \
.show()
我有错误:
() takes exactly 1 argument (2 given)
我想吨上有输出
day_number count(request) count(request2)
2015-01-03 5 7
非常感谢
不要写有2个参数的count,但是要在agg函数中写2个count
joinDF = logDF.join(logDF2,"day_number")
compareNumberRequestTraffic = joinDF.groupBy("day_number") \
.agg(functions.count("request"), functions.count("request2")) \
.show()
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句