我有两个数据框。
一个来自groupBy，另一个是总摘要：
a = data.groupBy("bucket").agg(sum(a.total))
b = data.agg(sum(a.total))
我想将总数从b放入数据帧，以便可以计算每个存储桶中的百分比。
您知道我将使用哪种联接吗？
使用，.crossJoin您将从bdf的所有行中获得总计a，然后可以计算百分比。
Example:
a.crossJoin(b).show()
#+------+----------+----------+
#|bucket|sum(total)|sum(total)|
#+------+----------+----------+
#| c| 4| 10|
#| b| 3| 10|
#| a| 3| 10|
#+------+----------+----------+
相反，CrossJoin您可以尝试使用如下所述的窗口函数。
df.show()
#+-----+------+
#|total|bucket|
#+-----+------+
#| 1| a|
#| 2| a|
#| 3| b|
#| 4| c|
#+-----+------+
from pyspark.sql.functions import *
from pyspark.sql import *
from pyspark.sql.window import *
import sys
w=Window.partitionBy(col("bucket"))
w1=Window.orderBy(lit("1")).rowsBetween(-sys.maxsize,sys.maxsize)
df.withColumn("sum_b",sum(col("total")).over(w)).withColumn("sum_c",sum(col("total")).over(w1)).show()
#+-----+------+-----+-----+
#|total|bucket|sum_b|sum_c|
#+-----+------+-----+-----+
#| 4| c| 4| 10|
#| 3| b| 3| 10|
#| 1| a| 3| 10|
#| 2| a| 3| 10|
#+-----+------+-----+-----+
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句