我有一个数据框，其中有大约1000s（可变）列。
我想使所有值都大写。
这是我想到的方法，请问这是否是最好的方法。
如果您只是想对所有列都应用相同的功能，则只需执行以下操作：
import org.apache.spark.sql.functions.{col, upper}
val df = sc.parallelize(
Seq(("a", "B", "c"), ("D", "e", "F"))).toDF("x", "y", "z")
df.select(df.columns.map(c => upper(col(c)).alias(c)): _*).show
// +---+---+---+
// | x| y| z|
// +---+---+---+
// | A| B| C|
// | D| E| F|
// +---+---+---+
或在Python中
from pyspark.sql.functions import col, upper
df = sc.parallelize([("a", "B", "c"), ("D", "e", "F")]).toDF(("x", "y", "z"))
df.select(*(upper(col(c)).alias(c) for c in df.columns)).show()
## +---+---+---+
## | x| y| z|
## +---+---+---+
## | A| B| C|
## | D| E| F|
## +---+---+---+
另请参阅：SparkSQL：将聚合函数应用于列列表
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句