我是火花数据框的新手。我有一个包含数据的文本文件，例如
schoolid,classid,studentid,subject,marks
bjs,5,111,hindi,23
bjs,5,222,maths,78
bjs,7,333,bio,89
bjs,1,444,chemistry,67
ghs,2,555,bio,78
ghs,2,666,phy,56
ghs,9,777,drawing,56
我想将此数据转换为数据框并将 1 添加到标记列下的每个值
所以我使用的代码是
val df = sparkSession.read.format("csv").option("header","true").load("samplefile1.txt")
val newdf = df.select(col($"marks"+1)).show()
但我得到的错误是
type mismatch; found : org.apache.spark.sql.Column required: String
我可以帮助使用正确的语法吗
df.withColumn("marks", expr("marks +1").cast("integer")).show
输出 ：
+--------+-------+---------+---------+-----+
|schoolid|classid|studentid| subject|marks|
+--------+-------+---------+---------+-----+
| bjs| 5| 111| hindi| 24|
| bjs| 5| 222| maths| 79|
| bjs| 7| 333| bio| 90|
| bjs| 1| 444|chemistry| 68|
| ghs| 2| 555| bio| 79|
| ghs| 2| 666| phy| 57|
| ghs| 9| 777| drawing| 57|
+--------+-------+---------+---------+-----+
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句