如何从Spark数据框中删除/过滤特定行

debugcn 发表于 Dev

斯塔克

我想从Spark数据
框中删除特定记录：样本输入：

预期产量：

废弃的行：

我写了下面的代码来过滤数据帧（这是不正确的）：


val Name = List("Rahul","Mahesh","Gaurav")
val Age =List(20,55)

val final_pub_df = df.filter(!col("Name").isin(Name:_*) &&  !col("Age").isin(Age:_*))

所以我的问题是-如何使用特定的过滤条件过滤多于一列的数据框。数据框应根据“名称”和“年龄”字段的组合进行过滤。

巴拉瓦瓦斯·布莱克

这是解决方案。根据您的数据集，我提出了问题-

数据框下方的条目不正确。我想删除所有不正确的记录，仅保留正确的记录-

val Friends = Seq(
      ("Rahul", "99", "AA"),
      ("Rahul", "20", "BB"),
      ("Rahul", "30", "BB"),
      ("Mahesh", "55", "CC"),
      ("Mahesh", "88", "DD"),
      ("Mahesh", "44", "FF"),
      ("Ramu", "30", "FF"),
      ("Gaurav", "99", "PP"),
      ("Gaurav", "20", "HH")).toDF("Name", "Age", "City")

过滤数组-

val Name = List("Rahul", "Mahesh", "Gaurav")
val IncorrectAge = List(20, 55)

数据操作-

Friends.filter(!(col("Name").isin(Name: _*) && col("Age").isin(IncorrectAge: _*))).show

这是输出-

+------+---+----+
|  Name|Age|City|
+------+---+----+
| Rahul| 99|  AA|
| Rahul| 30|  BB|
|Mahesh| 88|  DD|
|Mahesh| 44|  FF|
|  Ramu| 30|  FF|
|Gaurav| 99|  PP|
+------+---+----+

您也可以在联接的帮助下完成它。

创建Badrecords df-

val badrecords = Friends.filter(col("Name").isin(Name: _*) && col("Age").isin(IncorrectAge: _*))

用户left_anti加入以选择好友减去不良记录-

 Friends.alias("left").join(badrecords.alias("right"), Seq("Name", "Age"), "left_anti").show

这是输出-

+------+---+----+
|  Name|Age|City|
+------+---+----+
| Rahul| 99|  AA|
| Rahul| 30|  BB|
|Mahesh| 88|  DD|
|Mahesh| 44|  FF|
|  Ramu| 30|  FF|
|Gaurav| 99|  PP|
+------+---+----+

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。