在Pyspark中的多个列上过滤具有多个条件的Spark数据框

charlie_boy

我想在Pyspark中实现以下SQL条件

SELECT *
            FROM   table
            WHERE  NOT ( ID = 1
                         AND Event = 1 
                       ) 
               AND NOT ( ID = 2
                         AND Event = 2 
                       ) 
               AND NOT ( ID = 1 
                         AND Event = 0 
                       ) 
               AND NOT ( ID = 2
                         AND Event = 0 
                       ) 

这样做的干净方法是什么?

阿南德·维德瓦特(Anand Vidvat)

使用DataFrame API版本的filterwhere函数

等效代码如下:

df.filter(~((df.ID == 1) & (df.Event == 1)) & 
          ~((df.ID == 2) & (df.Event == 2)) & 
          ~((df.ID == 1) & (df.Event == 0)) &
          ~((df.ID == 2) & (df.Event == 0)))

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

过滤具有多个条件的数据框

来自分类Dev

在列表中定义的列上过滤数据框

来自分类Dev

Pyspark:如何在MapType列上过滤数据框?(如isin()的样式)

来自分类Dev

来自具有多个条件的数据框的条件子集

来自分类Dev

如何基于多个列上多个条件的组合为数据框中的新列分配值

来自分类Dev

使用列表中定义的多个条件过滤熊猫数据框

来自分类Dev

根据多个条件删除PySpark数据框中的行

来自分类Dev

熊猫python COUNTIF在具有多个条件的多个列上

来自分类Dev

在多个列上具有多个条件的Select语句

来自分类Dev

在Oracle DBMS的多个列上联接具有过滤条件的表

来自分类Dev

在Oracle DBMS的多个列上联接具有过滤条件的表

来自分类Dev

替换 for 循环以从具有多个列表的数据框中过滤值

来自分类Dev

按具有多个变量的数据框中的记录数过滤变量

来自分类Dev

如果包含*,则在列上过滤pandas数据框

来自分类Dev

在多列上过滤熊猫数据框的最快方法

来自分类Dev

如何从pyspark中的spark数据帧行转换具有多个键的JSON字符串?

来自分类Dev

使用列表选择具有多个条件的数据框记录

来自分类Dev

如何过滤多个条件的数据框?

来自分类Dev

熊猫数据框过滤多个条件

来自分类Dev

如何在具有扩展条件的同时在数据框中创建具有多个条件的新列?

来自分类Dev

在python中过滤具有多个条件的对象的列表

来自分类Dev

从具有多个条件的 Map 中过滤出结果

来自分类Dev

使用findall()函数在具有多个条件的数据框中搜索索引

来自分类Dev

熊猫:如何在一个列上合并具有相同列名的多个数据框?

来自分类Dev

如何在Spark数据框的多个列上进行旋转?

来自分类Dev

使用别名Spark Scala在同一数据框中的不同列上执行多个聚合

来自分类Dev

根据多个列上的条件更改数据框列中的某些值

来自分类Dev

在单列上具有多个条件的Access 2007更新查询

来自分类Dev

多个具有条件的列上的COUNT()

Related 相关文章

  1. 1

    过滤具有多个条件的数据框

  2. 2

    在列表中定义的列上过滤数据框

  3. 3

    Pyspark:如何在MapType列上过滤数据框?(如isin()的样式)

  4. 4

    来自具有多个条件的数据框的条件子集

  5. 5

    如何基于多个列上多个条件的组合为数据框中的新列分配值

  6. 6

    使用列表中定义的多个条件过滤熊猫数据框

  7. 7

    根据多个条件删除PySpark数据框中的行

  8. 8

    熊猫python COUNTIF在具有多个条件的多个列上

  9. 9

    在多个列上具有多个条件的Select语句

  10. 10

    在Oracle DBMS的多个列上联接具有过滤条件的表

  11. 11

    在Oracle DBMS的多个列上联接具有过滤条件的表

  12. 12

    替换 for 循环以从具有多个列表的数据框中过滤值

  13. 13

    按具有多个变量的数据框中的记录数过滤变量

  14. 14

    如果包含*,则在列上过滤pandas数据框

  15. 15

    在多列上过滤熊猫数据框的最快方法

  16. 16

    如何从pyspark中的spark数据帧行转换具有多个键的JSON字符串?

  17. 17

    使用列表选择具有多个条件的数据框记录

  18. 18

    如何过滤多个条件的数据框?

  19. 19

    熊猫数据框过滤多个条件

  20. 20

    如何在具有扩展条件的同时在数据框中创建具有多个条件的新列?

  21. 21

    在python中过滤具有多个条件的对象的列表

  22. 22

    从具有多个条件的 Map 中过滤出结果

  23. 23

    使用findall()函数在具有多个条件的数据框中搜索索引

  24. 24

    熊猫:如何在一个列上合并具有相同列名的多个数据框?

  25. 25

    如何在Spark数据框的多个列上进行旋转?

  26. 26

    使用别名Spark Scala在同一数据框中的不同列上执行多个聚合

  27. 27

    根据多个列上的条件更改数据框列中的某些值

  28. 28

    在单列上具有多个条件的Access 2007更新查询

  29. 29

    多个具有条件的列上的COUNT()

热门标签

归档