Pyspark相当于熊猫的所有功能

乔纳森·麦克

我有一个火花数据框df:

   A    B     C     D
 True  True  True  True
 True  False True  True
 True  None  True  None
 True  NaN   NaN   False
 True  NaN   True  True

pyspark中是否有一种方法可以基于行A,B,C,D中的第五列而不在其中包含值False,而是返回一个int值或True(真)和0(真)。因此:

   A    B     C     D     E
 True  True  True  True   1
 True  False True  True   0
 True  None  True  None   1
 True  NaN   NaN   False  0
 True  NaN   True  True   1

可以在具有功能的pandas数据框中实现这一点df.all().astype(int)

pyspark等效的任何帮助,将不胜感激。

麦克

我没有要测试的任何内容,但是请尝试以下代码:

df2 = df.withColumn(
    'E',
    (
        (F.greatest(*df.columns) == F.least(*df.columns)) & 
        (F.least(*df.columns) == F.lit(True))
    ).cast('int')
)

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

什么相当于封装私有功能的封装私有接口?

来自分类Dev

numpy相当于熊猫

来自分类Dev

相当于countifs的熊猫

来自分类Dev

有相当于dplyr :: summarise的大熊猫吗?

来自分类Dev

有相当于Google Sketchup的功能吗?

来自分类Dev

PostgreSQL 是否具有相当于 Oracle ArrayBind 的功能?

来自分类Dev

相当于R dcast的熊猫

来自分类Dev

相当于Stata编码的熊猫

来自分类Dev

相当于np.where的熊猫

来自分类Dev

熊猫相当于SQL where

来自分类Dev

相当于Excel VLOOKUP的熊猫

来自分类Dev

相当于grep -C在熊猫中

来自分类Dev

相当于dplyr点的熊猫

来自分类Dev

熊猫相当于dplyr everything()

来自分类Dev

相当于ALTER COLUMN的熊猫

来自分类Dev

相当于Excel COUNTIFS的熊猫

来自分类Dev

相当于熊猫的Excel SUMIF

来自分类Dev

相当于Powershell功能的zip

来自分类Dev

相当于ADDRESS功能的Excel VBA

来自分类Dev

相当于没有jQuery的$ .load

来自分类Dev

有相当于水晶的撬动吗?

来自分类Dev

是否有相当于setenv的重击

来自分类Dev

现有相当于HAVING

来自分类Dev

是否有相当于 gdbserver 的 lldb?

来自分类Dev

Mac OS X中是否有相当于mallopt()的功能?

来自分类Dev

有相当于Matlab的“包含”功能的八度音阶吗?

来自分类Dev

相当于CSS *(所有内容)选择器的JavaScript

来自分类Dev

相当于DCMPLX?

来自分类Dev

相当于$ .on的Javascript