PySpark-将行列表转换为数据框

图灵机

实际上想解决的问题是获取PySpark数据帧的前N行/最后N行,并使其结果为数据帧。具体来说,我希望能够执行以下操作:

 my_df.head(20).toPandas()

但是,由于head()返回行列表,因此出现此错误:

AttributeError: 'list' object has no attribute 'toPandas'

因此,我正在寻找将PySpark数据帧的前N行返回为数据帧的方法,或者将这些行列表转换为数据帧的方法。有任何想法吗?

用户名

limit

>>> df = sc.parallelize((("a", 1), ("b", 2))).toDF()
>>> df.limit(1).toPandas()
  _1  _2
0  a   1

pd.DataFrame

>>> pd.DataFrame(df.head(1), columns=df.columns)
  _1  _2
0  a   1

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

将数据框转换为行列表pyspark胶

来自分类Dev

将列表转换为 pyspark 数据框

来自分类Dev

将列表转换为pyspark中的数据框列

来自分类Dev

将pyspark数据框转换为python词典列表

来自分类Dev

Pyspark:将PythonRDD转换为数据框

来自分类Dev

将列表转换为数据框,然后在pyspark中加入不同的数据框

来自分类Dev

将标准的python键值字典列表转换为pyspark数据框

来自分类Dev

将pyspark数据框转换为标记点对象

来自分类Dev

PySpark:将RDD [DenseVector]转换为数据框

来自分类Dev

将pyspark列转换为列表

来自分类Dev

Pyspark 将行数据转换为键值对

来自分类Dev

PySpark将类型为“映射”的列转换为数据框中的多个列

来自分类Dev

将字符串列转换为pyspark SQL数据框中的字典

来自分类Dev

如何将 pyspark 数据框列转换为 numpy 数组

来自分类Dev

如何将具有(key1,list(key2,value))之类的结构的列表转换为pyspark中的数据框?

来自分类Dev

将 Pandas 转换为 Pyspark

来自分类Dev

pyspark:使用架构加入?还是将架构转换为列表?

来自分类Dev

pyspark | 将numpy数组列表转换为dataframe中的列

来自分类Dev

将 Pyspark 中 Dataframe 中的不同值转换为列表

来自分类Dev

pyspark - 将收集到的列表转换为元组

来自分类Dev

无法使用pyspark数据帧将utm转换为latlong

来自分类Dev

将pyspark数据帧转换为嵌套的json结构

来自分类Dev

如何从csv文件优雅地创建pyspark数据框并将其转换为Pandas数据框?

来自分类Dev

Pyspark-将具有月份编号的数据框列转换为具有月份名称的另一个数据框列

来自分类Dev

Pyspark:将 pyspark.sql.row 转换为 Dataframe

来自分类Dev

如何将RDD列表列表转换为pyspark中的一个列表

来自分类Dev

pyspark 数据框 foreach 以填充列表

来自分类Dev

将numpy矩阵转换为pyspark rdd

来自分类Dev

pyspark:将DataFrame转换为RDD [string]

Related 相关文章

  1. 1

    将数据框转换为行列表pyspark胶

  2. 2

    将列表转换为 pyspark 数据框

  3. 3

    将列表转换为pyspark中的数据框列

  4. 4

    将pyspark数据框转换为python词典列表

  5. 5

    Pyspark:将PythonRDD转换为数据框

  6. 6

    将列表转换为数据框,然后在pyspark中加入不同的数据框

  7. 7

    将标准的python键值字典列表转换为pyspark数据框

  8. 8

    将pyspark数据框转换为标记点对象

  9. 9

    PySpark:将RDD [DenseVector]转换为数据框

  10. 10

    将pyspark列转换为列表

  11. 11

    Pyspark 将行数据转换为键值对

  12. 12

    PySpark将类型为“映射”的列转换为数据框中的多个列

  13. 13

    将字符串列转换为pyspark SQL数据框中的字典

  14. 14

    如何将 pyspark 数据框列转换为 numpy 数组

  15. 15

    如何将具有(key1,list(key2,value))之类的结构的列表转换为pyspark中的数据框?

  16. 16

    将 Pandas 转换为 Pyspark

  17. 17

    pyspark:使用架构加入?还是将架构转换为列表?

  18. 18

    pyspark | 将numpy数组列表转换为dataframe中的列

  19. 19

    将 Pyspark 中 Dataframe 中的不同值转换为列表

  20. 20

    pyspark - 将收集到的列表转换为元组

  21. 21

    无法使用pyspark数据帧将utm转换为latlong

  22. 22

    将pyspark数据帧转换为嵌套的json结构

  23. 23

    如何从csv文件优雅地创建pyspark数据框并将其转换为Pandas数据框?

  24. 24

    Pyspark-将具有月份编号的数据框列转换为具有月份名称的另一个数据框列

  25. 25

    Pyspark:将 pyspark.sql.row 转换为 Dataframe

  26. 26

    如何将RDD列表列表转换为pyspark中的一个列表

  27. 27

    pyspark 数据框 foreach 以填充列表

  28. 28

    将numpy矩阵转换为pyspark rdd

  29. 29

    pyspark:将DataFrame转换为RDD [string]

热门标签

归档