最快读入R的文件格式是什么?

詹姆斯·赖因哈特-NOAA Affilia

似乎最直观的方法是.rdata文件可能是R加载的斋戒文件格式,但是当扫描某些堆栈中的帖子时,似乎更多的注意力放在了增强.csv或其他格式的加载时间上。有明确的答案吗?

菲尔

没有一个明确的答案,但下面的时候,它走上加载相同的数据帧读取作为.tab与文件utils::read.delim()readr::read_tsv()data.table::fread()和作为一个二进制.RData文件中使用定时system.time()功能:

.tabutils::read.delim

system.time(
  read.delim("file.tab")
)
#   user  system elapsed 
# 52.279   0.146  52.465

.tabreadr::read_tsv

system.time(
  read_tsv("file.tab")
)    
#   user  system elapsed 
# 23.417   0.839  24.275

.tabdata.table::fread

在@Roman的请求下,大约3秒内加载了相同的〜500MB文件:

system.time(
  data.table::fread("file.tab")
)
# Read 49739 rows and 3005 (of 3005) columns from 0.400 GB file in 00:00:04
#    user  system elapsed 
#   3.078   0.092   3.172 

.RData 同一数据框的二进制文件

system.time(
  load("file.RData")
)
#    user  system elapsed 
#   2.181   0.028   2.210

显然不是确定的(样本大小= 1!),但在我的情况下,数据帧为500MB:

  1. 二进制.RData最快
  2. data.frame::fread() 快到了
  3. readr::read_tsv 慢一个数量级
  4. utils::read.x 最慢,只有一半 readr

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

差异矩阵的R文件格式是什么?如何读入?

来自分类Dev

将大数据集加载到R中的最快方法和最快格式是什么

来自分类Dev

用R删除文件最快的方法是什么

来自分类Dev

用R删除文件最快的方法是什么

来自分类Dev

在R中以json格式写出大数据框的最快方法是什么?

来自分类Dev

移动文件最快的方法是什么?

来自分类Dev

大量文件的最快压缩方法是什么?

来自分类Dev

查找重复文件的最快方法是什么?

来自分类Dev

R中大文件的数据格式是什么?

来自分类Dev

该文件的格式是什么?

来自分类Dev

解析和显示`.csv`文件的最快方法是什么?

来自分类Dev

每天备份500k +文件的最快方法是什么?

来自分类Dev

在虚拟机之间共享文件的最快方法是什么?

来自分类Dev

带进度监控的最快的java文件复制方法是什么?

来自分类Dev

在R中执行多个逻辑比较的最快方法是什么?

来自分类Dev

在R中构造此稀疏矩阵的最快方法是什么

来自分类Dev

logstash配置文件的格式是什么

来自分类Dev

最新的vtk文件格式描述是什么?

来自分类Dev

.h文件的标准格式是什么?

来自分类Dev

* .docx文件格式的结尾字节是什么

来自分类Dev

将文件读入OS文件缓存的最快方法

来自分类Dev

在Android中格式化大量日期/时间对象的最快方法是什么?

来自分类Dev

Python将大量小文件读入内存的最快方法?

来自分类Dev

Python将大量小文件读入内存的最快方法?

来自分类Dev

在Node.js中将csv文件读入多维数组的确切步骤是什么?

来自分类Dev

将以下日志文件(rseqc输出)读入python(3)的最佳方法是什么?

来自分类Dev

在C#中将多个文件合并到文件中最快的方法是什么?

来自分类Dev

在Windows文件夹中选择偶数文件的最快方法是什么?

来自分类Dev

删除目录中所有文件和子文件夹的最快方法是什么?

Related 相关文章

  1. 1

    差异矩阵的R文件格式是什么?如何读入?

  2. 2

    将大数据集加载到R中的最快方法和最快格式是什么

  3. 3

    用R删除文件最快的方法是什么

  4. 4

    用R删除文件最快的方法是什么

  5. 5

    在R中以json格式写出大数据框的最快方法是什么?

  6. 6

    移动文件最快的方法是什么?

  7. 7

    大量文件的最快压缩方法是什么?

  8. 8

    查找重复文件的最快方法是什么?

  9. 9

    R中大文件的数据格式是什么?

  10. 10

    该文件的格式是什么?

  11. 11

    解析和显示`.csv`文件的最快方法是什么?

  12. 12

    每天备份500k +文件的最快方法是什么?

  13. 13

    在虚拟机之间共享文件的最快方法是什么?

  14. 14

    带进度监控的最快的java文件复制方法是什么?

  15. 15

    在R中执行多个逻辑比较的最快方法是什么?

  16. 16

    在R中构造此稀疏矩阵的最快方法是什么

  17. 17

    logstash配置文件的格式是什么

  18. 18

    最新的vtk文件格式描述是什么?

  19. 19

    .h文件的标准格式是什么?

  20. 20

    * .docx文件格式的结尾字节是什么

  21. 21

    将文件读入OS文件缓存的最快方法

  22. 22

    在Android中格式化大量日期/时间对象的最快方法是什么?

  23. 23

    Python将大量小文件读入内存的最快方法?

  24. 24

    Python将大量小文件读入内存的最快方法?

  25. 25

    在Node.js中将csv文件读入多维数组的确切步骤是什么?

  26. 26

    将以下日志文件(rseqc输出)读入python(3)的最佳方法是什么?

  27. 27

    在C#中将多个文件合并到文件中最快的方法是什么?

  28. 28

    在Windows文件夹中选择偶数文件的最快方法是什么?

  29. 29

    删除目录中所有文件和子文件夹的最快方法是什么?

热门标签

归档