Node.js使用fs.readFileSync读取大文件

我尝试使用具有96GB RAM的服务器上的fs.readFileSync大文件(〜6Gb)加载到内存中

问题是它失败并显示以下错误消息

RangeError:尝试分配大于最大大小的缓冲区:0x3fffffff字节

不幸的是,我找不到增加Buffer的方法,这似乎是一个常数。

如何克服此问题并使用Node.js加载大文件?

谢谢!

jfriend00

来自一个快乐的常见问题解答

节点进程的内存限制是多少?

当前,默认情况下,v8在32位系统上的内存限制为512mb,在64位系统上的内存限制为1gb。可以通过将--max_old_space_size设置为最大〜1024(〜1 GiB)(32位)和〜1741(〜1.7GiB)(64位)来提高限制,但是建议您拆分单个进程如果您要达到内存限制,则分成几个工作组。

如果您显示有关文件中的内容以及如何使用它的更多详细信息,我们可能会提供一些有关如何分块使用它的想法。如果是纯数据,则您可能希望使用数据库,并让数据库根据需要从磁盘获取内容并管理内存。

以下是有关该问题的最新讨论:https : //code.google.com/p/v8/issues/detail?id=847

并且,这是一篇博客文章,声称您可以编辑V8源代码并重建节点以消除内存限制。您可以自行决定尝试此操作。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

node.js的readFileSync是否缓存读取的文件?

来自分类Dev

无法使用fs Node.js读取文件

来自分类Dev

如何使用node.js读取大文件并不断进行更改

来自分类Dev

Node.js 使用 find 和 head 读取大文件目录

来自分类Dev

在Node JS中使用fs-extra更新xml文件

来自分类Dev

Node.js:使用fs.writeFileSync写入系统文件

来自分类Dev

如何将使用fs.readFileSync()的Node.js代码重构为使用fs.readFile()?

来自分类常见问题

fs.readFileSync不是相对文件吗?Node.js

来自分类Dev

Node.JS fs.readFileSync()错误参数

来自分类Dev

返回到node.js中的目录(fs.readFileSync)

来自分类Dev

使用Node.js(fs)访问使用输入类型=文件选择的文件

来自分类Dev

Node.js使用AES加密大文件

来自分类Dev

如何使用Node.js从Dropbox下载大文件?

来自分类Dev

无法在Node.js中使用fs.readdir()列出文件

来自分类Dev

如何使用fs在node.js Express上正确地将数组写入文件?

来自分类Dev

Node.js-如果文件不存在,则写json [不使用fs.exists()]

来自分类Dev

无法使用 Node.js fs.appendFile 创建文件

来自分类Dev

使用 node js 和 fs 列出目录、子目录及其文件

来自分类Dev

node.js 使用 fs.writeFile - 如何在文件 (\n) 中强制换行?

来自分类Dev

使用node.js读取Excel文件

来自分类Dev

无法使用Node.js读取文件

来自分类Dev

使用Node.js读取文件

来自分类Dev

无法使用Node.js读取文件

来自分类Dev

使用node.js读取文件

来自分类Dev

尝试使用Node.js删除文件。我应该异步使用fs.unlink(path,callback)还是同步fs.unlinkSync(path)?

来自分类Dev

尝试使用Node.js删除文件。我应该异步使用fs.unlink(path,callback)还是同步fs.unlinkSync(path)?

来自分类Dev

如何在Node.js中使用fs.createReadStream按单词(用空格分隔并返回)(如`/ \ s + / g)读取文件?

来自分类Dev

使用apache common io读取大文件

来自分类Dev

使用Java读取真正的大文件

Related 相关文章

  1. 1

    node.js的readFileSync是否缓存读取的文件?

  2. 2

    无法使用fs Node.js读取文件

  3. 3

    如何使用node.js读取大文件并不断进行更改

  4. 4

    Node.js 使用 find 和 head 读取大文件目录

  5. 5

    在Node JS中使用fs-extra更新xml文件

  6. 6

    Node.js:使用fs.writeFileSync写入系统文件

  7. 7

    如何将使用fs.readFileSync()的Node.js代码重构为使用fs.readFile()?

  8. 8

    fs.readFileSync不是相对文件吗?Node.js

  9. 9

    Node.JS fs.readFileSync()错误参数

  10. 10

    返回到node.js中的目录(fs.readFileSync)

  11. 11

    使用Node.js(fs)访问使用输入类型=文件选择的文件

  12. 12

    Node.js使用AES加密大文件

  13. 13

    如何使用Node.js从Dropbox下载大文件?

  14. 14

    无法在Node.js中使用fs.readdir()列出文件

  15. 15

    如何使用fs在node.js Express上正确地将数组写入文件?

  16. 16

    Node.js-如果文件不存在,则写json [不使用fs.exists()]

  17. 17

    无法使用 Node.js fs.appendFile 创建文件

  18. 18

    使用 node js 和 fs 列出目录、子目录及其文件

  19. 19

    node.js 使用 fs.writeFile - 如何在文件 (\n) 中强制换行?

  20. 20

    使用node.js读取Excel文件

  21. 21

    无法使用Node.js读取文件

  22. 22

    使用Node.js读取文件

  23. 23

    无法使用Node.js读取文件

  24. 24

    使用node.js读取文件

  25. 25

    尝试使用Node.js删除文件。我应该异步使用fs.unlink(path,callback)还是同步fs.unlinkSync(path)?

  26. 26

    尝试使用Node.js删除文件。我应该异步使用fs.unlink(path,callback)还是同步fs.unlinkSync(path)?

  27. 27

    如何在Node.js中使用fs.createReadStream按单词(用空格分隔并返回)(如`/ \ s + / g)读取文件?

  28. 28

    使用apache common io读取大文件

  29. 29

    使用Java读取真正的大文件

热门标签

归档