如果使用jsonArray,则导入到Mongo的限制为16MB

超过五

我正在使用mongo 2.6.1。我想从> 16 MB的json文件导入数据。json是一组文档。根据他们的文档(如果我使用该--jsonArray选项),文件只能为16MB,请参阅http://docs.mongodb.org/manual/reference/program/mongoimport/

奇怪的是,通过执行以下操作,我已经设法使用mongoimport导入了大于16 MB(24MB)的数据:

mongoimport -db mydb --collection product --file products.json --jsonArray

那么,这16MB的限制是多少?

列昂尼德·贝斯卡斯特尼

MongoDB BSON文档大小限制为16 MB 这意味着MongoDB中的任何文档都不能超过16 MB。

请注意,由于BSON更紧凑,因此MongoDB文档的JSON表示形式可能会超出此限制。

--jsonArray标志的问题在于,首先mongoimport将整个.json文件作为单个文档读取,然后对其每个元素执行导入,因此受到BSON文档大小限制。

新的MongoDB版本(2.5.x及更高版本)的解决方案

我刚刚使用非常大的JSON数组(〜200 MB)mongoimport对最新的MongoDB2.6.4进行了测试并且效果很好。

我很确定MongoDB不可能进行这样的操作2.2.x因此,看起来mongodb.org只是忘记了更新mongoimport文档。

我搜索了MongoDB错误跟踪器,发现了此问题据此,此问题在一年前已得到解决,该修复程序随MongoDB一起发布2.5.0

因此,随时导入大型JSON文档!

适用于旧版MongoDB的解决方案(之前的版本2.5.0

如果您使用的是旧版的MongoDB,仍然可以使用--type jsonflag而不是来导入大量文档--jsonArray但它假设要从中导入文件的特殊结构。它类似于JSON格式,不同之处在于每行只允许一个文档,并且每行之后都没有逗号:

{ name: "Widget 1", desc: "This is Widget 1" }
{ name: "Widget 2", desc: "This is Widget 2" }

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如果使用jsonArray,则导入到Mongo的限制为16MB

来自分类Dev

PowerShell:将16MB CSV导入到PowerShell变量中将创建> 600MB的PowerShell内存使用情况

来自分类Dev

mongodb和pymongo文件大小限制为16Mb

来自分类Dev

使用 Mongoose Populate 遇到 16MB BSON 限制

来自分类Dev

Android-将堆大小限制为16MB以进行测试?

来自分类Dev

MongoDb聚合16MB缓冲区大小限制

来自分类Dev

绕过Haxe 16MB嵌入文件大小限制的更好方法?

来自分类Dev

限制从大型CSV文件导入到Excel中的行数

来自分类Dev

使用OleDB / Jet导入到DataTable

来自分类Dev

Mongodb上限为16mb:替代

来自分类常见问题

使用mongoimport将json从文件导入到mongodb

来自分类Dev

使用cakephp将数据从csv导入到mysql

来自分类Dev

使用Sqoop将数据从MySQL导入到Hive

来自分类Dev

使用Pyxll将数组从Excel导入到Python Pandas

来自分类Dev

使用Yii Framework将数据从csv导入到Mysql

来自分类Dev

使用PowerShell将数据正确导入到数组中

来自分类Dev

使用Java API的Sqoop导入到Hbase表

来自分类Dev

使用sql将数据从文件csv导入到Oracle

来自分类Dev

无法使用导入到AndroidKeyStore的RSA签名进行签名

来自分类Dev

使用RCall将数据向量从julia导入到R

来自分类Dev

使用Sqoop将数据从MySQL导入到Hive

来自分类Dev

使用PowerShell将数据正确导入到阵列中

来自分类Dev

使用C#将Outlook导入到Excel

来自分类Dev

使用Powershell将CSV导入到Excel

来自分类Dev

使用VBA将数据从.csv导入到Excel文档

来自分类Dev

使用局部轴将 collada 导入到 meshlab

来自分类Dev

如何处理数组大于16MB的MongoDB文档

来自分类Dev

从xml导入到wordpress

来自分类Dev

从 CSV 导入到文件

Related 相关文章

热门标签

归档