我如何获取大文件进行实验

哈马德

我完成了第一个spark应用程序的创建。为了了解其性能,我需要大文件(.csv)进行一些测试和实验,以监视我的应用程序以对其进行调整。

我们都知道数据的大小会对结果产生严重影响,但是我拥有的所有files.csv都很小,因此我无法相信或确认我得到的结果。

如何获取大文件?请帮帮我

我需要这样的大尺寸:

 10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB..... 
巴韦什

1)可以通过使用您喜欢的任何语言(例如Java,C,C ++)编写数据生成代码来生成大量数据。

2)Jmeter还是生成通常用于性能测试的海量数据的工具

希望这个帮助!

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何对大文件进行排序?

来自分类Dev

Rust:如何对大文件进行HTTP PUT?

来自分类Dev

如何使用XMLStreamReader获取大文件的进度

来自分类Dev

如何安全地进行自我分叉的脚本的实验

来自分类Dev

如何在JavaScript中模拟大文件以进行测试?

来自分类Dev

如何使用awk对大文件中的数字进行减法

来自分类Dev

如何分别对大文件的每个“块”进行校验和

来自分类Dev

如何获取大文件的zip_stat_t

来自分类Dev

如何获取最新或最大文件夹版本?

来自分类Dev

我如何开始在Ruby的特定行读取大文件

来自分类Dev

如何阻止emacs问我是否要加载大文件?

来自分类Dev

如何检查大文件?

来自分类Dev

从大文件中获取数据

来自分类Dev

如何将apk文件上传到酱料实验室并获取酱料实验室的临时存储网址?

来自分类Dev

从其余模板获取打开的输入流以进行大文件处理

来自分类Dev

我应该使用mongodb在MEAN应用中进行大文件存储吗?

来自分类Dev

蓝牙:如何发送大文件

来自分类Dev

蓝牙:如何发送大文件

来自分类Dev

如何分块下载大文件

来自分类Dev

如何使用 REST API 在 ALM 的测试实验室中获取文件夹列表?

来自分类Dev

对大文件中的匹配字段进行排序

来自分类Dev

快速进行大文件系统备份

来自分类Dev

对低 RAM 的大文件的内容进行排序

来自分类Dev

如何使用node.js读取大文件并不断进行更改

来自分类Dev

如何在大文件夹层次结构中进行文本替换?

来自分类Dev

使用git clone从openshift获取大文件

来自分类Dev

获取PHP中大文件的模仿类型

来自分类Dev

快速获取大文件总行数的方法

来自分类Dev

获取PHP中大文件的模仿类型

Related 相关文章

热门标签

归档