我完成了第一个spark应用程序的创建。为了了解其性能,我需要大文件(.csv)进行一些测试和实验,以监视我的应用程序以对其进行调整。
我们都知道数据的大小会对结果产生严重影响,但是我拥有的所有files.csv都很小,因此我无法相信或确认我得到的结果。
如何获取大文件?请帮帮我
我需要这样的大尺寸:
10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB.....
1)可以通过使用您喜欢的任何语言(例如Java,C,C ++)编写数据生成代码来生成大量数据。
2)Jmeter还是生成通常用于性能测试的海量数据的工具
希望这个帮助!
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句