我正在尝试将巨大的数据文件分解为较小的部分。我正在使用以下脚本-
df = pd.read_csv(file_name, header=None,encoding='latin1',sep='\t',nrows=100000, skiprows = 100000)
但我看到“跳过行”参数跳过200000行而不是100000行，有人可以告诉我为什么会这样
感谢@EdChum，我能够使用以下代码使用chunksize解决问题：-
i = 0
tp = pd.read_csv(filename,header=None,encoding='latin1', sep='\t', iterator=True, chunksize=1000000)
for c in tp:
ca = pd.DataFrame(c)
ca.to_csv (file_destination +str(i)+'test.csv', index = False, header = False)
i = i+1
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句