加快熊猫中csv文件的此条件行读取的速度？
霍尔巴耶
我修改了这篇文章中的一行，以有条件地从csv文件中读取行：
filename=r'C:\Users\Nutzer\Desktop\Projects\UK_Traffic_Data\test.csv'
df = (pd.read_csv(filename, error_bad_lines=False) [lambda x: x['Accident_Index'].str.startswith('2005')])
这条线对于小型测试数据集而言效果很好。但是，我确实要读取一个很大的csv文件，并且读取该文件需要很长时间。实际上，最终NotebookApp.iopub_data_rate_limit达到了。我的问题是：
- 有没有办法改善此代码及其性能？
- “ Accident_Index”列中的记录已排序。因此，如果达到“ Accident_Index”不等于的值，则可以退出read语句
str.startswith('2005')。您对此有何建议？
以下是一些示例数据：
所需的输出应该是包含前六条记录的pandas数据框。
Praveenrajan27
最初，我们可以只读取要在上述条件下进行过滤的特定列（假设这会大大减少读取开销）。
#reading the mask column
df_indx = (pd.read_csv(filename, error_bad_lines=False,usecols=['Accident_Index'])
[lambda x: x['Accident_Index'].str.startswith('2005')])
然后，我们可以使用该列中的值通过skiprows和nrows属性从文件中读取其余列，因为它们是输入文件中的排序值
df_data= (pd.read_csv(filename,
error_bad_lines=False,header=0,skiprows=df_indx.index[0],nrows=df_indx.shape[0]))
df_data.columns=['Accident_index','data']
这将提供我们想要的数据的子集。我们可能不需要单独获取列名。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
加快在python中读取非常大的netcdf文件的速度
- 2
如何加快在GNU Octave中读取大文件的速度？
- 3
如何加快熊猫read_csv的速度？
- 4
Android加快文件读取速度的方法
- 5
如何使用fsspec + adlfs加快从adl：//读取CSV / Parquet文件的速度？
- 6
加快读取和操作30,000个CSV文件的速度
- 7
加快我在python中读取数据的速度？
- 8
加快熊猫迭代的速度，寻找对后续元素的条件进行测试
- 9
如何根据熊猫中的条件在特定行开始读取Excel文件
- 10
有什么办法可以加快熊猫文件的读写速度？
- 11
读取熊猫中CSV文件的所有内容（最后一行除外）
- 12
如何在熊猫中读取具有行名称的数据框的CSV文件
- 13
如何在Jquery或Javascript中解析CSV文件时加快搜索速度？
- 14
有条件地在熊猫中读取csv
- 15
如何按行条件将巨大的csv文件读取到R中？
- 16
加快〜50GB CSV文件的处理速度
- 17
读取csv文件中的特定行，python
- 18
在熊猫中读取具有历史日期的CSV文件
- 19
使用熊猫读取Python中的csv文件块
- 20
熊猫：read_csv（在单个文件中读取多个表）
- 21
无法使用熊猫从特定的.CSV文件中读取内容
- 22
如何在熊猫中同时读取多个csv文件
- 23
使用熊猫读取Python中的csv文件块
- 24
使用双引号正确读取熊猫中的 CSV 文件
- 25
逐行读取csv文件并保存满足特定条件的行
- 26
熊猫从内存中读取csv
- 27
如何使用熊猫从Excel文件中读取特定行
- 28
加快PLY文件读取
- 29
压缩Docker映像中的文件是否会加快拉动速度？
我来说两句