熊猫:read_csv(在单个文件中读取多个表)

用户4979733

我有一个包含多个CSV表的文件(如下所示的示例)。该文件被上载到数据库。我想对该文件进行一些操作。为此,我正在考虑使用pandas通过read_csv函数将每个表读入一个单独的数据框。但是,在阅读文档时,我没有看到指定要读取/解析的行的子集的选项。这可能吗?如果没有,还有其他选择吗?

样本文件:

TABLE_1
col1,col2
val1,val2
val3,val4

TABLE_2
col1,col2,col3,col4
val1,val2,val3,val4
...

...

我可以对文件进行初始遍历以确定每个表的开始/结束行。但是,read_csv参数之一是“ filepath_or_buffer ”,但我不能完全确定“ buffer”部分是什么。它是字符串列表还是一个大字符串或其他东西?我可以使用什么缓冲区?有人可以指出一个使用read_csv和缓冲区的小例子吗?感谢您的任何想法。

最大容量

更新:

如果要跳过特定的行[0,1,5,16,57,58,59],可以使用skiprows

df = pd.read_csv(filename, header=None, 
                 names=['col1','col2','col3'], skiprows=[0,1,5,16,57,58,59])

要跳过前两行并阅读后100行,可以使用skiprowsnrows参数,如注释中提到的@Richard Telford:

df = pd.read_csv(filename, header=None, names=['col1','col2','col3'],
                 skiprows=2, nrows=100)

这是“缓冲区”的一个小例子:

import io
import pandas as pd

data = """\
        Name
0  JP2015121
1    US14822
2    US14358
3  JP2015539
4  JP2015156
"""
df = pd.read_csv(io.StringIO(data), delim_whitespace=True, index_col=0)
print(df)

没有标题的情况相同:

data = """\
0  JP2015121
1    US14822
2    US14358
3  JP2015539
4  JP2015156
"""
df = pd.read_csv(io.StringIO(data), delim_whitespace=True, index_col=0,
                 header=None, names=['Name'])

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

熊猫read_csv,读取缺少标头元素的csv文件

来自分类Dev

如何使用Dask read_csv读取第n行,以快速读取多个文件?

来自分类Dev

使用熊猫read_csv读取此制表符分隔的文件时,行丢失

来自分类Dev

如何使用代理上的熊猫从URL读取read_csv文件?

来自分类Dev

熊猫中的编码错误read_csv

来自分类Dev

避免在read_csv中读取multindex

来自分类Dev

为什么熊猫read_csv无法读取正确的行数?

来自分类Dev

如何在熊猫中同时读取多个csv文件

来自分类Dev

如何熊猫每行read_csv多个记录

来自分类Dev

使用.read_csv读取csv文件的所有行

来自分类Dev

熊猫read_csv防止文件中的引号成为数据的一部分

来自分类Dev

Python熊猫-read_csv是否保持文件打开?

来自分类Dev

在熊猫read_csv之前预处理数据文件

来自分类Dev

在R中使用read_csv导入多个csv文件

来自分类Dev

在熊猫中由read_csv返回的对象

来自分类Dev

在熊猫read_csv中以毫秒为单位解析日期

来自分类Dev

从熊猫中的read_csv获取对象大小

来自分类Dev

熊猫在read_csv中跳过行时,我可以将它们记录到变量/日志文件中吗

来自分类Dev

使用熊猫read_csv()将文件的2行读入具有两列的数据帧中

来自分类Dev

如何加快熊猫read_csv的速度?

来自分类Dev

Windows上的熊猫read_csv错误

来自分类Dev

熊猫:read_csv表示“以空格分隔”

来自分类Dev

熊猫数据框内存read_csv

来自分类Dev

熊猫列表read_csv编码列表

来自分类Dev

熊猫read_csv导入结果错误

来自分类Dev

StringIO和熊猫read_csv

来自分类Dev

熊猫read_csv解析日期

来自分类Dev

熊猫read_csv导入结果错误

来自分类Dev

熊猫列表read_csv编码列表

Related 相关文章

热门标签

归档