熊猫groupby对象的汇总

凯尔

我正在尝试汇总来自groupby对象的一些统计信息。我必须对数据进行分块,因为有很多(1800万)行。我想找到每个组中每个组中的行数,然后将它们加在一起。我可以添加groupby对象,但是当一个术语中不存在一个组时,将显示NaN。看到这种情况:

>>> df = pd.DataFrame({'X': ['A','B','C','A','B','C','B','C','D','B','C','D'],
                       'Y': range(12)})
>>> df
    X   Y
0   A   0
1   B   1
2   C   2
3   A   3
4   B   4
5   C   5
6   B   6
7   C   7
8   D   8
9   B   9
10  C  10
11  D  11
>>> df[0:6].groupby(['X']).count() + df[6:].groupby(['X']).count()
    Y
X    
A NaN
B   4
C   4
D NaN

但我想看看:

>>> df[0:6].groupby(['X']).count() + df[6:].groupby(['X']).count()
    Y
X    
A   2
B   4
C   4
D   2

有什么好方法吗?请注意,在实际代码中,我正在遍历每个groupby一百万行的分块迭代器。

埃德·楚姆

调用add并传递,fill_value=0您可以迭代添加,同时分块,我猜:

In [98]:

df = pd.DataFrame({'X': ['A','B','C','A','B','C','B','C','D','B','C','D'],
                       'Y': np.arange(12)})
df[0:6].groupby(['X']).count().add(df[6:].groupby(['X']).count(), fill_value=0)
Out[98]:
   Y
X   
A  2
B  4
C  4
D  2

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

汇总集合。在熊猫中使用`groupby`对付计数器对象

来自分类Dev

熊猫汇总groupby以获取特定值

来自分类Dev

对熊猫groupby对象的列操作

来自分类Dev

熊猫在 groupby 对象上应用 groupby

来自分类Dev

熊猫:在汇总某些值时使用groupby求和

来自分类Dev

汇总熊猫GroupBy中的多个列值作为dict

来自分类Dev

在熊猫中的groupby对象上引导

来自分类Dev

如何从熊猫的groupby对象中选择列?

来自分类Dev

熊猫groupby年对象逐年绘制

来自分类Dev

熊猫groupby对象,组合和绘图

来自分类Dev

熊猫groupby年份对象逐年绘制

来自分类Dev

Python熊猫groupby分配对象dtypes

来自分类Dev

重命名熊猫groupby对象的行索引

来自分类Dev

熊猫groupby对象索引变成FUBAR

来自分类Dev

汇总groupby对象的一组中的值?

来自分类Dev

熊猫能否将groupby汇总成一个列表,而不是总和,均值等?

来自分类Dev

熊猫分组汇总

来自分类Dev

熊猫的分组和汇总

来自分类Dev

熊猫行汇总

来自分类Dev

如何在熊猫中划分两个groupby对象?

来自分类Dev

熊猫python使用空组初始化groupby对象

来自分类Dev

groupby对象熊猫的绝对值的平均值

来自分类Dev

如何获取熊猫的groupby对象中的组数?

来自分类Dev

熊猫:如何对groupby对象应用scipy.stats测试?

来自分类Dev

如何在每组熊猫groupby对象中添加标志列

来自分类Dev

为不同的groupby对象熊猫实现不同的功能

来自分类Dev

用熊猫中的多个键索引groupby对象

来自分类Dev

应用.nsmallest(2)后,计算熊猫的Groupby对象的均值

来自分类Dev

在对熊猫DataFrame应用groupby时添加Counter对象