列表python中每个唯一元素的所有索引

林西

我正在处理一个非常大的数据集(大约7500万个条目),并且试图将运行我的代码所需的时间大大缩短(现在循环需要几天),并且保持极低的内存使用率。

我有两个相同长度的numpy数组(clientsunits)。我的目标是获取第一个列表(clients)中出现值的每个索引的列表,然后在第二个列表中的每个索引处找到条目的总和。

这是我尝试过的(np是以前导入的numpy库)

# create a list of each value that appears in clients
unq = np.unique(clients)
arr = np.zeros(len(unq))
tmp = np.arange(len(clients))
# for each unique value i in clients
for i in range(len(unq)) :
    #create a list inds of all the indices that i occurs in clients
    inds = tmp[clients==unq[i]]
    # add the sum of all the elements in units at the indices inds to a list
    arr[i] = sum(units[inds])

有谁知道一种方法,可以让我找到这些总和而无需遍历其中的每个元素unq

克莱布

使用Pandas,可以使用以下grouby()功能轻松完成此操作

import pandas as pd

# some fake data
df = pd.DataFrame({'clients': ['a', 'b', 'a', 'a'], 'units': [1, 1, 1, 1]})

print df.groupby(['clients'], sort=False).sum()

这将为您提供所需的输出:

         units
clients       
a            3
b            1

我使用该sort=False选项,因为这可能会导致加速(默认情况下,将对条目进行排序,这可能会花费一些时间来处理大型数据集)。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

列表python中每个唯一元素的所有索引

来自分类Dev

是否有使用python在唯一索引中创建唯一元素列表的功能?

来自分类Dev

收集CSV文件中唯一元素的所有索引并连续填充它们

来自分类Dev

如何按表中的行获取所有唯一元素的列表?

来自分类Dev

从列表列表中的每个列表中获取唯一元素

来自分类Dev

在C ++中找到向量中每个索引处累积的唯一元素计数的有效方法

来自分类Dev

为MultiIndex中的每个唯一元素重复DataFrame的索引

来自分类Dev

在R中查找唯一元素的索引

来自分类Dev

合并具有唯一元素的列表

来自分类Dev

合并具有唯一元素的列表

来自分类Dev

计算二维列表中索引处唯一元素的数量

来自分类Dev

列表中唯一元素的索引值数组

来自分类Dev

在列表中查找唯一元素的数量

来自分类Dev

计算列表中唯一元素的数量

来自分类Dev

从列表中删除唯一元素

来自分类Dev

计算列表中唯一元素的数量

来自分类Dev

在python的列表列表中查找包含唯一元素的列表?

来自分类Dev

Python列表理解:将唯一元素添加到列表中?

来自分类Dev

从唯一元素列表有效构建python集

来自分类Dev

如何在python中的列表中找到唯一元素?(不使用设置)

来自分类Dev

查找树的所有值分配,其中每个节点的路径具有唯一元素

来自分类Dev

在未知数量的列表中找到每个列表的唯一元素部分

来自分类Dev

高效的算法,可在3D列表中获得最低的唯一元素索引

来自分类Dev

对向量的每个唯一元素使用roxofun

来自分类Dev

数据帧中非唯一元素的索引

来自分类Dev

检索唯一元素的索引数

来自分类Dev

在需要唯一元素和按索引访问时设置vs列表

来自分类Dev

检查列表中是否包含完全重复的元素(即没有唯一元素)

来自分类Dev

返回与R中唯一元素对应的重复元素的索引

Related 相关文章

  1. 1

    列表python中每个唯一元素的所有索引

  2. 2

    是否有使用python在唯一索引中创建唯一元素列表的功能?

  3. 3

    收集CSV文件中唯一元素的所有索引并连续填充它们

  4. 4

    如何按表中的行获取所有唯一元素的列表?

  5. 5

    从列表列表中的每个列表中获取唯一元素

  6. 6

    在C ++中找到向量中每个索引处累积的唯一元素计数的有效方法

  7. 7

    为MultiIndex中的每个唯一元素重复DataFrame的索引

  8. 8

    在R中查找唯一元素的索引

  9. 9

    合并具有唯一元素的列表

  10. 10

    合并具有唯一元素的列表

  11. 11

    计算二维列表中索引处唯一元素的数量

  12. 12

    列表中唯一元素的索引值数组

  13. 13

    在列表中查找唯一元素的数量

  14. 14

    计算列表中唯一元素的数量

  15. 15

    从列表中删除唯一元素

  16. 16

    计算列表中唯一元素的数量

  17. 17

    在python的列表列表中查找包含唯一元素的列表?

  18. 18

    Python列表理解:将唯一元素添加到列表中?

  19. 19

    从唯一元素列表有效构建python集

  20. 20

    如何在python中的列表中找到唯一元素?(不使用设置)

  21. 21

    查找树的所有值分配,其中每个节点的路径具有唯一元素

  22. 22

    在未知数量的列表中找到每个列表的唯一元素部分

  23. 23

    高效的算法,可在3D列表中获得最低的唯一元素索引

  24. 24

    对向量的每个唯一元素使用roxofun

  25. 25

    数据帧中非唯一元素的索引

  26. 26

    检索唯一元素的索引数

  27. 27

    在需要唯一元素和按索引访问时设置vs列表

  28. 28

    检查列表中是否包含完全重复的元素(即没有唯一元素)

  29. 29

    返回与R中唯一元素对应的重复元素的索引

热门标签

归档