从熊猫数据框中消除特定日期的最快方法

Reid 发表于 Dev

里德

我正在处理一个大型数据框，但我一直在努力寻找消除特定日期的有效方法。请注意，我试图消除任何测量从一个特定的日期。

熊猫具有这项出色的功能，您可以在其中调用：

df.ix['2016-04-22']

并拉出当天的所有行。但是，如果我想删除“ 2016-04-22”中的所有行怎么办？

我想要这样的功能：

df.ix[~'2016-04-22']

（但这不起作用）

另外，如果我要消除日期列表怎么办？

现在，我有以下解决方案：

import numpy as np
import pandas as pd
from numpy import random

###Create a sample data frame

dates = [pd.Timestamp('2016-04-25 06:48:33'), pd.Timestamp('2016-04-27 15:33:23'), pd.Timestamp('2016-04-23 11:23:41'), pd.Timestamp('2016-04-28    12:08:20'), pd.Timestamp('2016-04-21 15:03:49'), pd.Timestamp('2016-04-23 08:13:42'), pd.Timestamp('2016-04-27 21:18:22'), pd.Timestamp('2016-04-27 18:08:23'), pd.Timestamp('2016-04-27 20:48:22'), pd.Timestamp('2016-04-23 14:08:41'), pd.Timestamp('2016-04-27 02:53:26'), pd.Timestamp('2016-04-25 21:48:31'), pd.Timestamp('2016-04-22 12:13:47'), pd.Timestamp('2016-04-27 01:58:26'), pd.Timestamp('2016-04-24 11:48:37'), pd.Timestamp('2016-04-22 08:38:46'), pd.Timestamp('2016-04-26 13:58:28'), pd.Timestamp('2016-04-24 15:23:36'), pd.Timestamp('2016-04-22 07:53:46'), pd.Timestamp('2016-04-27 23:13:22')]

values = random.normal(20, 20, 20)

df = pd.DataFrame(index=dates, data=values, columns ['values']).sort_index()

### This is the list of dates I want to remove

removelist = ['2016-04-22', '2016-04-24']

此for循环基本上会获取我要删除的日期的索引，然后从主数据框的索引中将其删除，然后从该数据框中积极选择剩余的日期（即：良好的日期）。

for r in removelist:
    elimlist = df.ix[r].index.tolist()
    ind = df.index.tolist()
    culind = [i for i in ind if i not in elimlist]
    df = df.ix[culind]

有什么更好的了吗？

我也尝试过按四舍五入的日期+ 1天建立索引，所以像这样：

df[~((df['Timestamp'] < r+pd.Timedelta("1 day")) & (df['Timestamp'] > r))]

但这确实很麻烦，并且（在一天结束时）当我需要消除n个特定日期时，我仍将使用for循环。

一定有更好的方法！正确的？可能是？

根

相同的思路@Alexander，但使用的属性DatetimeIndex和numpy.in1d：

mask = ~np.in1d(df.index.date, pd.to_datetime(removelist).date)
df = df.loc[mask, :]

时间：

%timeit df.loc[~np.in1d(df.index.date, pd.to_datetime(removelist).date), :]
1000 loops, best of 3: 1.42 ms per loop

%timeit df[[d.date() not in pd.to_datetime(removelist) for d in df.index]]
100 loops, best of 3: 3.25 ms per loop

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。