我正在寻求有关Pandas中同时出现的按组/按行差异问题的帮助。问题恰如此处R中所述：对于每个组（学生合同），如何计算日期时间之间的时间差？
我有这样的数据：
# USER_ID CONTRACT_REF SUBMISSION_DATE
1 1 A 20/6 01:00
2 1 A 20/6 02:00
3 1 B 20/6 03:00
4 4 A 20/6 04:00
5 5 A 20/6 05:00
6 5 B 20/6 06:00
7 7 A 20/6 07:00
8 7 B 20/6 08:00
9 7 B 20/6 09:30
10 7 B 20/6 10:00
我想为每个唯一的USER_ID-CONTRACT_REF对计算与上次提交的时间差。
注意：每对USER_ID-CONTRACT_REF对首次出现时都必须具有零（或null）。
因此，输出应如下所示：
# USER_ID CONTRACT_REF SUBMISSION_DATE TIME_DIFFERENCE
1 1 A 20/6 01:00 0
2 1 A 20/6 02:00 1
3 1 B 20/6 03:00 0
4 4 A 20/6 04:00 0
5 5 A 20/6 05:00 0
6 5 B 20/6 06:00 0
7 7 A 20/6 07:00 0
8 7 A 20/6 08:00 1
9 7 A 20/6 09:30 1.5
10 7 B 20/6 10:00 0
我目前正在从R迁移到Pandas，虽然我发现语法令人耳目一新，但是当涉及到数据帧上的复杂函数时，我有些困惑。
在此先感谢您提供任何提示！
[注意：您的数据似乎与所需的输出不匹配；C第二秒没有CONTRACT_REF ，即使在您的输出中，我也看不到为什么5, B行是1而不是0。我假设这是您的错误。由于您没有评论，因此我将使用输出中的数据，因为它会导致出现一个更有趣的列。]
我可能会做类似的事情
df["SUBMISSION_DATE"] = pd.to_datetime(df["SUBMISSION_DATE"],dayfirst=True)
gs = df.groupby(["USER_ID", "CONTRACT_REF"])["SUBMISSION_DATE"]
df["TIME_DIFF"] = gs.diff().fillna(0) / pd.datetools.timedelta(hours=1)
产生
>>> df
# USER_ID CONTRACT_REF SUBMISSION_DATE TIME_DIFF
0 1 1 A 2014-06-20 01:00:00 0.0
1 2 1 A 2014-06-20 02:00:00 1.0
2 3 1 B 2014-06-20 03:00:00 0.0
3 4 4 A 2014-06-20 04:00:00 0.0
4 5 5 A 2014-06-20 05:00:00 0.0
5 6 5 B 2014-06-20 06:00:00 0.0
6 7 7 A 2014-06-20 07:00:00 0.0
7 8 7 A 2014-06-20 08:00:00 1.0
8 9 7 A 2014-06-20 09:30:00 1.5
9 10 7 B 2014-06-20 10:00:00 0.0
[10 rows x 5 columns]
一些解释：从像这样的数据帧开始
>>> df
# USER_ID CONTRACT_REF SUBMISSION_DATE
0 1 1 A 20/6 01:00
1 2 1 A 20/6 02:00
2 3 1 B 20/6 03:00
3 4 4 A 20/6 04:00
4 5 5 A 20/6 05:00
5 6 5 B 20/6 06:00
6 7 7 A 20/6 07:00
7 8 7 A 20/6 08:00
8 9 7 A 20/6 09:30
9 10 7 B 20/6 10:00
[10 rows x 4 columns]
我们要将SUBMISSION_DATE列从字符串转换为实际日期对象：
>>> df["SUBMISSION_DATE"] = pd.to_datetime(df["SUBMISSION_DATE"],dayfirst=True)
>>> df
# USER_ID CONTRACT_REF SUBMISSION_DATE
0 1 1 A 2014-06-20 01:00:00
1 2 1 A 2014-06-20 02:00:00
2 3 1 B 2014-06-20 03:00:00
3 4 4 A 2014-06-20 04:00:00
4 5 5 A 2014-06-20 05:00:00
5 6 5 B 2014-06-20 06:00:00
6 7 7 A 2014-06-20 07:00:00
7 8 7 A 2014-06-20 08:00:00
8 9 7 A 2014-06-20 09:30:00
9 10 7 B 2014-06-20 10:00:00
[10 rows x 4 columns]
然后，我们可以按USER_ID和分组CONTRACT_REF，然后选择SUBMISSION_DATE列：
>>> gs = df.groupby(["USER_ID", "CONTRACT_REF"])["SUBMISSION_DATE"]
>>> gs
<pandas.core.groupby.SeriesGroupBy object at 0xa7af08c>
然后我们可以得出每个组的差异：
>>> gs.diff()
0 NaT
1 01:00:00
2 NaT
3 NaT
4 NaT
5 NaT
6 NaT
7 01:00:00
8 01:30:00
9 NaT
dtype: timedelta64[ns]
NaT，不是时间，是的时间等效项NaN。我们可以用0填充它们：
>>> gs.diff().fillna(0)
0 00:00:00
1 01:00:00
2 00:00:00
3 00:00:00
4 00:00:00
5 00:00:00
6 00:00:00
7 01:00:00
8 01:30:00
9 00:00:00
dtype: timedelta64[ns]
而且由于您希望以小时为单位进行度量，因此我们可以除以1小时的时间增量：
>>> gs.diff().fillna(0) / pd.datetools.timedelta(hours=1)
0 0.0
1 1.0
2 0.0
3 0.0
4 0.0
5 0.0
6 0.0
7 1.0
8 1.5
9 0.0
dtype: float64
将此分配给框架：
>>> df["TIME_DIFF"] = gs.diff().fillna(0) / pd.datetools.timedelta(hours=1)
至此，我们完成了：
>>> df
# USER_ID CONTRACT_REF SUBMISSION_DATE TIME_DIFF
0 1 1 A 2014-06-20 01:00:00 0.0
1 2 1 A 2014-06-20 02:00:00 1.0
2 3 1 B 2014-06-20 03:00:00 0.0
3 4 4 A 2014-06-20 04:00:00 0.0
4 5 5 A 2014-06-20 05:00:00 0.0
5 6 5 B 2014-06-20 06:00:00 0.0
6 7 7 A 2014-06-20 07:00:00 0.0
7 8 7 A 2014-06-20 08:00:00 1.0
8 9 7 A 2014-06-20 09:30:00 1.5
9 10 7 B 2014-06-20 10:00:00 0.0
[10 rows x 5 columns]
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句