我想知道是否有一种快速的方法可以用一个固定的序列在Python中运行关联?我尝试使用Pandas,例如:df1.rolling(4).corr(df2)。但是,它要求两个DataFrame具有相同的长度。有没有一种方法可以类似于上面的Pandas示例,但是固定了一个DataFrame?
为了澄清,我想计算下面的df2和df1中的值之间的相关系数。
示例:df2和df1.loc [0:3]之间的第一相关性df2和df1.loc [1:4]之间的第二相关性
等等
我已经通过创建一个循环来做到这一点。但是,我发现在使用较大的DataFrame时效率不高。
df1 = pd.DataFrame([1,3,2,4,5,6,3,4])
df2 = pd.DataFrame([1,2,3,2])
您可以使用pandas.DataFrame.rolling
which返回pandas.core.window.Rolling
具有apply方法的方法。然后,您可以传递给apply()
任何计算所需校正的函数。
import pandas as pd
from scipy.stats import pearsonr
import numpy as np
df1 = pd.DataFrame([1,3,2,4,5,6,3,4,1,2,3,2,2,3,2,5,1,2,1,2,8,8,8,8,8,8,8])
df2 = pd.DataFrame([1,2,3,2])
CORR_VALS = df2[0].values
def get_correlation(vals):
return pearsonr(vals, CORR_VALS)[0]
df1['correlation'] = df1.rolling(window=len(CORR_VALS)).apply(get_correlation)
window
参数的df1.rolling()
长度应与您要针对其计算相关性的数组的长度相同。这个输出
In [5]: df1['correlation'].values
Out[5]:
array([ nan, nan, nan, 0.31622777, 0.31622777,
0.71713717, 0.63245553, -0.63245553, -0.39223227, -0.63245553,
-0.63245553, 1. , 0. , -0.70710678, 0.81649658,
0. , 0.47809144, -0.23570226, -0.64699664, 0. ,
0. , 0.7570333 , 0.76509206, 0.11043153, -0.77302068,
-0.11043153, 0.86164044])
看起来像这样:
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句