如何计算协方差的导数/梯度?

克里斯托夫

除了数值计算之外,还有一种快速的方法来获取(我的网络激活的)协方差矩阵的导数吗?

我试图在深度神经网络的成本函数中将其用作惩罚项,但为了通过我的层向后传播误差,我需要获得导数。

在Matlab中,如果“ a”是第i层的激活矩阵(神经元*样本),而“ da”是激活函数的导数:

covariance = a * a' / (size(a,2)-1);

到目前为止,我已经尝试过:

covarDelta = (da*a' + a*da' ) / (size(a,2)-1);

但是奇怪的是,当我得出a'实际上是a = a。^ 2时,我已经接近了数值计算的梯度(这没有意义,但会有所改善):

covarDelta = 2*a/size(a,1); 

但是它们都不对。任何想法如何近似协方差的导数?

编辑:我不使用协方差矩阵本身作为惩罚项,我取其所有元素的均值并将该数字添加到成本函数中。我使用这种方法是因为我试图提出一个惩罚项,当信号之间的整体协方差更大时,惩罚项会更大。

注意:我的目的是在训练过程中尽量减少信号之间的相似性(我也尝试过惩罚成对的互信息,但找不到计算两者导数的方法)。

编辑2:我终于使用了接受的答案提供的相同导数,但我将成本项更改为均值(sqrt(x。^ 2))。这样,负协方差和正协方差都会增加惩罚,并且导数相同。

Dontloo

编辑:

假设我们只有一个三维数据点a = [a1 a2 a3]',因为外部乘积矩阵中所有元素的和a*a'等于的展开(a1+a2+a3)^2,矩阵的平均值为(a1+a2+a3)^2/(3*3)因此,在这种情况下,每个维度的导数都具有相同的值2*(a1+a2+a3)/(3*3)

对于更多的数据点,该项变为((a1+a2+a3)^2+(b1+b2+b3)^2+...)/(3*3),并且导数2*(x1+x2+x3)/(3*3)用于数据点x(每个维的值相同)。

简单地取平均值可能不适合您的需求,因为它将抵消协方差矩阵中的正值和负值。

目前,我没有一个可以验证答案的环境,请在错误的地方纠正我。

原始帖子:

通常,人们会使用标量值作为成本,而不是(协方差)矩阵。

如果将协方差表示为函数cov(x),则它将矩阵作为输入并输出矩阵。

因此,精确导数不是单个矩阵,因为相对于输入矩阵的每个元素的偏导数都是矩阵。

假设输入矩阵A的尺寸为m * n,则输出矩阵C的尺寸为m * m。导数dA / dC应该是am * m * m * n矩阵。有关矩阵矩阵区分的详细信息,请参见http://mplab.ucsd.edu/tutorials/MatrixRecipes.pdf

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Python Numpy计算的协方差矩阵每次更改

来自分类Dev

Scala协方差和协方差

来自分类Dev

快速,优雅的方法来计算经验/样本协方差

来自分类Dev

如何计算2张图像之间的协方差?

来自分类Dev

给定协方差矩阵和拟合系数,如何计算线性回归的p值

来自分类Dev

Scala中的协方差与协方差

来自分类Dev

EmguCV:如何从图像创建协方差矩阵?

来自分类Dev

如何处理协方差限制?

来自分类Dev

lme4计算协方差的置信区间

来自分类Dev

Swift中可选协方差如何工作

来自分类Dev

如何更有效地计算滚动协方差

来自分类Dev

如何计算3d numpy数组的协方差矩阵?

来自分类Dev

不使用numpy计算协方差矩阵

来自分类Dev

代表的协方差和协方差

来自分类Dev

嵌套协方差在Kotlin中如何工作?

来自分类Dev

由Python Numpy计算的协方差矩阵每次更改

来自分类Dev

从OpenCV Expectation Max中的协方差矩阵计算方差

来自分类Dev

如何提取特定值的方差协方差矩阵?

来自分类Dev

如何在ROR中使用Arel计算中位数,导数,方差等?

来自分类Dev

如何计算块中的协方差矩阵?

来自分类Dev

OpenMP中带有嵌套循环的协方差计算

来自分类Dev

计算改进的kppm模型的方差协方差矩阵

来自分类Dev

Swift中可选协方差如何工作

来自分类Dev

计算列表中元素之间的平均成对协方差

来自分类Dev

从出现列表计算协方差矩阵

来自分类Dev

我的 Beta 计算中的协方差错误

来自分类Dev

Python中尺度矩阵(协方差矩阵)的高效计算

来自分类Dev

如何计算数据框的协方差矩阵

来自分类Dev

使用python 3如何获得协方差/方差

Related 相关文章

热门标签

归档