如何在Tensorflow中实现重量噪声
Jiang Xiang
在Tensorflow中实现重量噪声的最佳方法是什么？我应该提取所有权重并施加噪声吗？还是应该将噪声应用于渐变？
弗拉德
重量噪声和梯度噪声不同。
以下重量更新会产生重量噪音：
梯度噪声（有时称为兰格文噪声）按如下方式应用梯度：
后者是随机梯度Langevin动力学优化器的更新。
无论如何，在tensorflow中实现这两者都是相当简单的。
# Assuming you defined a graph and loss function `loss` and noise
# is drawn from normal distribution
# Weight noise:
optimizer = tf.train.GradientDescentOptimizer(lr)
grads_and_vars = optimizer.compute_gradients(loss, tf.trainable_variables())
train_ops = [tf.assign(v,
v - lr*g + tf.random_normal(v.shape, stddev=0.1))
for g, v in grads_and_vars]
train_op = tf.group(train_ops)
# Langevin noise:
optimizer = tf.train.GradientDescentOptimizer(lr)
grads_and_vars = optimizer.compute_gradients(loss, tf.trainable_variables())
train_ops = [tf.assign(v,
v - lr*g - tf.sqrt(lr*T)*tf.random_normal(v.shape, stddev=1))
for g, v in grads_and_vars]
train_op = tf.group(train_ops)
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
如何在联邦Tensorflow中绘制增量重量的直方图摘要？
- 2
如何在 tensorflow 中实现 BesselJ 函数
- 3
如何在MATLAB中的信号中添加x％噪声？
- 4
如何在TensorFlow中实现卷积LSTM单元？
- 5
如何在TensorFlow中实现递归神经网络？
- 6
如何在Cirq / Tensorflow Quantum中实现受控Rx？
- 7
如何在python中创建高斯噪声纹理？
- 8
如何在python中去除图像中的噪声
- 9
如何在Caffe中设置全局重量填充器？
- 10
从C代码在Python中实现噪声功能
- 11
Clojure中的一维Perlin噪声实现
- 12
如何实现低通滤波器以减少陀螺仪值中的噪声？
- 13
如何在Haskell中实现++？
- 14
如何在Mulesoft中实现IF
- 15
如何在SQL中实现
- 16
如何在 css 中实现？
- 17
如何在Tensorflow中实现逐元素一维插值？
- 18
如何在Tensorflow中实现自定义RNN（特别是ESN）？
- 19
如何在具有Tensorflow的CNN中实现置信度水平？
- 20
如何在Tensorflow 2中实现小批量梯度下降？
- 21
Tensorflow中如何实现数据增强？
- 22
Tensorflow中如何实现数据增强？
- 23
如何在Keras中向输入数据添加均匀分布的噪声？
- 24
如何在具有指定错误概率的图像中添加合成噪声
- 25
如何在PyTorch中向张量添加一些高斯噪声？
- 26
如何在Python中以0.2的偏差值给卫星数据集提供高斯噪声？
- 27
如何在训练过程中添加具有不同std的高斯噪声？
- 28
如何在p5.js中通过噪声使图像失真
- 29
我如何在 HLSL 中设置没有噪声的纹理值的 UV 协调
我来说两句