Tensorflow 2.0中的梯度计算

用户名

这是我的Tensorflow 2.0示例:

import tensorflow as tf

w = tf.Variable([[1.0]])
with tf.GradientTape() as tape_1:
    loss_1 = w * w


with tf.GradientTape() as tape_2:
    loss_2 = w * w * w

grad_1 = tape_1.gradient(loss_1, w)
grad_2 = tape_2.gradient(loss_2, w)
print(grad_1)
print(grad_2)

它返回:

tf.Tensor([[2.]], shape=(1, 1), dtype=float32)
tf.Tensor([[3.]], shape=(1, 1), dtype=float32)

以上是正确的系数,但grad_2也应表示我们有3w ^ 2。我如何找回w^2零件?

Jdehesa

梯度结果并不意味着那样。如果采用函数f(w)= w 2和g(w)= w 3,则它们相对于w的导数分别为f'(w)= 2w和g'(w)= 3w 2对于w的当前值,梯度函数为您提供的是这些函数的值。因此,由于w初始化为1,它为您提供f'(1)= 2和g'(1)= 3.TensorFlow可以以某种方式计算符号导数函数,但可以作为TensorFlow操作的序列,因此从中提取一个好的数学表达式并不容易。急切地执行(如您所用)时,它甚至不可用,将在必要时执行操作,并丢弃中间体。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在TensorFlow中停止梯度优化器

来自分类Dev

TensorFlow中的缓存计算

来自分类Dev

TensorFlow中的异步计算

来自分类Dev

Tensorflow中的同步与异步计算

来自分类Dev

Tensorflow中逻辑运算符的梯度

来自分类Dev

tensorflow梯度函数中grad参数的含义(python)

来自分类Dev

Tensorflow中的比例梯度运算

来自分类Dev

最大池梯度误差(Tensorflow 0.9rc0)

来自分类Dev

在Tensorflow 2中导入WAV文件

来自分类Dev

在tensorflow 2中加载ModelCheckpoint

来自分类Dev

如何在Tensorflow 2.0中计算输出WRT输入的梯度

来自分类Dev

tensorflow 2个keras洗牌每行梯度问题

来自分类Dev

如何在Tensorflow 2.0中累积梯度?

来自分类Dev

创建可计算2D DCT的Keras / Tensorflow层

来自分类Dev

使用tensorflow 2实现梯度损失

来自分类Dev

Tensorflow可以计算出积分逼近的梯度吗?

来自分类Dev

在Tensorflow 2中将梯度可视化为热图

来自分类Dev

在TensorFlow中批量访问单个梯度的最佳方法是什么?

来自分类Dev

Tensorflow梯度返回nan或Inf

来自分类Dev

如何在Tensorflow 2中实现小批量梯度下降?

来自分类Dev

使用CPU的“ Keras后端+ Tensorflow”和“来自Tensorflow的Keras”之间有什么区别(在Tensorflow 2.x中)

来自分类Dev

TensorFlow如何计算vgg19.preprocess_input的梯度?

来自分类Dev

使用Keras / Tensorflow或autograd计算验证误差wrt输入的梯度

来自分类Dev

在tensorflow.js中,如何计算模型输入的梯度?

来自分类Dev

TensorFlow中的切片输入的梯度为None

来自分类Dev

在TensorFlow中手动/稍后计算梯度

来自分类Dev

Tensorflow无法评估梯度

来自分类Dev

tensorflow conv2d_transpose 梯度

来自分类Dev

如何在 TensorFlow 中计算次梯度?

Related 相关文章

热门标签

归档