为什么我的 TensorFlow NN 模型的预测值有上限?

大卫·斯卡布雷维克

我有一个三层的神经网络。我尝试使用 tanh 和 sigmoid 函数进行激活,然后输出层只是一个简单的线性函数(我正在尝试对回归问题进行建模)。

出于某种原因,我的模型似乎有一个硬截断,它永远不会预测高于某个阈值的值(即使它应该)。这有什么原因呢?

以下是模型的预测(使用 sigmoid 激活):

在此处输入图片说明

更新:

使用 relu 激活,从梯度下降切换到 Adam,并添加 L2 正则化……该模型为每个输入预测相同的值……

在此处输入图片说明

多姆杰克

回归单个值的线性层将具有以下形式的输出

output = bias + sum(kernel * inputs)

如果输入来自 a tanh,则-1 <= inputs <= 1,因此

bias - sum(abs(kernel)) <= output <= bias + sum(abs(kernel))

如果您想要无界输出,请考虑在所有中间层上使用无界激活,例如relu

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

tensorflow.nn.np和numpy有什么区别?

来自分类Dev

为什么这种TensorFlow实施远没有Matlab的NN成功呢?

来自分类Dev

Tensorflow:tf.nn.separable_conv2d做什么?

来自分类Dev

为什么tensorflow模型总是预测同一类?

来自分类Dev

Tensorflow NN输入尺寸

来自分类Dev

Tensorflow:获得正确的NN精度

来自分类Dev

为什么我的Tensorflow Keras模型在训练时会输出奇怪的损失和准确性值?

来自分类Dev

为什么我的Keras / TensorFlow模型拒绝拟合(即使参数似乎正确)?

来自分类Dev

TensorFlow:为什么我的 Keras 回调监视器值不可用?

来自分类Dev

为什么在加载模型时Tensorflow多类图像预测不起作用?

来自分类Dev

Tensorflow - tf.nn.conv2D() 中的权重值是否发生了变化?

来自分类Dev

为什么 mxnet.gluon.nn.Dense 对象的权重矩阵没有形状?

来自分类Dev

TensorFlow中的tf.nn.sigmoid实现

来自分类Dev

受过训练的TensorFlow NN的最大/最小

来自分类Dev

TensorFlow XOR NN eval 函数错误

来自分类Dev

我的 tensorflow 代码有什么问题

来自分类Dev

tf.nn.lrn()方法有什么作用?

来自分类Dev

对于有效的预测模型,我应该成功预测未来多少个值?

来自分类Dev

当我编写自己的表达式时,为什么没有得到与tensorflow方法相同的结果?

来自分类Dev

Tensorflow - 为什么我的张量数组中的所有元素最终都会得到完全相同的结果?

来自分类Dev

Tensorflow:为什么没有激活函数的单个神经网络节点的结果与我自己的计算不同?

来自分类Dev

为什么我的 keras 模型总是预测相同的结果?

来自分类Dev

为什么我的NN无法正确分类这些井字图案?

来自分类Dev

为什么我的GLM的预测值是周期性的?

来自分类Dev

TensorFlow:为什么我在同一个地方运行两次这段代码没有更新任何参数,我得到了不同的结果?

来自分类Dev

使用现有的Tensorflow模型进行预测的问题

来自分类Dev

keras:准确度为98%,但NN始终预测相同。可能是什么原因?

来自分类Dev

为什么在 tensorflow 代码中没有改变训练模型的准确率?

来自分类Dev

为什么tensorflow.rank总是返回空值的形状

Related 相关文章

  1. 1

    tensorflow.nn.np和numpy有什么区别?

  2. 2

    为什么这种TensorFlow实施远没有Matlab的NN成功呢?

  3. 3

    Tensorflow:tf.nn.separable_conv2d做什么?

  4. 4

    为什么tensorflow模型总是预测同一类?

  5. 5

    Tensorflow NN输入尺寸

  6. 6

    Tensorflow:获得正确的NN精度

  7. 7

    为什么我的Tensorflow Keras模型在训练时会输出奇怪的损失和准确性值?

  8. 8

    为什么我的Keras / TensorFlow模型拒绝拟合(即使参数似乎正确)?

  9. 9

    TensorFlow:为什么我的 Keras 回调监视器值不可用?

  10. 10

    为什么在加载模型时Tensorflow多类图像预测不起作用?

  11. 11

    Tensorflow - tf.nn.conv2D() 中的权重值是否发生了变化?

  12. 12

    为什么 mxnet.gluon.nn.Dense 对象的权重矩阵没有形状?

  13. 13

    TensorFlow中的tf.nn.sigmoid实现

  14. 14

    受过训练的TensorFlow NN的最大/最小

  15. 15

    TensorFlow XOR NN eval 函数错误

  16. 16

    我的 tensorflow 代码有什么问题

  17. 17

    tf.nn.lrn()方法有什么作用?

  18. 18

    对于有效的预测模型,我应该成功预测未来多少个值?

  19. 19

    当我编写自己的表达式时,为什么没有得到与tensorflow方法相同的结果?

  20. 20

    Tensorflow - 为什么我的张量数组中的所有元素最终都会得到完全相同的结果?

  21. 21

    Tensorflow:为什么没有激活函数的单个神经网络节点的结果与我自己的计算不同?

  22. 22

    为什么我的 keras 模型总是预测相同的结果?

  23. 23

    为什么我的NN无法正确分类这些井字图案?

  24. 24

    为什么我的GLM的预测值是周期性的?

  25. 25

    TensorFlow:为什么我在同一个地方运行两次这段代码没有更新任何参数,我得到了不同的结果?

  26. 26

    使用现有的Tensorflow模型进行预测的问题

  27. 27

    keras:准确度为98%,但NN始终预测相同。可能是什么原因?

  28. 28

    为什么在 tensorflow 代码中没有改变训练模型的准确率?

  29. 29

    为什么tensorflow.rank总是返回空值的形状

热门标签

归档