回归单个值的线性层将具有以下形式的输出
output = bias + sum(kernel * inputs)
如果输入来自 a tanh
,则-1 <= inputs <= 1
,因此
bias - sum(abs(kernel)) <= output <= bias + sum(abs(kernel))
如果您想要无界输出,请考虑在所有中间层上使用无界激活,例如relu
。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句