我正在阅读'Expert MINST'tf教程（https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html），但我坚持这一点：
密集连接层
现在，图像尺寸已减小到7x7，我们添加了一个具有1024个神经元的全连接层，以允许对整个图像进行处理。我们将合并层中的张量整形为一批向量，乘以权重矩阵，添加偏差，然后应用ReLU。
为什么数字1024？那个是从哪里来的？
我对完全连接层的理解是，它必须以某种方式恢复到原始图像大小（然后我们开始将其插入softmax公式中）。在这种情况下，原始图像尺寸为高x宽x通道= 28 * 28 * 1 = 784 ...而不是1024。
我在这里想念什么？
1024只是任意数量的隐藏单元。此时，网络的输入减少到64个平面，每个平面的大小为7x7像素。他们只是声称，他们并不想“恢复到原始图像大小”，而是想要一个可以提取全局特征的层，因此，他们希望将其紧密地连接到最后一个合并层中的每个单个神经元（代表您的神经元）。输入空间），而以前的操作（卷积和池化）是局部特征。
因此，为了以MLP方式进行处理，您需要7 * 7 * 64 = 3136个神经元。它们会在顶部再加上一层1024，因此如果您绘制网络，那将是
INPUT - CONV - POOL - .... - CONV - POOL - HIDDEN - OUTPUT
28 x 28- .... 7*7*64 1024 10
=3136
因此，这个数字非常随意，他们只是凭经验测试了它是否有效，但是您可以在此处使用任意数量的单位或任意数量的层。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句