Tensorflow:tf.nn.separable_conv2d做什么?

Fei

我不太确定tf.nn.separable_conv2d到底做什么。似乎pointwise_filter是生成下一层的一个像素时不同要素的缩放比例。但是我不确定我的解释是否正确。这种方法有什么参考吗?有什么好处?

tf.nn.separable_conv2d生成与tf.nn.conv2d相同的形状。我假设我可以将tf.nn.conv2d替换为tf.nn.separable_conv2d。但是,使用tf.nn.separable_conv2d时的结果似乎非常糟糕。网络很早就停止了学习。对于MNIST数据集,准确性仅为随机猜测〜10%。

我以为,将pointwise_filter值都设置为1.0并使它不可训练时,我会得到与tf.nn.conv2d相同的东西。但不是真的...仍然〜10%的准确度。

但是,如果将tf.nn.conv2d与相同的超参数一起使用,则精度可以达到99%。为什么?

另外,它需要channel_multiplier * in_channels <out_channels。为什么?这里的channel_multiplier的作用是什么?

谢谢。

编辑:

我以前将channel_multiplier用作1.0。也许那是一个不好的选择。将其更改为2.0后,精度会提高很多。但是channel_multiplier的作用是什么?为什么1.0不是一个好值?

文森特·范豪克(Vincent Vanhoucke)

tf.nn.separable_conv2d()实现了幻灯片26及其后续内容中所述的所谓的“可分卷积”

这个想法是,您无需在图像的所有通道上共同进行卷积,而可以在每个通道上以的深度运行单独的2D卷积channel_multiplierin_channels * channel_multiplier中间通道得到串接在一起,并映射到out_channels使用1x1卷积。

这通常是减少卷积网络中早期卷积参数复杂性的有效方法,并且可以从实质上加快训练速度。channel_multiplier控制该复杂度,对于RGB输入,通常为4到8。对于灰度输入,使用它几乎没有意义。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

为什么这种TensorFlow实施远没有Matlab的NN成功呢?

来自分类Dev

Tensorflow:tf.nn.conv2d实际在哪里执行?

来自分类Dev

tensorflow.nn.np和numpy有什么区别?

来自分类Dev

tf.nn.lrn()方法有什么作用?

来自分类Dev

在Tensorflow中,如何解开tf.nn.max_pool_with_argmax获得的扁平化索引?

来自分类Dev

Tensorflow nn.conv3d()和max_pool3d

来自分类Dev

TensorFlow的tf.nn.dynamic_rnn运算符的输入张量如何构造?

来自分类Dev

为什么tf.nn.embedding_lookup使用嵌入列表?

来自分类Dev

tf.nn.max_pool的ksize参数用于什么?

来自分类Dev

如何在TensorFlow中使用tf.nn.embedding_lookup_sparse?

来自分类Dev

TensorFlow中的tf.nn.sigmoid实现

来自分类Dev

Tensorflow NN输入尺寸

来自分类Dev

如何在Tensorflow Keras中使用tf.nn.sampled_softmax_loss?

来自分类Dev

tf.nn.embedding_lookup_sparse 3D稀疏张量输入

来自分类Dev

来自tf.nn.conv2d和keras.layers.Conv2D的不相等输出

来自分类Dev

tf.nn.ctc_beam_search_decoder()不支持TensorFlow2中的GPU吗?

来自分类Dev

PyTorch nn.Conv2d输出补偿

来自分类Dev

TensorFlow的tf.nn.dynamic_rnn运算符的输入张量如何构造?

来自分类Dev

tf.nn.conv2d如何使用偶数大小的过滤器?

来自分类Dev

Tensorflow nn.conv3d()和max_pool3d

来自分类Dev

导入tf.nn.rnn_cell中的Tensorflow错误

来自分类Dev

Tensorflow:获得正确的NN精度

来自分类Dev

tensorflow tf.nn.conv2d 中的特征数

来自分类Dev

Tensorflow - tf.nn.conv2D() 中的权重值是否发生了变化?

来自分类Dev

tf.nn.conv2d 命令的输入

来自分类Dev

我可以简单地用 tf.layer.max_pooling 替换 tf.nn.conv2d 层吗?

来自分类Dev

为什么 tf.nn.embedding_lookup 使用嵌入列表?

来自分类Dev

为什么我的 TensorFlow NN 模型的预测值有上限?

来自分类Dev

在不同形状的向量集合上使用 tf.nn.l2_loss

Related 相关文章

  1. 1

    为什么这种TensorFlow实施远没有Matlab的NN成功呢?

  2. 2

    Tensorflow:tf.nn.conv2d实际在哪里执行?

  3. 3

    tensorflow.nn.np和numpy有什么区别?

  4. 4

    tf.nn.lrn()方法有什么作用?

  5. 5

    在Tensorflow中,如何解开tf.nn.max_pool_with_argmax获得的扁平化索引?

  6. 6

    Tensorflow nn.conv3d()和max_pool3d

  7. 7

    TensorFlow的tf.nn.dynamic_rnn运算符的输入张量如何构造?

  8. 8

    为什么tf.nn.embedding_lookup使用嵌入列表?

  9. 9

    tf.nn.max_pool的ksize参数用于什么?

  10. 10

    如何在TensorFlow中使用tf.nn.embedding_lookup_sparse?

  11. 11

    TensorFlow中的tf.nn.sigmoid实现

  12. 12

    Tensorflow NN输入尺寸

  13. 13

    如何在Tensorflow Keras中使用tf.nn.sampled_softmax_loss?

  14. 14

    tf.nn.embedding_lookup_sparse 3D稀疏张量输入

  15. 15

    来自tf.nn.conv2d和keras.layers.Conv2D的不相等输出

  16. 16

    tf.nn.ctc_beam_search_decoder()不支持TensorFlow2中的GPU吗?

  17. 17

    PyTorch nn.Conv2d输出补偿

  18. 18

    TensorFlow的tf.nn.dynamic_rnn运算符的输入张量如何构造?

  19. 19

    tf.nn.conv2d如何使用偶数大小的过滤器?

  20. 20

    Tensorflow nn.conv3d()和max_pool3d

  21. 21

    导入tf.nn.rnn_cell中的Tensorflow错误

  22. 22

    Tensorflow:获得正确的NN精度

  23. 23

    tensorflow tf.nn.conv2d 中的特征数

  24. 24

    Tensorflow - tf.nn.conv2D() 中的权重值是否发生了变化?

  25. 25

    tf.nn.conv2d 命令的输入

  26. 26

    我可以简单地用 tf.layer.max_pooling 替换 tf.nn.conv2d 层吗?

  27. 27

    为什么 tf.nn.embedding_lookup 使用嵌入列表?

  28. 28

    为什么我的 TensorFlow NN 模型的预测值有上限?

  29. 29

    在不同形状的向量集合上使用 tf.nn.l2_loss

热门标签

归档