在CBOW模型中，我们是否需要在“隐藏层”取平均值？
阮阮
我搜索并阅读了一些有关CBOW的文章。但是这些文章之间似乎有所不同。
我认为：
- 输入是批处理向量。然后我们将其提供给Hidden层。这样我们将在隐藏层获得另一个批处理向量H。
- 在一篇文章（第2.2.1部分）中，他们说我们不会在隐藏层使用任何激活函数，但是我们将对批处理向量H取平均值，以获得单个向量（不再是批处理）。然后，我们会将这个平均向量输入到Output层，并在其上应用Softmax。
- 但是，在Coursera的视频中，他们没有对批处理向量H取平均值。他们只是将此批处理向量H馈送到Output层，并将Softmax应用于批处理输出向量。然后计算它的成本函数。
- 而且，在Coursera的视频中，他们说我们可以将RelU用作隐藏层的激活功能。这是新方法吗？因为我读了很多文章，但他们总是说隐藏层没有激活功能。
你能帮我回答吗？
五条魔
在实际的实现中（您可以查看其源代码），将上下文词向量集平均在一起，然后作为“输入”馈入神经网络。
然后，对输入的任何向后传播的调整也将应用于对该平均值有贡献的所有向量。
（例如，在word2vec.c与Google的原始word2vec论文一起发布的原始文档中，您可以看到对向量的neu1计数cw，然后通过除以上下文窗口计数求平均值，位于：
https://github.com/tmikolov/word2vec/blob/master/word2vec.c#L444-L448）
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
我们是否应该在线性回归的交叉验证中取n个模型的平均值？
- 2
取平均值
- 3
从数组中获取平均值
- 4
我们需要在哪里在服务层中包含非业务逻辑验证
- 5
我们需要在哪里在服务层中包含非业务逻辑验证
- 6
为什么我们需要在MongoDB中定义数据模型
- 7
我们需要在 Fluent Api 中定义所有模型吗？
- 8
我们是否需要在ScheduledExecutorService上调用awaitTermination？
- 9
我们是否需要在春豆静态字段？
- 10
我的问题=直到用户按下“ enter”从c ++中的用户输入中取平均值
- 11
我们是否需要在IIFE中包装ES6代码？
- 12
我们是否需要在.net 4.0或4.5中使用此关键字
- 13
我们是否需要在cuda编程中设置网格数？
- 14
我们是否需要在构建时针对phonegap中的每个不同平台更改代码？
- 15
我们是否需要在android中为sqlite表创建索引？
- 16
我们是否需要在 MySQL 中的给定列上使用多个索引？
- 17
我如何对data.table中特定列的不同子集取平均值？
- 18
我是否需要在最新的CNN模型（例如ResNet50）中微调最后的卷积层？
- 19
我是否需要在最新的CNN模型（例如ResNet50）中微调最后的卷积层？
- 20
我是否需要在最新的CNN模型（例如ResNet50）中微调最后的卷积层？
- 21
从表中的“最后” N行获取平均值
- 22
从整数向量中获取平均值
- 23
从字典列表中获取平均值
- 24
从函数结果中获取平均值
- 25
在两个不同的列中取平均值
- 26
在mongodb的集合中获取平均值
- 27
Python，如何从 MySQL 的元组中获取平均值？
- 28
Oracle：需要计算过去三个月的滚动平均值，其中我们每个月有多个提交
- 29
为什么我们不再需要在更高版本的ASP.NET Core中手动验证模型？
我来说两句