我的 seq2seq RNN 想法是否可行？
off99555
我想预测股价。
通常，人们会将输入作为股票价格序列提供。然后他们会以相同的顺序提供输出，但向左移动。
在测试时，他们会将预测的输出输入下一个输入时间步，如下所示：
我还有一个想法，那就是固定序列长度，例如 50 个时间步长。输入和输出是完全相同的序列。
训练时，我将输入的最后 3 个元素替换为零，让模型知道我没有这些时间步长的输入。
测试时，我会为模型提供 50 个元素的序列。最后3个是零。我关心的预测是输出的最后 3 个元素。
这会起作用还是这个想法有缺陷？
莱洛特
这个想法的主要缺陷是它没有给模型的学习添加任何东西，而且它降低了它的容量，因为你强迫你的模型在前 47 个步骤 (50-3) 学习身份映射。请注意，提供 0 作为输入相当于不为 RNN 提供输入，作为零输入，乘以权重矩阵后仍然为零，因此唯一的信息来源是偏差和前一个时间步的输出 - 两者都已经存在原始配方。现在第二个插件，我们有前 47 个步骤的输出——学习身份映射没有任何好处，但网络必须为此“付出代价”——它需要使用权重来编码这个映射不被处罚。
简而言之 - 是的，您的想法会奏效，但与原始方法相比，以这种方式获得更好的结果几乎是不可能的（因为您没有提供任何新信息，没有真正改变学习动态，但您限制了容量要求每一步都学习恒等映射；特别是这是一件非常容易学习的事情，所以梯度下降将首先发现这种关系，甚至在尝试“建模未来”之前）。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
我在 tensoflow 存储库中找不到 seq2seq 模块
- 2
将seq2seq NLP模型转换为ONNX格式是否会对性能产生负面影响？
- 3
Tensorflow seq2seq多维回归
- 4
Tensorflow seq2seq多维回归
- 5
Tensorflow seq2seq 教程 404
- 6
Seq2Seq用于预测复杂状态
- 7
如何运行张量流seq2seq演示
- 8
TensorFlow实现Seq2seq情感分析
- 9
训练seq2seq模型时出现InvalidArgumentError
- 10
如何为seq2seq模型准备数据？
- 11
为Seq2Seq模型添加关注层
- 12
Seq2Seq用于预测复杂状态
- 13
TensorFlow教程中的Seq2Seq桶的使用
- 14
张量流分配seq2seq永远卡住
- 15
如何解码seq2seq的输出？
- 16
AddJwtBearer（）是否按照我的想法做？
- 17
我想将一个Seq [Tuple2]和一个Seq [String]合并到Scala中的一个Seq [Tuple3]
- 18
是否需要返回seq <R>而不是seq <seq <R >>？
- 19
如何将word2vec导入TensorFlow Seq2Seq模型？
- 20
在Tensorflow的seq2seq函数中使用预训练的词嵌入
- 21
使用张量流构建seq2seq模型时出错
- 22
seq2seq模型的张量图中未显示图visualisaton
- 23
用采样的解码器输出实现seq2seq
- 24
如何使用张量流中的seq2seq预测简单序列？
- 25
Keras seq2seq模型如何在训练时从验证中屏蔽填充零？
- 26
为什么在此seq2seq模型中添加输入？
- 27
如何使用张量流中的seq2seq预测简单序列？
- 28
如何修改填充向量的seq2seq成本函数？
- 29
如何为带有桶的seq2seq模型设置tfrecords队列？
我来说两句