如何在TensorFlow中使用tf.nn.embedding_lookup_sparse？

ToBe 发表于 Dev

成为

我们已经尝试使用，tf.nn.embedding_lookup并且可以使用。但是它需要密集的输入数据，现在我们需要tf.nn.embedding_lookup_sparse稀疏的输入。

我已经编写了以下代码，但出现了一些错误。

import tensorflow as tf
import numpy as np

example1 = tf.SparseTensor(indices=[[4], [7]], values=[1, 1], shape=[10])
example2 = tf.SparseTensor(indices=[[3], [6], [9]], values=[1, 1, 1], shape=[10])

vocabulary_size = 10
embedding_size = 1
var = np.array([0.0, 1.0, 4.0, 9.0, 16.0, 25.0, 36.0, 49.0, 64.0, 81.0])
#embeddings = tf.Variable(tf.ones([vocabulary_size, embedding_size]))
embeddings = tf.Variable(var)

embed = tf.nn.embedding_lookup_sparse(embeddings, example2, None)

with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())

    print(sess.run(embed))

错误日志如下所示。

现在我不知道如何正确修复和使用此方法。任何意见，不胜感激。

潜入后safe_embedding_lookup_sparse的单元测试，我更困惑，为什么我如果给稀疏的权重，尤其是为什么我们得到的东西一样得到这样的结果embedding_weights[0][3]，其中3没有出现在上面的代码。

里维纳斯

tf.nn.embedding_lookup_sparse()使用细分来组合嵌入，这需要SparseTensor的索引从0开始并增加1。这就是为什么会出现此错误的原因。

稀疏张量不需要保留布尔值，而只需要保留要从嵌入中检索的每一行的索引。这是您经过调整的代码：

import tensorflow as tf
import numpy as np

example = tf.SparseTensor(indices=[[0], [1], [2]], values=[3, 6, 9], dense_shape=[3])

vocabulary_size = 10
embedding_size = 1
var = np.array([0.0, 1.0, 4.0, 9.0, 16.0, 25.0, 36.0, 49.0, 64.0, 81.0])
embeddings = tf.Variable(var)

embed = tf.nn.embedding_lookup_sparse(embeddings, example, None)

with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    print(sess.run(embed)) # prints [  9.  36.  81.]

此外，您可以使用index fromtf.SparseTensor()通过允许的tf.nn.embedding_lookup_sparse()组合器之一组合单词嵌入：

“ sum”为每一行计算嵌入结果的加权和。

“平均值”是加权总和除以总权重。

“ sqrtn”是加权和除以权重平方和的平方根。

例如：

example = tf.SparseTensor(indices=[[0], [0]], values=[1, 2], dense_shape=[2])
...
embed = tf.nn.embedding_lookup_sparse(embeddings, example, None, combiner='sum')
...
print(sess.run(embed)) # prints [ 5.]

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。