我已经用Gensim训练了非常短的句子（最多10个单词）的快速文本模型。我知道我的测试集包含不在我的训练语料库中的单词，即我的语料库中的某些单词像“催产素”，“ Lexitocin”，“ Ematrophin”，“ Betaxitocin”
给定测试集中的一个新单词，fasttext非常了解如何使用字符级n-gram生成与训练集中的其他相似单词具有高余弦相似度的向量
我如何将快速文本模型合并到LSTM keras网络中，而又不将快速文本模型丢失到词汇表中的向量列表中？因为那样的话，即使fasttext做得很好，我也不会处理任何OOV。
任何想法？
这里是将快速文本模型合并到LSTM Keras网络中的过程
# define dummy data and precproces them
docs = ['Well done',
'Good work',
'Great effort',
'nice work',
'Excellent',
'Weak',
'Poor effort',
'not good',
'poor work',
'Could have done better']
docs = [d.lower().split() for d in docs]
# train fasttext from gensim api
ft = FastText(size=10, window=2, min_count=1, seed=33)
ft.build_vocab(docs)
ft.train(docs, total_examples=ft.corpus_count, epochs=10)
# prepare text for keras neural network
max_len = 8
tokenizer = tf.keras.preprocessing.text.Tokenizer(lower=True)
tokenizer.fit_on_texts(docs)
sequence_docs = tokenizer.texts_to_sequences(docs)
sequence_docs = tf.keras.preprocessing.sequence.pad_sequences(sequence_docs, maxlen=max_len)
# extract fasttext learned embedding and put them in a numpy array
embedding_matrix_ft = np.random.random((len(tokenizer.word_index) + 1, ft.vector_size))
pas = 0
for word,i in tokenizer.word_index.items():
try:
embedding_matrix_ft[i] = ft.wv[word]
except:
pas+=1
# define a keras model and load the pretrained fasttext weights matrix
inp = Input(shape=(max_len,))
emb = Embedding(len(tokenizer.word_index) + 1, ft.vector_size,
weights=[embedding_matrix_ft], trainable=False)(inp)
x = LSTM(32)(emb)
out = Dense(1)(x)
model = Model(inp, out)
model.predict(sequence_docs)
如何处理看不见的文字
unseen_docs = ['asdcs work','good nxsqa zajxa']
unseen_docs = [d.lower().split() for d in unseen_docs]
sequence_unseen_docs = tokenizer.texts_to_sequences(unseen_docs)
sequence_unseen_docs = tf.keras.preprocessing.sequence.pad_sequences(sequence_unseen_docs, maxlen=max_len)
model.predict(sequence_unseen_docs)
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句