我想用 keras 对电子邮件进行分类,我已经有包含电子邮件的文件夹,所以我希望 keras 识别一个模型,该模型根据我已经分类的内容预测将未分类的电子邮件放在哪里。
所以我阅读了所有邮件并用熊猫创建了一个两列的数据框,一个是邮件中所有单词的列表,另一个是它所属的文件夹。
之后,我创建x_train
,y_train
,x_test
以及y_test
培训和评估我的代码。这给了我很好的结果,所以我想通过执行相同的方法对未分类的电子邮件进行分类,读取邮件对其进行标记,然后使用 pd.get_dummies 然后将其转换为一个 numpy 数组。
因为看起来预测调用只能处理 numpy 列表或 numpy 数组。
这就是问题所在,矩阵不同,因为非分类邮件中的单词数和我的数据集不同,导致形状不同,因此出现错误,我想知道如何解决。
我尝试使用,OneHotEncoder
但我不知道是不是我使用它的方式,但它失败了
#lst = each row contains all the word of the folder in the list2
#lst2 = each row contains the path to a folder
data = pd.DataFrame(list(zip(lst, lst2)), columns=['text', 'folder'])
train_size = int(len(data) * .8)
train_posts = data['text'][:train_size]
train_tags = data['folder'][:train_size]
test_posts = data['text'][train_size:]
test_tags = data['folder'][train_size:]
model = Sequential()
model.add(Dense(16, input_shape=(vocab_size,)))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(32))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(16))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(num_labels))
model.add(Activation('sigmoid'))
model.summary()
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(x_train, y_train, batch_size=batch_size, epochs=100, verbose=1, validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, batch_size=batch_size, verbose=1)
#read the non-classified mails
sentences = read_files("mail.eml")
sentences = ' '.join(sentences)
sentences = sentences.lower()
salut = unidecode.unidecode(sentences)
salut = text_to_word_sequence(salut)
salut = np.array(pd.get_dummies(salut).values)
pred = model.predict_classes(salut, batch_size=batch_size, verbose=1)
训练结果:3018/3018 [==============================] - 0s 64us/step - loss: 0.0215 - acc:0.9949 - val_loss:0.0217 - val_acc:0.9950
ValueError:检查输入时出错:预期dense_1_input具有形状(3773,)但得到形状为(111,)的数组
我总共使用了 3773 个单词,我将它们分成 x_train 和 x_test 训练长度是 3773 的 80% 所以 3018 其余 (775) 用于测试
traning_time(适合)
3018/3018 [==============================] - 0s 67us/step - loss: 0.0225 - acc: 0.9950 - val_loss :0.0221 - val_acc:0.9950
test_time(评估)
755/755 [==============================] - 0s 25us/步
评估结果
测试分数:0.022089334732748024 测试准确度:0.9950132541309129
我忘了说 read_files 调用只是我做的一个函数,它读取文件并返回邮件中所有单词的列表
我测试通过添加尽可能多的列(全零)来匹配 3773 长度来完成长度 111 的矩阵,这确实有效,但矩阵肯定是错误的,这给了我很差的结果,而我有很高的“准确度” " 和 "val_accuracy"
如果您知道如何解决,请说出您的任何想法
我解决了导致两个矩阵之间的 lengtg 问题的问题,因为我在标记非机密邮件和其他邮件时没有使用相同的字典。
所以如果有人遇到这个问题,你需要在所有程序中使用相同的标记器。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句