我有带有标签的文本变量中的单词列表。我喜欢制作一个可以预测新输入文本标签的分类器。
我正在考虑在 Python 中使用 scikit-learn 包来使用 SVM 模型。
我意识到文本需要转换为矢量形式，所以我正在尝试 TfidfVectorizer 和 CountVectorizer。
到目前为止，这是我使用 TfidfVectorizer 的代码：
from sklearn import svm
from sklearn.feature_extraction.text import TfidfVectorizer
label = ['organisasi','organisasi','organisasi','organisasi','organisasi','lokasi','lokasi','lokasi','lokasi','lokasi']
text = ['Partai Anamat Nasional','Persatuan Sepak Bola', 'Himpunan Mahasiswa','Organisasi Sosial','Masyarakat Peduli','Malioboro','Candi Borobudur','Taman Pintar','Museum Sejarah','Monumen Mandala']
vectorizer = TfidfVectorizer(min_df=1)
X = vectorizer.fit_transform(text)
y = label
klasifikasi = svm.SVC()
klasifikasi = klasifikasi.fit(X,y) #training
test_text = ['Partai Perjuangan']
test_vector = vectorizer.fit_transform(test_text)
prediksi = klasifikasi.predict([test_vector]) #test
print(prediksi)
我还尝试使用上述相同代码的 CountVectorizer。两者都显示相同的错误结果：
ValueError: setting an array element with a sequence.
如何解决这个问题呢？谢谢
错误是由于这一行：
prediksi = klasifikasi.predict([test_vector])
大多数 scikit 估计器需要一个 shape 数组[n_samples, n_features]。test_vectorTfidfVectorizer的输出已经准备好用于估计器的形状。您不需要将其包裹在方括号 ([和]) 中。包装使它成为一个不合适的列表。
尝试像这样使用它：
prediksi = klasifikasi.predict(test_vector)
但即使那样你也会gt错误。因为这一行：
test_vector = vectorizer.fit_transform(test_text)
在这里，您以与klasifikasi估计器学到的不同的方式拟合矢量化器。fit_transform()只是调用fit()（学习数据）然后transform()它的快捷方式。对于测试数据，始终使用transform()方法，从不fit()或fit_transform()
所以正确的代码将是：
test_vector = vectorizer.transform(test_text)
prediksi = klasifikasi.predict(test_vector)
#Output: array(['organisasi'], dtype='|S10')
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句