我想使用GridSearchCV进行参数调整。是否还可以使用GridSearchCV检查CountVectorizer或TfidfVectorizer效果最佳?我的点子:
pipeline = Pipeline([
('vect', TfidfVectorizer()),
('clf', SGDClassifier()),
])
parameters = {
'vect__max_df': (0.5, 0.75, 1.0),
'vect__max_features': (None, 5000, 10000, 50000),
'vect__ngram_range': ((1, 1), (1, 2), (1,3),
'tfidf__use_idf': (True, False),
'tfidf__norm': ('l1', 'l2', None),
'clf__max_iter': (20,),
'clf__alpha': (0.00001, 0.000001),
'clf__penalty': ('l2', 'elasticnet'),
'clf__max_iter': (10, 50, 80),
}
grid_search = GridSearchCV(pipeline, parameters, n_jobs=-1, verbose=1, cv=5)
我的想法是:CountVectorizer与TfidfVectorizer相同,其中use_idf = False且normalize = None。如果GridSearchCV将此参数作为最佳结果,则CountVectorizer是最佳选择。那是对的吗?
先感谢您 :)
在中包含给定步骤及其对应名称之后Pipeline
,您就可以从参数网格访问该步骤,并在网格中添加其他参数或矢量化器(在这种情况下)。您还可以在单个管道中具有网格列表:
from sklearn.feature_extraction.text import CountVectorizer
pipeline = Pipeline([
('vect', TfidfVectorizer()),
('clf', SGDClassifier()),
])
parameters = [{
'vect__max_df': (0.5, 0.75, 1.0),
'vect__max_features': (None, 5000, 10000, 50000),
'vect__ngram_range': ((1, 1), (1, 2), (1,3),)
'tfidf__use_idf': (True, False),
'tfidf__norm': ('l1', 'l2', None),
'clf__max_iter': (20,),
'clf__alpha': (0.00001, 0.000001),
'clf__penalty': ('l2', 'elasticnet'),
'clf__max_iter': (10, 50, 80)
},{
'vect': (CountVectorizer(),)
# count_vect_params...
'clf__max_iter': (20,),
'clf__alpha': (0.00001, 0.000001),
'clf__penalty': ('l2', 'elasticnet'),
'clf__max_iter': (10, 50, 80)
}]
grid_search = GridSearchCV(pipeline, parameters)
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句