我有一个包含 2 列的 Pandas 数据框，我想sklearn TfidfVectorizer用于其中之一的文本分类。然而，这一列是一个列表列表，TFIDF 想要原始输入作为文本。在这个问题中，他们提供了一个解决方案，以防我们只有一个列表列表，但我想问一下如何在我的数据帧的每一行中应用这个函数，该行包含一个列表列表。先感谢您。
Input:
0 [[this, is, the], [first, row], [of, dataframe]]
1 [[that, is, the], [second], [row, of, dataframe]]
2 [[etc], [etc, etc]]想要的输出：
0 ['this is the', 'first row', 'of dataframe']
1 ['that is the', 'second', 'row of dataframe']
2 ['etc', 'etc etc']
您可以使用apply：
import pandas as pd
df = pd.DataFrame(data=[[[['this', 'is', 'the'], ['first', 'row'], ['of', 'dataframe']]],
[[['that', 'is', 'the'], ['second'], ['row', 'of', 'dataframe']]]],
columns=['paragraphs'])
df['result'] = df['paragraphs'].apply(lambda xs: [' '.join(x) for x in xs])
print(df['result'])
输出
0 [this is the, first row, of dataframe]
1 [that is the, second, row of dataframe]
Name: result, dtype: object
此外，如果您想将矢量化器与上述函数结合使用，您可以执行以下操作：
def vectorize(xs, vectorizer=TfidfVectorizer(min_df=1, stop_words="english")):
text = [' '.join(x) for x in xs]
return vectorizer.fit_transform(text)
df['vectors'] = df['paragraphs'].apply(vectorize)
print(df['vectors'].values)
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句