我正在使用 scikit-learn 在 Python 中实现多项逻辑回归模型。然而,问题是我想对我的目标变量的类使用概率分布。例如,假设这是一个 3 类变量,如下所示:
class_1 class_2 class_3
0 0.0 0.0 1.0
1 1.0 0.0 0.0
2 0.0 0.5 0.5
3 0.2 0.3 0.5
4 0.5 0.1 0.4
因此每行的值之和等于 1。
我怎么能适应这样的模型?当我尝试:
model = LogisticRegression(solver='saga', multi_class='multinomial')
model.fit(X, probabilities)
我收到一条错误消息:
ValueError: bad input shape (10000, 3)
我知道这与此方法需要向量而不是矩阵的事实有关。但在这里我不能将probabilities
矩阵压缩为向量,因为这些类不是唯一的。
在 scikit-learn 中,你不能有非指标概率的交叉熵损失;这在 API 中未实现且不受支持。这是 scikit-learn 的局限性。
对于逻辑回归,您可以通过根据标签的概率对实例进行上采样来对其进行近似。例如,您可以将每个实例上采样 10 倍:例如,如果训练实例类别 1 的概率为 0.2,而类别 2 的概率为 0.8,则生成 10 个训练实例:8 个属于类别 2,2 个属于类别 1。它不会尽可能高效,但在一定限度内,您将优化相同的目标函数。
你可以这样做:
from sklearn.utils import check_random_state
import numpy as np
def expand_dataset(X, y_proba, factor=10, random_state=None):
"""
Convert a dataset with float multiclass probabilities to a dataset
with indicator probabilities by duplicating X rows and sampling
true labels.
"""
rng = check_random_state(random_state)
n_classes = y_proba.shape[1]
classes = np.arange(n_classes, dtype=int)
for x, probs in zip(X, y_proba):
for label in rng.choice(classes, size=factor, p=probs):
yield x, label
在此处查看更完整的示例:https : //github.com/TeamHG-Memex/eli5/blob/8cde96878f14c8f46e10627190abd9eb9e705ed4/eli5/lime/utils.py#L16
或者,您可以使用 TensorFlow 或 PyTorch 等库实现逻辑回归;与 scikit-learn 不同,在这些框架中很容易定义任何损失,并且开箱即用的交叉熵是可用的。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句