跳到主要内容

认识

2025年02月06日
柏拉文
越努力，越幸运

一、认识​

逻辑回归 logistic regression 是一种用于 二分类任务 的线性模型，尽管名字带 回归，但它主要用于 分类问题。它的核心思想是:

  • 先计算线性回归: WX+bWX+b

  • 然后使用 Sigmoid 函数 σ(x)\sigma(x) 将结果映射到 (0,1)(0,1) 区间，表示 概率

逻辑回归 logistic regression 是一种简单但强大的分类算法，适用于二分类任务。它本质上是 线性回归 + Sigmoid 激活，并使用交叉熵损失优化。尽管它是最基础的分类方法之一，但仍然在许多领域广泛应用

1.1 数学公式​

逻辑回归的核心公式如下:

线性部分: z=WX+bz=WX+b

其中:

  • WW 是权重（权重向量）

  • XX 是输入特征（特征向量）

  • bb 是偏置项（Bias）

  • zz 是线性回归的结果

激活函数 Sigmoid: 为了将 zz 变成概率，我们使用 Sigmoid 函数: σ(z)=11+e−z\sigma(z) = \frac{1}{1 + e^{-z}} , 最终的预测概率: y^=P(y=1∣X)=σ(WX+b)\hat{y} = P(y=1 \mid X) = \sigma(WX + b)

其中:

  • y^\hat{y} 代表预测值（是类别 1 的概率）

  • 当 y^>0.5\hat{y} > 0.5 , 分类为 1，否则分类为 0

1.2 损失函数​

为了优化 逻辑回归，我们使用 交叉熵损失（Binary Cross-Entropy Loss）:

J(W,b)=−1m∑i=1m[yilog⁡y^i+(1−yi)log⁡(1−y^i)]J(W, b) = - \frac{1}{m} \sum_{i=1}^{m} \left[ y_i \log \hat{y}_i + (1 - y_i) \log (1 - \hat{y}_i) \right]

其中:

  • mm 是样本数

  • yiy_i 是真实标签（0 或 1）

  • y^i\hat{y}_i 是预测值（概率）

该损失函数用于衡量模型预测值与真实值的差异，并通过 梯度下降（Gradient Descent） 优化权重 WW 和偏置 bb。

1.3 梯度函数​

我们使用 梯度下降 来优化参数 WW 和 bb:

W:=W−α∂J∂WW := W - \alpha \frac{\partial J}{\partial W} b:=b−α∂J∂bb := b - \alpha \frac{\partial J}{\partial b}

其中:

  • α\alpha 是学习率（Learning Rate）

  • ∂J∂W\frac{\partial J}{\partial W} 和 ∂J∂b\frac{\partial J}{\partial b} 是损失函数的梯度

二、应用​

  • 二分类问题（如垃圾邮件检测、癌症预测）

  • 信用评分（用户是否违约）

  • 广告点击率预测

  • 医学诊断（患者是否患病）