计算概率
许多问题需要将概率估算值作为输出。逻辑回归是一种极其高效的概率计算机制。
S 型函数：
- 一个值域恰好在 0 到 1 之间的函数，定义为：$$\displaystyle y = \frac{1}{1 + e^{-z}}$$
z 表示使用逻辑回归训练的模型的线性层的输出。
损失函数
线性回归的损失函数是平方损失。逻辑回归的损失函数是对数损失函数，定义如下：
$$\displaystyle Log Loss = \sum_{(x,y)\in D} -ylog(y’) - (1 - y)log(1 - y’)$$
其中：
- $$(x, y) \in D$$ 是包含很多有标签样本 (x,y) 的数据集。
- “y”是有标签样本中的标签。由于这是逻辑回归，因此 “y” 的每个值必须是 0 或 1。
- “y’”是对于特征集“x”的预测值（介于 0 和 1 之间）。
正则化
正则化在逻辑回归建模中极其重要。如果没有正则化，逻辑回归的渐近性会不断促使损失在高维度空间内达到 0。因此，大多数逻辑回归模型会使用以下两个策略之一来降低模型复杂性：
- L2 正则化。
- 早停法，即，限制训练步数或学习速率。