Logistic Regression
La régression logistique applique une combinaison linéaire à une probabilité via la sigmoïde, P(y=1|x)=σ(w·x+b), entraînée avec une perte d'entropie croisée pour la classification binaire.
Objectif
Fournir un classifieur binaire de référence qui produit des probabilités tout en restant interprétable.
Mécanisme
σ(z)=1/(1+e^(-z)). La perte L=-∑[y log p+(1-y) log(1-p)] est convexe. Elle s'optimise par descente de gradient ou méthode de Newton (IRLS). Le multiclasse utilise softmax. La régularisation L1/L2 prévient le surapprentissage.
Cas d’usage
- Classification binaire
- Prédiction de probabilités
- Modèles interprétables