Logistic Regression
Die logistische Regression bildet eine lineare Kombination über die Sigmoid-Funktion auf eine Wahrscheinlichkeit ab, P(y=1|x)=σ(w·x+b), trainiert mit Cross-Entropy-Verlust für binäre Klassifikation.
Zweck
Liefert einen_baseline-Binärklassifikator, der Wahrscheinlichkeiten ausgibt und interpretierbar bleibt.
Mechanismus
σ(z)=1/(1+e^(-z)). Der Verlust L=-∑[y log p+(1-y) log(1-p)] ist konvex. Optimiert wird per Gradientenabstieg oder Newton-Verfahren (IRLS). Multiklasse nutzt Softmax. L1/L2-Regularisierung verhindert Overfitting.
Anwendungsfälle
- Binäre Klassifikation
- Wahrscheinlichkeitsvorhersage
- Interpretierbare Modelle