Stemming

Stemming ist ein heuristischer Prozess, der Wörter auf ihren Stamm reduziert (z. B. running → run), sodass Flexionsvarianten das Retrieval-Matching nicht beeinträchtigen.

Zweck

Lässt verschiedene Wortformen auf denselben Stamm treffen und verbessert so den Such-Recall.

Mechanismus

Nutzt heuristische Regeln (z. B. den Porter-Algorithmus), um Suffixe wie ing, ed, s und ly abzuschneiden. Linguistisch nicht garantiert korrekt (z. B. universe → univers, university → univers), aber schnell und deterministisch. Snowball ist eine verbesserte Version.

Anwendungsfälle

Wortformzusammenführung in Suchmaschinen
Merkmalsdimensionsreduktion bei Textklassifikation
Query-Expansion in der Informationssuche
Worthäufigkeitszählung

Beispiele

Eingabe
```
running → run
```
Output
```
Stem run
```
Porter algorithm

Häufige Fehler

Over-stemming (e.g., business → bus): Use dictionary-assisted lemmatization