Stemming

El stemming es un proceso heurístico que reduce las palabras a su raíz (p. ej., running → run), de modo que las variaciones flexivas no afecten a la coincidencia en recuperación.

Propósito

Hace que distintas formas de una palabra coincidan con la misma raíz, mejorando el recall de búsqueda.

Mecanismo

Usa reglas heurísticas (p. ej., el algoritmo de Porter) para eliminar sufijos como ing, ed, s y ly. No garantiza corrección lingüística (p. ej., universe → univers, university → univers), pero es rápido y determinista. Snowball es una versión mejorada.

Casos de uso

Fusión de formas de palabras en buscadores
Reducción de dimensionalidad de características en clasificación de textos
Expansión de consultas en recuperación de información
Conteo de frecuencia de palabras

Ejemplos

entrada
```
running → run
```
Output
```
Stem run
```
Porter algorithm

Errores comunes

Over-stemming (e.g., business → bus): Use dictionary-assisted lemmatization

Términos relacionados

La lematización es el proceso lingüístico de reducir una palabra a su lema de diccionario (p. ej., better → good); es más precisa que el stemming.

La tokenización divide el texto en una secuencia de unidades semánticas (palabras, subpalabras, caracteres); es un paso fundacional en PLN y buscadores.

Las stop words son palabras de alta frecuencia y baja semántica (the, is, at, on) que suelen filtrarse en recuperación y PLN para reducir el ruido.

References