Lemmatization

La lematización es el proceso lingüístico de reducir una palabra a su lema de diccionario (p. ej., better → good); es más precisa que el stemming.

Propósito

Reduce las formas de las palabras a lemas canónicos basándose en diccionarios y en la parte de la oración, garantizando la corrección lingüística.

Mecanismo

Determina el lema mediante búsqueda en diccionario más etiquetado de parte de la oración. Por ejemplo, better (adjetivo comparativo) → good; running (gerundio) → run. Requiere etiquetado gramatical y soporte lexicográfico; es más lenta que el stemming pero más precisa. La proporcionan spaCy y NLTK.

Casos de uso

Análisis NLP preciso
Coincidencia semántica en sistemas de respuesta a preguntas
Preprocesamiento de traducción automática
Desambiguación del sentido de las palabras

Ejemplos

entrada
```
better → good
```
Output
```
Lemma good
```
Requires part-of-speech tagging

Errores comunes

Missing part-of-speech tagging leads to wrong lemmas: Use a POS-aware lemmatizer

Términos relacionados

El stemming es un proceso heurístico que reduce las palabras a su raíz (p. ej., running → run), de modo que las variaciones flexivas no afecten a la coincidencia en recuperación.

La tokenización divide el texto en una secuencia de unidades semánticas (palabras, subpalabras, caracteres); es un paso fundacional en PLN y buscadores.

References