Stop Words

Las stop words son palabras de alta frecuencia y baja semántica (the, is, at, on) que suelen filtrarse en recuperación y PLN para reducir el ruido.

Propósito

Elimina palabras funcionales que aportan poco al significado, mejorando la precisión y la eficiencia de la recuperación.

Mecanismo

Se usa una lista predefinida de stop words (p. ej., 179 palabras inglesas en NLTK). Se omiten al indexar y al consultar. Nota: en búsquedas de frases («to be or not to be») las stop words aportan significado y deben conservarse. Las listas difieren por dominio.

Casos de uso

Compresión del índice en buscadores
Cálculo del TF-IDF
Selección de características para clasificación de textos
Preprocesamiento de extracción de palabras clave

Ejemplos

entrada
```
the quick brown fox
```
Output
```
quick brown fox
```
Removes "the"

Errores comunes

Filtering stop words breaks phrase semantics: Keep stop words in phrase queries

Términos relacionados

La tokenización divide el texto en una secuencia de unidades semánticas (palabras, subpalabras, caracteres); es un paso fundacional en PLN y buscadores.

TF-IDF (frecuencia de término - frecuencia inversa de documento) mide la importancia de una palabra para un documento: las palabras frecuentes en el documento pero raras en el corpus reciben pesos altos.

El stemming es un proceso heurístico que reduce las palabras a su raíz (p. ej., running → run), de modo que las variaciones flexivas no afecten a la coincidencia en recuperación.

References