Bag of Words

El modelo bag-of-words representa el texto como un vector de frecuencias de palabras sin orden, ignorando la gramática y el orden de las palabras; es la representación fundamental para la clasificación y recuperación de textos.

Propósito

Convierte el texto en vectores de dimensión fija para que los algoritmos de aprendizaje automático puedan procesarlo.

Mecanismo

Se construye un vocabulario V, se cuenta la aparición de cada palabra en cada documento y se emite un vector de dimensión |V|. El orden de las palabras y la gramática se ignoran. A menudo se combina con la ponderación TF-IDF y el filtrado de palabras vacías. La dimensión es igual al tamaño del vocabulario.

Casos de uso

Clasificación de textos (Naive Bayes)
Detección de spam
Análisis de sentimiento
Clustering de documentos

Ejemplos

entrada

"the cat sat" + "the dog ran"

Output

Word-frequency vector

Ignores word order

Errores comunes

Ignoring word order loses semantic meaning: Use n-gram or deep models to preserve order

Términos relacionados

TF-IDF (frecuencia de término - frecuencia inversa de documento) mide la importancia de una palabra para un documento: las palabras frecuentes en el documento pero raras en el corpus reciben pesos altos.

La tokenización divide el texto en una secuencia de unidades semánticas (palabras, subpalabras, caracteres); es un paso fundacional en PLN y buscadores.

Cosine Similarity

La similitud coseno mide el coseno del ángulo entre dos vectores, ignorando su longitud; se usa ampliamente en el cálculo de similitud entre vectores de texto.

Un N-grama es una secuencia de N unidades consecutivas (caracteres o palabras) extraída de un texto, usada en modelos de lenguaje, similitud y análisis de texto.

References