N-gram

Un N-grama es una secuencia de N unidades consecutivas (caracteres o palabras) extraída de un texto, usada en modelos de lenguaje, similitud y análisis de texto.

Propósito

Descomponer el texto en segmentos de longitud fija, facilitando estadísticas y comparaciones.

Mecanismo

Se desliza una ventana de tamaño N con paso 1 sobre caracteres o palabras. Por ejemplo, los bigramas de caracteres de "hello" son he, el, ll, lo. Se usa en modelos de lenguaje de N-gramas (predecir la probabilidad de la siguiente unidad) y en la similitud de Jaccard/Dice.

Casos de uso

Modelos de lenguaje de N-gramas
Corrección ortográfica (similitud de n-gramas de caracteres)
Clasificación de texto y detección de idioma
Extracción de palabras clave

Ejemplos

entrada
```
"hello" 2-grams
```
Output
```
he, el, ll, lo
```
Character bigrams

Errores comunes

Too-large N causes sparsity and overfitting: Choose N based on corpus size (usually 2-3)

Términos relacionados

La tokenización divide el texto en una secuencia de unidades semánticas (palabras, subpalabras, caracteres); es un paso fundacional en PLN y buscadores.

TF-IDF (frecuencia de término - frecuencia inversa de documento) mide la importancia de una palabra para un documento: las palabras frecuentes en el documento pero raras en el corpus reciben pesos altos.

Cosine Similarity

La similitud coseno mide el coseno del ángulo entre dos vectores, ignorando su longitud; se usa ampliamente en el cálculo de similitud entre vectores de texto.

References