Tokenization

La tokenización divide el texto en una secuencia de unidades semánticas (palabras, subpalabras, caracteres); es un paso fundacional en PLN y buscadores.

Propósito

Convertir texto continuo en secuencias discretas de tokens para el procesamiento y análisis posteriores.

Mecanismo

El inglés se divide por espacios y puntuación (abreviaturas y guiones requieren tratamiento especial). El chino exige algoritmos de segmentación (máxima coincidencia, modelos estadísticos como HMM/CRF, modelos profundos como BERT). La tokenización de subpalabras (BPE, WordPiece) equilibra tamaño de vocabulario y cobertura.

Casos de uso

Construcción de índices de buscadores
Preprocesamiento de PLN (tokenización BERT)
Análisis léxico en analizadores de código
Análisis de variables en motores de plantillas

Ejemplos

entrada
```
I love NLP
```
Output
```
["I","love","NLP"]
```
Whitespace tokenization

Errores comunes

Processing Chinese as raw characters without segmentation: Use segmenters such as jieba/THULAC

Términos relacionados

Un N-grama es una secuencia de N unidades consecutivas (caracteres o palabras) extraída de un texto, usada en modelos de lenguaje, similitud y análisis de texto.

El stemming es un proceso heurístico que reduce las palabras a su raíz (p. ej., running → run), de modo que las variaciones flexivas no afecten a la coincidencia en recuperación.

Las stop words son palabras de alta frecuencia y baja semántica (the, is, at, on) que suelen filtrarse en recuperación y PLN para reducir el ruido.

El modelo bag-of-words representa el texto como un vector de frecuencias de palabras sin orden, ignorando la gramática y el orden de las palabras; es la representación fundamental para la clasificación y recuperación de textos.

References