TF-IDF

TF-IDF (frecuencia de término - frecuencia inversa de documento) mide la importancia de una palabra para un documento: las palabras frecuentes en el documento pero raras en el corpus reciben pesos altos.

Propósito

Distinguir palabras de contenido de palabras funcionales genéricas, usado para ordenar búsquedas y ponderar características.

Mecanismo

TF = veces que aparece una palabra en un documento; IDF = log(N/DF), donde N es el total de documentos y DF los que contienen la palabra. TF-IDF = TF × IDF. Las palabras comunes (the) tienen IDF bajo; las raras, IDF alto.

Casos de uso

Ranking de relevancia en buscadores
Extracción de palabras clave de documentos
Ponderación de características para clasificación de texto
Similitud de contenido en sistemas de recomendación

Ejemplos

entrada

The word "the" appears in all documents

Output

IDF≈0, low weight

Common words get low weights

Errores comunes

Failing to log-transform or normalize TF biases long documents: Use 1+log(TF) and document length normalization

Términos relacionados

El modelo bag-of-words representa el texto como un vector de frecuencias de palabras sin orden, ignorando la gramática y el orden de las palabras; es la representación fundamental para la clasificación y recuperación de textos.

Cosine Similarity

La similitud coseno mide el coseno del ángulo entre dos vectores, ignorando su longitud; se usa ampliamente en el cálculo de similitud entre vectores de texto.

Las stop words son palabras de alta frecuencia y baja semántica (the, is, at, on) que suelen filtrarse en recuperación y PLN para reducir el ruido.

References