Cosine Similarity
La similitud coseno mide el coseno del ángulo entre dos vectores, ignorando su longitud; se usa ampliamente en el cálculo de similitud entre vectores de texto.
Propósito
Compara la dirección del vector en lugar de su magnitud, permitiendo comparar de forma justa documentos largos y cortos.
Mecanismo
sim(A,B) = (A·B) / (|A|×|B|) = Σ(A_i×B_i) / (sqrt(ΣA_i²)×sqrt(ΣB_i²)). El resultado va de -1 a 1 (de 0 a 1 para vectores de texto no negativos). 1 significa dirección idéntica; 0 significa ortogonal (sin relación).
Casos de uso
- Búsqueda por similitud de documentos
- Similitud de ítems en recomendación
- Similitud semántica de vectores de palabras
- Métrica de distancia para clustering
Ejemplos
- entrada
[1,0,1] vs [1,1,1]Output0.816Angle of about 35°
Errores comunes
- Unnormalized vectors cause computation overflow
- Apply L2 normalization in advance or use a numerically stable implementation
Términos relacionados
TF-IDF
TF-IDF (frecuencia de término - frecuencia inversa de documento) mide la importancia de una palabra para un documento: las palabras frecuentes en el documento pero raras en el corpus reciben pesos altos. GLOSARIO
Bag of Words
El modelo bag-of-words representa el texto como un vector de frecuencias de palabras sin orden, ignorando la gramática y el orden de las palabras; es la representación fundamental para la clasificación y recuperación de textos. GLOSARIO
Jaro-Winkler Distance
La distancia Jaro-Winkler es un refinamiento de la distancia Jaro que pondera los prefijos comunes, haciéndola más apta para comparar cadenas cortas como nombres de persona donde el prefijo importa. GLOSARIO