SimHash
SimHash es el hash sensible a la localidad (LSH) propuesto por Charikar: mapea texto a una cadena de bits de longitud fija donde textos parecidos tienen distancias de Hamming pequeñas.
Propósito
Encontrar documentos casi duplicados con comparaciones O(1) sobre colecciones grandes de texto, apoyando la deduplicación y la agrupación.
Mecanismo
Cada característica del texto (p. ej., un N-grama) se hashea de forma independiente; los pesos de las características se suman o restan por bit del hash según su valor 0/1, y los bits de signo finales forman la huella SimHash. Cuanto mayor la similitud, menor la distancia de Hamming.
Casos de uso
- Deduplicación masiva de páginas web
- Agrupación de documentos casi duplicados
- Detección de plagio