Saltar al contenido
uencoder

MinHash

MinHash es el método de estimación de similitud de conjuntos propuesto por Broder: se usan los valores mínimos de varias funciones hash independientes para estimar la similitud de Jaccard.

Propósito

Estima rápidamente la similitud de Jaccard entre dos conjuntos entre colecciones masivas, apoyando la búsqueda de casi duplicados y la deduplicación.

Mecanismo

Se aplican k funciones hash independientes al conjunto y se toma cada mínimo, formando una firma k-dimensional. La probabilidad de que las posiciones correspondientes de la firma sean iguales equivale a la similitud de Jaccard, por lo que la fracción de posiciones que coinciden estima la similitud.

Casos de uso

  • Detección de casi duplicados en buscadores
  • Recomendación de ítems similares
  • Clustering de documentos

Herramientas relacionadas

References