N-gram Hash
El hash de N-gramas convierte el conjunto de N-gramas de un texto (secuencias de N caracteres o palabras) en una huella de longitud fija para comparaciones aproximadas rápidas.
Propósito
Juzgar rápidamente la similitud de textos cuando no hace falta la coincidencia exacta, como en deduplicación, corrección ortográfica y búsqueda difusa.
Mecanismo
El texto se desliza en un conjunto de N-gramas; cada N-grama se hashea y los resultados se agregan (unión, mapa de bits o recuentos) en una huella de longitud fija. La similitud de Jaccard de dos textos puede estimarse desde sus huellas.
Casos de uso
- Deduplicación aproximada de textos
- Recuperación de candidatos para corrección ortográfica
- Coincidencia difusa en buscadores