Lexer
Un analizador léxico (lexer) divide el flujo de caracteres del código fuente en una secuencia de tokens (palabras clave, identificadores, literales, operadores): el primer paso de la compilación.
Propósito
Estructurar el flujo de caracteres en tokens, aportando la entrada para el análisis sintáctico.
Mecanismo
Empareja patrones de tokens mediante expresiones regulares o autómatas finitos. Omite espacios en blanco y comentarios. Gestiona la ambigüedad entre palabras clave e identificadores. La recuperación de errores descarta caracteres ilegales y continúa. Flex/ANTLR generan lexers.
Casos de uso
- Implementación de compiladores
- Herramientas de lenguaje
- Analizadores sintácticos