Lexer
Un analyseur lexical (lexer) découpe le flux de caractères du code source en une séquence de jetons (mots-clés, identifiants, littéraux, opérateurs) — la première étape de la compilation.
Objectif
Structurer le flux de caractères en jetons, fournissant l'entrée de l'analyse syntaxique.
Mécanisme
Fait correspondre les motifs de jetons par expressions régulières ou automates finis. Ignore espaces et commentaires. Gère l'ambiguïté entre mots-clés et identifiants. La récupération d'erreur saute les caractères illégaux et continue. Flex/ANTLR génèrent des lexers.
Cas d’usage
- Implémentation de compilateurs
- Outils linguistiques
- Analyseurs syntaxiques