Lexer
Ein Lexer zerlegt den Zeichenstrom des Quellcodes in eine Token-Sequenz (Schlüsselwörter, Bezeichner, Literale, Operatoren) — der erste Schritt der Kompilierung.
Zweck
Strukturiert den Zeichenstrom in Token und liefert die Eingabe für das Parsing.
Mechanismus
Matcht Token-Muster mit regulären Ausdrücken oder endlichen Automaten. Überspringt Whitespace und Kommentare. Behandelt die Ambiguität zwischen Schlüsselwörtern und Bezeichnern. Fehlerbehandlung überspringt illegale Zeichen und fährt fort. Flex/ANTLR generieren Lexer.
Anwendungsfälle
- Compiler-Implementierung
- Sprachwerkzeuge
- Parser