Lexer
字句解析器（レキサー）は、ソースコードの文字ストリームをトークン列（キーワード、識別子、リテラル、演算子）に分割する。コンパイルの最初の段階である。
目的
文字ストリームをトークンへ構造化し、構文解析への入力を提供する。
メカニズム
正規表現や有限オートマトンによってトークンのパターンを照合する。空白やコメントは読み飛ばす。キーワードと識別子の曖昧性も処理する。エラー回復では不正な文字をスキップして処理を続行する。Flex や ANTLR がレキサーを生成する。
ユースケース
- コンパイラの実装
- 言語ツール
- パーサ