Lexer
词法分析器将源代码字符流分解为 token 序列（关键字、标识符、字面量、运算符），是编译第一步。
用途
将字符流结构化为 token，为语法分析提供输入。
机制
用正则或有限自动机匹配 token 模式。跳过空白与注释。处理关键字 vs 标识符歧义。错误恢复跳过非法字符继续。Flex/ANTLR 生成词法分析器。
用例
- 编译器实现
- 语言工具
- 解析器
词法分析器将源代码字符流分解为 token 序列（关键字、标识符、字面量、运算符），是编译第一步。
将字符流结构化为 token，为语法分析提供输入。
用正则或有限自动机匹配 token 模式。跳过空白与注释。处理关键字 vs 标识符歧义。错误恢复跳过非法字符继续。Flex/ANTLR 生成词法分析器。