Flex和Bison背景介绍

引子

最近闲暇之余读了一本书，名字叫做《Flex与Bison中文版》，收获颇丰，在此记录。
写程序已经将近7年多了，一直都比较好奇，我们写下的每一行代码是怎样编译运行的，虽然之前看过编译原理方面的书籍，但是大多都停留在理论层面，没有写过相关的实例或Demo，这本书比较好的地方是每个章节都会配有对应的示例代码，理论加实践可以更好的帮助我们吃透书本的内容。

Flex背景介绍

在1975年，Mike Lesk和暑期实习生Eric Schmidt（职业生涯非常牛掰，做过谷歌CEO）编写了一个词发分析器Lex(主要编程工作由Schmidt完成)，他们发现Lex既可以单独作为一个独立工具使用，也可以配合Johnson的Yacc来使用，Lex因此变得十分流行，当然因为是第一版，效率不是很高并且经常报错，大约在1987年，Lawrence Berkeley实验室的Vern Paxson把ratfor(当时流行的一种扩展的Fortran语言)写成的Lex用C语言改写了一遍，被称为Flex(Fast Lexical Analyzer Generator)，由于他比AT&T的Lex更加快速和可靠，并且许可证也是基于更加宽松的伯克利许可证，在市场上很快超越了Lex成为了主流的词法分析器。目前托管在SourceForge，大家有兴趣的可以去下载学习。

Bison背景介绍

Bison来源于Yacc(yet another compiler compiler), Yacc是Stephen C.Johnson在1975年到1978年期间在贝尔实验室完成的语法分析器。大约在1985年，一个名叫Bob Corbett的加州伯克利大学研究生改进了内部算法再次实现了Yacc(伯克利Yacc)，由于这个版本比贝尔实验室的Yacc更快，并且许可证也更加灵活，很快成为主流的Yacc，来自自由软件基金会的Richard Stallman改写了Corbett的版本并集成到GNU的项目中，然后又被添加了大量新的特性，逐渐演化为当前的Bison.

编译原理概述

大家学过编译原理的应该都清楚，整个编译过程可以分为以下五个阶段：
1. 词法分析
2. 语法分析
3. 语义分析与中间代码产生
4. 优化
5. 目标代码生成
Flex这个工具主要负责第一阶段任务词法分析，简单点说就是把我们写的每一行代码给分割成一个个token，例如下面一行代码

a = b + c;

词法分析器会将上面的代码分解为：a, 等号, b ,加号, c，分号；然后到第二阶段后，就该Bison出场了，Bison也就是语法分析器会确定b+c为一个表达式，然后这个表达式的值会赋值给a；下一阶段就是语义分析与中间代码产生，然后再优化，最后会根据目标平台如arm，x86等生成对应的目标代码。