【PHP7源码学习】2019-03-20 PHP词法分析

baiyan

全部视频:https://segmentfault.com/a/11...

原视频地址:http://replay.xesv5.com/ll/24...

基本概念

  • 在PHP7中,当一个脚本运行请求或到来时,PHP代码首先会被加载到内存中,随后进行词法分析和语法分析并生成抽象语法树(AST),然后进行深度优先遍历并生成opcodes,并在zend虚拟机中执行这些opcode,返回最终的执行结果。
  • 词法分析:它是编译过程的第一个阶段。这个阶段会将代码从左到右按字符扫描并读入,然后将代码划分成一个又一个的词法单元(token),方便后续的语法分析以及编译优化等操作。这就好比用菜刀去切一块肉,将这块大肉切分成一小块一小块肉,方便人们后续食用。可以使用Re2c、lex等自动化词法分析工具,来帮助我们完成。
  • 语法分析:语法分析是编译过程的一个逻辑阶段。语法分析的任务是在词法分析的基础上将词法单元token,组合成各类语法短语,如“程序”,“语句”,“表达式”等等,它能够判断源程序在结构上是否正确。
  • 在PHP中,使用的词法分析器是Re2c,语法分析器是Bison。
  • 其实进行词法分析和语法分析并生成某种数据结构的过程,就是一个解码的过程。
之所以需要做这种从字符串到数据结构(AST)的转换,是因为编译器是无法直接操作“1+2”这样的字符串的。实际上,代码的本质根本就不是字符串,它本来就是一个具有复杂拓扑的数据结构,就像电路一样。“1+2”这个字符串只是对这种数据结构的一种“编码”,就像ZIP或者JPEG只是对它们压缩的数据的编码一样。
这种编码可以方便你把代码存到磁盘上,方便你用文本编辑器来修改它们(对人友好,方便人们编写代码,但是对编译器不友好),然而你必须知道,文本并不是代码本身。所以从磁盘读取了文本之后,你必须先“解码”,才能方便地操作代码的数据结构。比如,如果上面的Java代码生成的AST节点叫node,你就可以用node.operator来访问加号ADD,用node.left来访问1,node.right来访问2。这是很方便的。对于程序语言,这种解码的动作就叫做parsing,用于解码的那段代码就叫做parser。
  • 关于语法分析与词法分析的具体概念解释,这篇文章写得较好:对 Parser 的误解
  • 我们先利用PHP内置函数token_get_all()来取出一段PHP代码的token:
  • 打印结果为:
Line 1: T_OPEN_TAG ('
  • 观察以上结果,可以看有OPEN_TAG/VARIABLE/WHITESPACE等等词法单元token。

如何取出token

  • 那么让我们你自己去设计一个算法,从一个字符串中识别并取出token,应该怎么做?

    • 使用两个指针,一个标记开始位置,一个往后挪,然后回溯。(较麻烦)
    • 使用正则表达式进行匹配
  • 当用较简单的字符串匹配正则表达式的时候,可以用人眼很容易地看出来。但是如果用很复杂的字符串(成千上万行代码)去匹配一个正则,是相当麻烦并且非常慢的,编译原理中提出了这样一个概念用以解决这个问题:有穷状态机
  • 有穷状态机:必须有一个起始状态,用一个箭头加圆圈表示;也得有一个结束,用两个圆圈表示。 如果满足某个条件,就会从一个状态跃迁到另一个状态,也用箭头来表示。

例:观察下面这个正则表达式:

(a|b)*abb
  • 根据这个正则表达式,我们可以画出它的有穷状态机:

【PHP7源码学习】2019-03-20 PHP词法分析_第1张图片

- 对于a,只能到状态0或者1,不能到达结束的3,所以不匹配
- 对于abb,第一个a可以使状态0跃迁到1,第二个b可以从1跃迁到2,最后一个b结束,所以匹配
- 对于aabb,第一个a可以选择从0跃迁到0,第二个从0跃迁到1,后面两个b同上,匹配
- 对于cabb,第一个c就无法满足,不匹配
  • 这里有个问题,输入第一个a的时候,可以从0跃迁到自己,也可以从0跃迁到1,所以这种状态机就叫不确定有穷状态机(NFA)
  • NFA是有缺陷的,比如aabb,有可能一直从0跃迁到0,共重复了4次这样的操作,也没有到达最终的结束状态3。这就会导致本应该符合匹配要求的字符串,在不确定有穷状态机中,错误地被判定为不符合匹配要求。解决此问题的办法就是将不确定有穷状态机转化为确定有穷状态机(DFA)。

【PHP7源码学习】2019-03-20 PHP词法分析_第2张图片

  • 这样一来,一个确定的输入就对应着一个确定的输出(假设如给一个a,一定跃迁到1;给一个b,一定跃迁回0),不存在歧义问题。
  • 但是,将一个NFA转化成DFA是相当复杂的,所以有工具已经为我们做好了这个事情:Re2c。你只需要输入一个正则表达式,就能够为你生成一个确定有穷状态机(DFA),在Re2c工具中以C/C++代码体现,详情见:re2c中文手册

你可能感兴趣的:(php,c)