WebKit中的html词法解析

语言的解析一般分为词法分析(lexical analysis)和语法分析(Syntax analysis)两个阶段,WebKit中的html解析也不例外,本文主要讨论词法分析。

词法分析的任务是对输入字节流进行逐字扫描,根据构词规则识别单词和符号,分词。

在WebKit中,有两个类,同词法分析密切相关,它是HTMLToken和HTMLTokenizer类,可以简单将HTMLToken类理解 为标记,HTMLTokenizer类理解为词法解析器。HTML词法解析的任务,就是将输入的字节流解析成一个个的标记(HTMLToken),然后由 语法解析器进行下一步的分析。

在XML/HTML的文档解析中,token这个词经常用到,我将其理解为一个有完整语义的单元(也就是分出来的“词”),一个元素通常对应于3 个 token,一个是元素的起始标签,一个是元素的结束标签,一个是元素的内容,这点同DOM树是不一样的,在DOM树上,起始标签和结束标签对应于一个元 素节点,而元素内容对应另一个节点。

除了起始标签(StartTag)、结束标签(EndTag)和元素内容(Character),HTML标签还有DOCTYPE(文档类 型),Comment(注释),Uninitialized(默认类型)和EndOfFile(文档结束)等类型,参见HTMLToken.h中的 Type枚举。

htmltoken

上图是HTMLToken类的成员变量,从中我们可以看到一个标记的组成:类型,在字节流中的偏移,数据(m_data,不同的类型具有不同的意义),文档类型,是否自封闭(对于开始和结束标签),属性列表,当前属性。

HTMLTokenizer就是要从字节流解析出一个个这样的结构体来,他的实现是基于状态机来做的,状态机模型在 http://www.w3.org/TR/html5/tokenization.html#tokenization中已经明确定 义,nextToken方法实现了该状态机。

对有限状态机不熟悉的童子建议先学习下absurd大大的文章系统程序员成长计划-文本处理(一)状态机(http://blog.csdn.net/absurd/archive/2009/06/07/4249569.aspx)。

下面以一个简单的html文档来复盘状态机的几条路线。

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">

<!--comment -->

<html>

<body>

<a href=”w3c.org”>w3c</a>

</body>

</html>

不考虑类似<html>和<body>之间的回车换行(webkit里面有做特殊处理,也就是所谓的 “authoring convenience”,m_skipLeadingNewLineForLis ting),从前面的描述中,我们可以确认,该文档有9个 HTMLToken,分别是文档类型声明,注释,html的起始标签,body的起始标签,a的起始标签,a的元素内容,a的介绍标签,body的结束标 签,html的结束标签。

起始状态为DataState。

1)DOCTYPE

DataState:<!DOCTYPE,碰到’<’,进入TagOpenState

TagOpenState:<!DOCTYPE, 碰到’!’,进入MarkupDeclarationOpenSta te状态

MarkupDeclarationOpenSta te:<!DOCTYPE,碰到’D’,匹配DOCTYPE和--字数都不够,保持现状

MarkupDeclarationOpenSta te:<!DOCTYPE,匹配doctype,进入DOCTYPEState状态(HTMLToken的type为DOCTYPE)

DOCTYPEState: <!DOCTYPE html PUBL,碰到空格,进入BeforeDOCTYPENameState状态

BeforeDOCTYPENameState: <!DOCTYPE html PUBL,碰到’h’,进入DOCTYPENameState

DOCTYPENameState: <!DOCTYPE html PUBL,碰到’t’,保持原状态,提取html作为文档类型

DOCTYPENameState: <!DOCTYPE html PUBL,碰到空格,进入AfterDOCTYPENameState状态。(HTMLToken的m_data为

                                                                  html)

AfterDOCTYPENameState:<!DOCTYPE html PUBLIC,碰到’P’,还未能匹配Public或者system,保持状态

AfterDOCTYPENameState:<!DOCTYPE html PUBLIC,匹配public,进入AfterDOCTYPEPublicKeywor dState

AfterDOCTYPEPublicKeywor dState:<!DOCTYPE html PUBLIC "-/,碰到空格,进入BeforeDOCTYPEPublicIdent ifierState

BeforeDOCTYPEPublicIdent ifierState:<!DOCTYPE html PUBLIC "-/,碰到’”’,进入

                                                                                                                                DOCTYPEPublicIdentifierD oubleQuotedState

DOCTYPEPublicIdentifierD oubleQuotedState:<!DOCTYPE html PUBLIC "-/,碰到’-‘,保持状态,提取m_publicIdentifier

DOCTYPEPublicIdentifierD oubleQuotedState:<!DOCTYPE html PUBLIC "-/…nal//EN">,碰到’”’,进入

                                                                                                                        AfterDOCTYPEPublicIdenti fierState 状态。(HTMLToken的m_publicIdentifier确定)

AfterDOCTYPEPublicIdenti fierState:<!DOCTYPE html PUBLIC "-/…nal//EN"> ,碰到’>’,进入DataState状态,完成文档类型

                                                                                                                    的解析

2)COMMENT

DataState:<!--comment -->,碰到’<’,进入TagOpenState

TagOpenState:<!--comment -->, 碰到’!’,进入MarkupDeclarationOpenSta te状态

MarkupDeclarationOpenSta te:<!--comment -->,碰到’-’,匹配DOCTYPE和--字数都不够,保持现状

MarkupDeclarationOpenSta te:<!--comment -->,匹配--,进入CommentStartState状态(HTMLToken的type为COMMENT)

CommentStartState: <!--comment -->,碰到’c’,进入CommentState

CommentState:<!--comment -->,碰到’-‘,进入CommentEndDashState状态(HTMLToken的m_data为comment)

CommentEndDashState: <!--comment -->,碰到’-‘,进入CommentEndState状态

CommentEndState:<!--comment -->,碰到’>‘,进入DataState状态,完成解析。

3)起始标签a

DataState:<a href=”w3c.org”>,碰到’<’,进入TagOpenState状态

TagOpenState:<a href=”w3c.org”>,碰到’a’,进入TagNameState状态(HTMLToken的type为StartTag)

TagNameState:<a href=”w3c.org”>,碰到空格,进入BeforeAttributeNameState 状态(HTMLToken的m_data为a)

BeforeAttributeNameState :<a href=”w3c.org”>,碰到‘h’,进入AttributeNameState状态

AttributeNameState:<a href=”w3c.org”>,碰到‘=’,进入BeforeAttributeValueStat e状态(HTMLToken

                                                                                                          属性列表中加入一个属性,属性名为href)

BeforeAttributeValueStat e: <a href=”w3c.org”>,碰到‘“’,进入AttributeValueDoubleQuot edState状态

AttributeValueDoubleQuot edState:<a href=”w3c.org”>,碰到‘w’,保持状态,提取属性值

AttributeValueDoubleQuot edState:<a href=”w3c.org”>,碰到‘“’,进入AfterAttributeValueQuote dState

                                                                                                                          (HTMLToken当前属性的值为w3c.org).

AfterAttributeValueQuote dState: <a href=”w3c.org”>,碰到‘>’,进入DataState,完成解析。

在完成startTag的解析的时候,会在解析器中存储与之匹配的end标签(m_appropriateEndTagName),等到解析end标签的时候,会同它进行匹配(语法解析的时候)。

html,body起始标签类似a起始标签,但没有属性解析

4)a元素

DataState:w3c</a>,碰到’w’,维持原状态,提取元素内容(HTMLToken的type为character)。

DataState:w3c</a>,碰到’<’,完成解析,不consume ’<’。(HTMLToken的m_data为w3c)。

5)a结束标签

DataState:w3c</a>,碰到’<’,进入TagOpenState。

TagOpenState:w3c</a>,碰到’/’,进入到EndTagOpenState。(HTMLToken的type为endTag)。

EndTagOpenState:w3c</a>,碰到’a’,进入到TagNameState。

TagNameState:w3c</a>,碰到’>’,进入到DataState,完成解析。

通过以上的复盘,一个标记的token过程清晰呈现在眼前,基本上就是实现http://www.w3.org/TR/html5 /tokenization.html这一章的一个过程,html的规范是相当宽松的,所以词法解析要考虑到的问题很多,html5 specfication在这方面为实现者做了绝大部分工作。

另外,html的语法解析会影响词法解析,比如语法解析在解析到head里面title的起始标签后,会将htmltokenizer解析器的状态设置为RCDATAState。

你可能感兴趣的:(WebKit中的html词法解析)