My RegEx Library

5. 删除程序中的各种注释

首先考虑到在字符串中可能存在注释的文本，但是这些注释我们是不需要删除的，
所以可以加一个分支再匹配字符串
这时当匹配字符串开始时候，就会一直匹配到字符串结束
然后下次匹配的时候，是在字符串尾部继续应用正则表达式，所以不会匹配到内部
同理注释中字符串也不算程序中的字符串，因为在更前的位置，已经被当成注释给匹配了
如果既不是字符串也不是注释，传动装置才会驱动到下一个位置继续尝试

匹配注释的表达式

多行注释: /\*[\s\S]*?\*/
单行注释: //.*+

匹配字符串的表达式

单引号或双引号字符串: (["'])(?:(?!\1)[^\n\\])*+(?:\\.(?:(?!\1)[^\n\\])*+)*+\1

所以整个表达式可以写成

(["'])(?:(?!\1)[^\n\\])*+(?:\\.(?:(?!\1)[^\n\\])*+)*+\1|/\*[\s\S]*?\*/|//.*+

表达式的顺序是不重要的，但是文本中那种内容更多可能改变表达式的顺序却可以提高效率
如果要删除注释，则替换的时候替换成字符串匹配到的内容即可，如果注释匹配为空，则无影响，如果字符串为空，则注释将被删除

regex: ((["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|/\*[\s\S]*?\*/|//.*+
replacement: $1

不使用忽略优先量词和环视来匹配注释的更高效版本

regex: ((["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+
replacement: $1

因为在java中测试，匹配多行注释使用这种办法效率更高，而匹配单引号和双引号不使用多选分支效率更高

进一步优化

在匹配非字符串和注释的时候，这些内容不能被匹配，表达式只能依次尝试完所有的分支报告当前位置失配，然后由传动装置驱动到下一个位置，因为java采用的是传统型nfa引擎，表达式主导，所以可以自己控制表达式的匹配，
在第一个分支加入匹配其他字符的表达式: [^'/"]+, 之所以不使用星号量词是因为*总是能够匹配成功，而当匹配到注释开始时，其不能匹配任何文本，也能报告成功，下一次迭代的时候，传动装置就会从下一个位置继续开始匹配，这将会把注释当成其他内容匹配而保留下来。

([^/'"]++|(["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+

然而当匹配完字符串后，接下来很可能又是其他字符，所以可以在其后添加匹配其他字符的表达式: [^'/"]+，因为也可能后面存在的是注释，如

String test = "test"/*middle comments*/;

所以我们应该使用星号量词: [^'/"]*
得到最后的表达式
([^/'"]++|(["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2[^/'"]*+)|/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+

可能还会考虑到优化

可以把其他字符当作普通字符，注释和字符串当作特殊字符

normal: [^/'"]
special: (?:((["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|(?:/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+))

注释非捕获，其他和字符串捕获，得到:

regex: ([^/'"]*+)(?:(?:((["'])(?:(?!\3)[^\n\\])*+(?:\\.(?:(?!\3)[^\n\\])*+)*+\3)|(?:/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+))([^/'"]*+))*+
replacement: $1$2$4

但实际上这是不正确的，$2和$4捕获的文本存在于量词限定之中，其捕获的文本时刻在发生改变，每次都为最后一次应用匹配到的文本。

4. 匹配程序中的字符串

程序中的字符串分两种，单引号字符串和双引号字符串

匹配双引号字符串: "(?:[^\\"\n]|\\.)*+"
匹配单引号字符串: '(?:[^\\'\n]|\\.)*+'

消除循环

"[^\\"\n]*+(?:\\.[^\\"\n]*+)*+"
'[^\\'\n]*+(?:\\.[^\\'\n]*+)*+'

可以用一个正则表达式来匹配单引号字符串和双引号字符串
(["'])(?:(?!\1)[^\n\\]|\\.)*+\1
经测试合并后的表达式相比于多选分支具有更高的效率
消除循环
(["'])(?:(?!\1)[^\n\\])*+(?:\\.(?:(?!\1)[^\n\\])*+)*+\1

3. 单纯匹配程序多行注释

special部分匹配的内容是normal不能匹配的疑似结束tag的内容，但是special又不会匹配掉结束tag，所以这里可以把诺干个****...[^/*]当作special，****.../当作结束tag，之所以不能把*[^/]当作special，*/当作结束tag，是因为如果结束是**/，这样的字符，会造成special匹配**，/被normal部分匹配掉.

不使用忽略优先量词与环视

opening: /\*
normal: [^*]
special: \*+[^*/]
closing: \*+/
regex1: /\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/
opening: /\*
normal*: [^*]*\*+
special: [^*/]
closing: /
regex2: /\*[^*]*+\*++(?:[^/*][^*]*+\*++)*+/

regex3: /\*(?:(?!\*/)[\s\S])*+\*/
regex4: /\*[\s\S]*?\*/

在java中的效率比较
1, 2 > 4 > 3

2. 匹配CVS文件的内容

匹配hsdh,"gsg ""gsasg""ga",,gs,"",asghs
得到 hsdh，"gsg ""gsasg""ga"，，gs，""，asghs

regex1: (?:(?<=,)|^)(?:[^\n,]*+|"(?:[^\n"]|"")*+")
regex2: (?:(?<=,)|^)(?:[^\n,]*+|"[^\n"]*+(?:""[^\n"]*+)*+")

1. 为数值添加逗号

问题：

将类似298444215替换成298,444,215

解决办法：

前面要存在数字——使用(?<=\d)
后面要存在数字且是3的整倍数——(?=(?:\d\d\d)+$)

regex: (?<=\d)(?=(?:\d{3})++$)
replacement: ,