Openresty资料之正则表达式

Openresty在表ngx.re里提供六个正则表达式相关函数，它们的底层实现是PCRE 库，速度极快，完全可以代替Lua标准库的宇符串匹配函数。

match：单次正则匹配，同时也会捕获子表达式
gmatch：多次正则匹配（以法代器的方式）
find：同match，但返回的是查找到的位置索引
sub：正则替换
gsub：多次正则替换
split：正则切分

◆ 配置指令：

OpenResty提供两个指令用于优化正则表达式的性能。

1.lua_regex_cache_max_entries num

OpenResty会把程序里出现的正则表达式编译后缓存备用（使用“o”选项），这个指令确定了能够缓存的最多数量， 默认是1024 个。如果我们的程序里大量使用了正则表达式，那么就应该在配置文件里用它增大可缓存的数量。

2.lua_regex_match_limit num

设置正则表达式匹配时回溯（ backtraking ）的最大次数，可以把它设置的小一些以提高运行效率。参数num的默认值是0 ，表示OpenResty将使用PCRE的默认值10000000（一千万）。

◆ 匹配选项：

OpenResty的正则表达式函数都有一个名为options的参数，它是一个字符串，用来定制匹配行为：

a：“锚定”模式，仅从最开始的位置匹配
d：启用DFA模式，确保匹配最长的可能字符串
D：允许重复的命名捕获（ duplicate named pattern)
i：忽略大小写，即大小写不敏感
j：启用PCRE-JIT编译，通常与“o”联用
J：兼容JavaScript 的正则表达式语法
m：多行模式
o：正则表达式仅编译一次（ compile once），随后缓存
s：单行模式
u：支持UTF-8编码
u：同“u”，但不验证UTF-8编码的正确性
x：启用“扩展”模式，类似Perl的“/x ”

这些参数字符可以联合使用，同时指定多个功能

ngx.re.match(str,[[\w+z]],'ijo'）-- 忽略大小写，编译并缓存

实际开发中最常用的参数是“jo”或“ijo”，启用PCRE JIT编译和缓存，加快正则表达式的处理速度。不过对于正则替换（ sub 和gsub ）最好不要使用“o”选项，因为替换操作的正则表达式是动态产生的，随时变化，缓存没有意义而且会很快达到lua_regex_cache_max_entries的上限。

◆ ngx.re.match

可以进行单次正则匹配：

captures , err= ngx.re.match (subject , regex , options, ctx, res)

函数在字符串subject里使用正则表达式regex查找“第一个”匹配，结果保存在表captures里，captures[0]是匹配的整个字符串， captures[n]是匹配的子表达式。如果未找到匹配或者出错，那么captures就是nil，err 是错误信息。

参数subject和regex是必须的，而后三个options、ctx和res_table都可以省略：

options：设置正则匹配的模式
cts：一个表，目前仅用ctx.pos设置匹配的起始位置，并存储匹配后的位置
res：存储所有匹配的结果，相当于返回值captures，有利于重用内存。

示例：

local str = "abcd-123-456"
local m = ngx.re.match(str,"(.*)123(.*)","jo")
ngx.print(m[2])  -- 输出-456

local ctx = (pos = 7)  -- 设置查找从位置7开始
local m = ngx.re.match(str,"[0-9]",cts)  -- 查找一个数字，传入ctx 参数
assert(m[0]=="2" and ctx.pos == 8)   -- 匹配成功，匹配后的位置是8

local tab_clear = require "table.clear"  -- 使用LuaJIT的table.clear 函数
tab_clear(m)  -- 优化内存使用，重用表m，之前需要先清空
ctx.pos = 1 -- 查找改从位置1 开始，即从头查找
ngx.re.match(str, "(.*)-(.*)$",ctx,m)  -- 结果存放在参数m里，不使用返回值
assert(m and m[2] =="123")  -- 匹配成功，结果与返回值用法相同

◆ ngx.re.gmatch：

可以进行多次正则匹配

iterator, err= ngx.re.gmatch( subject , regex , options)

它返回的是一个迭代器，用户可以反复执行这个法代器，查找出字符串里所有可能的匹配结果。如果没有匹配，那么法代器就是nil 。

local str = "127.0.0.1,123,456,789 "

-- 多次匹配返回迭代器
local iter,err = ngx.re.gmatch(str,[[([0-9\.]+),?]],"ijo")

if not iter then
	return
end

while true do
	local m,err = iter()
	if not m or err then
		break
	end
	print("get:",m[1])
end

◆ ngx.re.find：

正则查找函数ngx.re.find的功能与ngx.re.match基本相同

from, to, err= ngx.re.find(subject, regex, options, ctx, nth)

返回的匹配是两个位置索引，因为不生成结果表所以比ngx.re.match的成本要低，在仅判断是否存在子串的时候更加合适。

-- 检查是否找到
local str = "abcd-123"
local found = ngx.re.find(str,"123","jo")
assert(found)

-- 使用返回的索引位置取子串
local str = "abcd-123"
local from, to = ngx.re.find(str,[[\d+]],"jo")
assert(string.sub(str,from) == "123")

参数nth会令函数返回第nth个子表达式的位置（注意不是第nth个匹配）

-- 返回第二个子表达式
local str = "abcd-123"
local from, to = ngx.re.find(str,[[(\d)(\d+)]],"",nil,2)
assert(string.sub(str,from)=="23")

◆ ngx.re.sub：

可以进行单次正则替换

newstr, n, err= ngx.re.sub(subject ,regex, replace, options)

函数在subject里查找匹配regex的第一个字符串，然后把它替换成参数replace。因为在Lua 里字符串是不可修改的，所以它返回替换后的新字符串newstr和成功替换的次数n。ngx.re.sub只执行一次替换，所以n通常总是1。

参数replace可以是单纯的字符串，也可以是含有前向捕获的正则表达式，$0表示匹配的整个字符串，$1表示第一个子表达式。

local str = "abcd-123"
str  = ngx.re.sub(str,"ab","cd")
assert(str == "cdcd-123")

str = ngx.re.sub([[(\w+)-(\d+)]],"($1)($2)($1)")  -- 结果是“（cdcd)(123)(cdcd)”

注：如果要替换的字符串里需要使用“$飞那么可以用“$$”来表示：

replace 还可以是一个函数，函数的入口参数是匹配表（相当于ngx.re.rnatch的结果），这样就可以在函数里做更复杂的替换操作

local func = function(m)
	return "***"..m[0].."***"
end

str = ($)(123)(cdcd)
str = ngx.re.sub(str, [[\d+]],func)    -- 结果是 ($)(***123***)(cdcd)

◆ ngx.re.gsub：

可以进行多次正则替换

newstr, n, err = ngx.re.gsub(subject, regex, replace, options)

它的参数和返回值的含义与ngx.re.sub完全相同，唯一的区别是会对subject里所有匹配regex的字符串执行替换操作。

local str = "abcd-123"
str = ngx.re.gsub(str,"[a-z]{2}","xyz")  -- 结果是xyzxyz-123

-- 多次正则替换，直接写替换函数
str = ngx.re.gsub(str,[[\w+]],
	function(m) return "("..m[0]..")" end)  -- 结果(xyzxyz)-(123)

◆ 切分：

正则切分函数split是lua-resty-core 库的一部分，能够非常轻松地切分字符串，但它不内置在ngx.re表内，必须显式加载ngx.re模块才能使用，形式是：

local ngx_re_split = reqire("ngx.re").split  -- 显式加载ngx.re模块
res, err = ngx_re_split(subject , regex, options , ctx , max, res)

函数以regex作为“分隔符”，将subject 切分成若干个小字符串，放置在数组res里

local str = "a,b,c,d"
local res = ngx_re_split(str,",")

split 还有四个额外参数，其中的options，ctx，res的含义同ngx.re.match ，而
参数max 会要求函数切分出最多max个结果，即执行max-1次的匹配动作，在己知可能的字串数量的时候可以提前结束匹配，提高效率

local str = "a,b,c,d"
local res = ngx_re_split(str,",",nil,nil,2)  -- 切分的结果是['a','b,c,d']