nginx 在server_name中禁止以特定ip访问

由于有多个公网ip绑定的nginx服务器，现在想实现部分ip不能直接访问站点，只能通过域名访问，但是其他ip又要可以直接能访问，nginx 在server_name中配置正则。
例如：
server_name *.domain.com ~^(?!(123.123.123.123|111.111.111.111))([0-9]+)\.([0-9]+)\.([0-9]+)\.([0-9]+)$;