前言
最近组内同事在开发需求时，需要获取一个第三方线上的所有车型，但是他们的线上服务对我们的线上服务器做了白名单。
同事的做法是，单独拉一个分支，在预发暴露一个http接口，用于触发这个掉接口拖库的行为，然后保存到我们的数据库。
我觉得这样的做法一点也不工程师，会在应用内冗余很多一次性代码，而且也没必要上到预发去做这事。
我的第一个思路，在预发服务器通过nginx开代理服务器，本地电脑连这个代理调用不就得了，后来因为跟运维部门沟通不顺利作罢。
因为我也做过网关的白名单插件，因此我尝试性的给本地的请求加了几个头。
@Headers({
"X-Real-ip:xxxx",
"x-forwarded-for:xxxx",
"x-remote-IP:xxxx",
})
嗯，果不其然，成功了。
本文会分享获取ip的一些小知识，以及为何我加的头能破解ip白名单和如何防范ip白名单被破解。
常用部署架构
一般的部署结构就是，一个nginx后面反向代理多个服务器。
IP获取原理
- 从应用层获取(L7)
对于http来讲，就是从header中获取。
- 从tcp层获取(L4)
tcp层的话就是从tcp报文中获取了，其实就是通过socket api获取。
tomcat
经过研究tomcat，支持从L4和L7获取ip。
具体代码见org.apache.catalina.connector.Request#getRemoteAddr
public String getRemoteAddr() {
if (remoteAddr == null) {
coyoteRequest.action(ActionCode.REQ_HOST_ADDR_ATTRIBUTE, coyoteRequest);
remoteAddr = coyoteRequest.remoteAddr().toString();
}
return remoteAddr;
}
coyoteRequest.action(ActionCode.REQ_HOST_ADDR_ATTRIBUTE, coyoteRequest); 用来做缓存优化，只有get具体某个值的时候，才去做对应操作获取。
对于ActionCode.REQ_HOST_ADDR_ATTRIBUTE的处理逻辑如下
见org.apache.coyote.AbstractProcessor#action
case REQ_HOST_ADDR_ATTRIBUTE: {
if (getPopulateRequestAttributesFromSocket() && socketWrapper != null) {
request.remoteAddr().setString(socketWrapper.getRemoteAddr());
}
break;
}
很明显能感知到调用的是socket api了吧。
最终调用一下方法
org.apache.tomcat.util.net.NioEndpoint.NioSocketWrapper#populateRemoteAddr
protected void populateRemoteAddr() {
SocketChannel sc = getSocket().getIOChannel();
if (sc != null) {
InetAddress inetAddr = sc.socket().getInetAddress();
if (inetAddr != null) {
remoteAddr = inetAddr.getHostAddress();
}
}
}
至于L7，代码逻辑是找到了，在org.apache.catalina.valves.RemoteIpValve，主要通过x-forwarded-for来兜底，但是SpringBoot下默认没走这套逻辑，不深入研究了。
需要注意的是，对于以上的部署结构，我们从remoteAddr获取到的是nginx的ip，所以肯定是无效的。
所以tomcat这边的ip肯定在上游通过header传下来的。
nginx
第一个知识点，在nginx中通过$remote_addr内置变量获取tcp层的客户端ip，这是我们需要的ip。
就像这样
proxy_set_header X-real-ip $remote_addr;
第二个知识点，针对多层代理的情况，可以在每一层的nginx设置$proxy_add_x_forwarded_for
就像这样
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
它会吧每一层的ip叠加起来。
比如1.0.0.0访问2.0.0.0，然后2.0.0.0访问3.0.0.0。最终我在3.0.0.0看到的X-Forwarded-For
为1.0.0.0,``2.0.0.0。
如果上一层的http请求没有X-Forwarded-For头，默认取$remote_addr的值。
测试代码
java
默认端口8080
@GetMapping("/hello")
public String hello(HttpServletRequest request){
System.out.println(request.getRemoteAddr());
System.out.println(request.getHeader("X-Forwarded-For"));
System.out.println(request.getHeader("X-real-ip"));
System.out.println(request.getHeader("Host"));
return "hello";
}
nginx
关于nginx使用，参考http://openresty.org/en/
nginx分为2种情况，单层和多层。
下面的是多层的配置，因为我使用最近的一层，就能模拟单层的场景了。
worker_processes 1;
error_log logs/error.log;
events {
worker_connections 1024;
}
http {
server {
listen 8081;
location / {
proxy_set_header Host $host;
proxy_set_header X-real-ip $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://localhost:8080;
}
}
server {
listen 8082;
location / {
proxy_set_header Host $host;
proxy_set_header X-real-ip $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://localhost:8081;
}
}
server {
listen 8083;
location / {
proxy_set_header Host $host;
proxy_set_header X-real-ip $remote_addr;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_pass http://localhost:8082;
}
}
}
保证你的手机和电脑在一个网络，然后通过ifconfig en0 获取你的电脑网卡地址，比如我电脑地址为192.168.3.2，我的手机地址为192.168.3.23
通过手机访问以下地址
http://192.168.3.2:8080/hello
http://192.168.3.2:8081/hello
http://192.168.3.2:8082/hello
http://192.168.3.2:8083/hello
通过电脑调用以下命令
curl http://localhost:8083/hello -H "Host:192.178.1.1"
curl http://localhost:8083/hello -H "X-Forwarded-For:192.178.1.1"
curl http://localhost:8082/hello -H "X-Forwarded-For:192.178.1.1"
对应输出分别为
#http://192.168.3.2:8080/hello
192.168.3.23
null
null
192.168.3.2:8080
#http://192.168.3.2:8081/hello
127.0.0.1
192.168.3.23
192.168.3.23
192.168.3.2
#http://192.168.3.2:8082/hello
0:0:0:0:0:0:0:1
192.168.3.23, 127.0.0.1
127.0.0.1
192.168.3.2
#http://192.168.3.2:8083/hello
0:0:0:0:0:0:0:1
192.168.3.23, 127.0.0.1
127.0.0.1
192.168.3.2
#curl http://localhost:8083/hello -H "Host:192.178.1.1"
0:0:0:0:0:0:0:1
127.0.0.1, 127.0.0.1, 127.0.0.1
127.0.0.1
192.178.1.1
#curl http://localhost:8083/hello -H "X-Forwarded-For:192.178.1.1"
127.0.0.1
127.0.0.1, 127.0.0.1, 127.0.0.1
127.0.0.1
localhost
#curl http://localhost:8082/hello -H "X-Forwarded-For:192.178.1.1"
127.0.0.1
192.178.1.1, 127.0.0.1, 127.0.0.1
127.0.0.1
localhost
可以发现
- X-Forwarded-For记录的是整条链路请求经过节点的ip地址，并且上一条的header不存在X-Forwarded-For头的情况下，它是取客户端的ip，可以被篡改
- X-real-ip返回的是上一跳的ip地址，无效
- Host默认从访问地址中拿，一层层往下传递，如果客户端有取客户端的，可以被篡改
最佳实践
一般情况下，代理服务器都是一层，所以我们直接用proxy_set_header X-real-ip $remote_addr 即可，或者proxy_set_header X-Forwarded-For $remote_addr;也是一个道理
但是在多代理服务存在的可能性下，首先我们必须使用X-Forwarded-For，其次最外层的nginx服务器需要配置为proxy_set_header X-Forwarded-For $remote_addr;
为何我能绕过白名单
天下代码一大抄。
首先我猜测，对方的对外nginx服务器的配置肯定是
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
其次，针对java代码中获取ip的逻辑
取我自己网关项目ip白名单的逻辑
public static String getRemoteAddr(HttpServletRequest request) {
List headers = Lists.newArrayList("remoteip", "X-Real-IP","X-Forwarded-For");
for (String header : headers) {
String ip = request.getHeader(header);
if (isValid(ip)) {
if (header.equals("X-Forwarded-For")) {
ip = ip.split(",")[0];
}
return ip;
}
}
log.info("未获取到客户端IP");
return Constants.UNKNOWN_IP_ADDRESS;
}
存在取多个header的逻辑，势必可以通过模拟header的方式进行绕过。
参考
https://www.nginx.cn/doc/index.html
https://www.cnblogs.com/lvcisco/p/10309834.html