begoo ip 获取client_使用ADSL拨号服务器搭建自己的代理IP

每一个想学习的念头，都有可能是未来的你在向自己求救。

1.写在前面的

本次文章内容需要准备：一台动态 ADSL 拨号服务器，一台普通服务器，一个公网 redis 环境(可以直接部署在前面普通服务器上)。

首先介绍一下 ADSL，ADSL是一种新的数据传输方式。它因为上行和下行带宽不对称，因此称为非对称数字用户线环路。它采用频分复用技术把普通的电话线分成了电话、上行和下行三个相对独立的信道，从而避免了相互之间的干扰。

它有个独有的特点，每拨一次号，就获取一个新的IP。也就是它的IP是不固定的，不过既然是拨号上网嘛，速度也是有保障的，用它搭建一个代理，那既能保证可用，又能自由控制拨号切换(抄自知乎)。

借助 ADSL 拨号服务器特点，我们可以获取一个公网 IP，然后借助第三方工具/软件在服务器上搭建 HTTP 代理就行了。关于搭建 HTTP 代理有很多推荐，比如说 Squid。但是 Squid 这些需要配置信息，对于个人来讲有些麻烦，所以在这篇文章里，我们尝试用 gost 来搭建 HTTP 代理(https://github.com/ginuerzh/gost)。

2.拨号服务器基操

在搭建 HTTP 代理之前，还是先说一下拨号服务器常用操作：

pppoe-start    # 拨号
pppoe-stop     # 断开拨号
pppoe-status   # 拨号连接状态

一般购买拨号服务器之后，使用 ssh 连接上使用pppoe-start命令先进行拨号(不同平台命令可能不一样)，成功后可以尝试使用curl ip.sb查看当前获取的新 IP：

[root@localhost ~]# curl ip.sb  # 检查当前ip
171.41.86.191 
[root@localhost ~]# pppoe-stop  # 停止当前拨号
[root@localhost ~]# pppoe-start # 开始拨号
[root@localhost ~]# curl ip.sb  # 检查当前ip
171.41.85.191 
[root@localhost ~]# 

3.搭建 HTTP 代理

上面提到使用 gost 搭建 HTTP 代理，现从 GITHUB 上下载对应的平台 / 版本的 gost。我这里下载的是：gost-linux-amd64-2.11.1，你们可以根据自己需要下载合适的版本。下载之后解压之后得到一个可执行文件：

[root@localhost ~]# ll
total 31508
-rw-------. 1 root root     1319 Sep 29  2019 anaconda-ks.cfg
-rw-r--r--  1 root root  8784858 Dec 14 11:50 file.zip
-rw-r--r--  1 root root 16830464 May 23  2020 gost-linux-amd64 # 就这个这个
-rw-r--r--  1 root root  6643001 Dec  8 22:46 proxy_client # 等会用
[root@localhost ~]# 

确定当前拨号成功后直接执行：

[root@localhost ~]# mv gost-linux-amd64 gost     # 重命名(可有可无)
[root@localhost ~]# chmod 777 gost               # 修改权限，必须，不然无法执行
[root@localhost ~]# ./gost -L=admin:123456@:8123 # 设置代理认证信息
2020/12/14 13:52:44 route.go:650: auto://:8123 on [::]:8123

这里可以使用 systemctl 给 gost 做个进程守护，在 /etc/systemd/system/ 路径新建文件 gost.service 内容：

[Unit]
Description=Gost Proxy
After=network.target
Wants=network.target

[Service]
Type=simple
ExecStart=/root/gost -L=http://admin:123456@:8123 -L=socks5://admin:123456@:8125 # socks5 根据自己需要设置
Restart=always

[Install]
WantedBy=multi-user.target

之后可以直接使用 systemctl 命令控制 gost ：

systemctl daemon-reload
systemctl enable gost
systemctl restart gost
systemctl status gost

此时测试当前 HTTP 代理是否可用：

┌──(h1code2㉿LAPTOP-IMECGKD2)-[/mnt/c/Users/h1code2]
└─$ curl -x http://admin:[email protected]:8123 http://httpbin.org/ip # 代理测试
{
  "origin": "171.41.85.191"
}

现在代理测试通过，接着我们要做的就是需要实时将服务器最新拨号成功后的 IP 通知到爬虫。在这里我们可以把拨号服务器理解成客户端，正式场景肯定不会只有一台(如图：)，所以我们还需要使用一个服务器端来记录和分配最近可用的代理 IP。

4.客户端 / 服务端实现

为了简化客户端部署，这里使用 go 语言编写客户端代码，并编译成二进制可执行文件，小伙伴们只需要按照自己的需要增加环境变量即可。这里简单讲一下逻辑，客户端会根据配置的接口信息主动连接服务端，在这个过程中会自动上报当前拨号后的 IP 和端口等信息，服务端响应请求后记录 IP 并返回该客户端是否需要切换 IP 的状态。在上面搭建 HTTP 代理的内容里可以看到与 gost 同级下有个文件 proxy_client，这个就是我们的客户端可执行文件。该程序会读取 7 个环境变量分别是：

api_host 	# 服务端接口信息host
api_token 	# 服务端接口验证token 
username 	# 代理验证用户名
password 	# 代理验证密码
http_port 	# http/https代理端口
socks5_port 	# socks5代理端口

根据需要设置环境变量：

export api_host=api.h1code2.cn/api/proxy
export api_token=xfsdfhkjf23rfdwef
export username=admin
export password=123456
export http_port=8123
export socks5_port=8125

之后执行 export 大概是这个样子：

[root@localhost ~]# export
···
declare -x api_host="api.h1code2.cn/api/proxy"
declare -x api_token="xfsdfhkjf23rfdwef"
declare -x http_port="8123"
declare -x password="123456"
declare -x socks5_port="8125"
declare -x username="admin"

在运行 proxy_client 文件之前我们还需要，简单实现一下服务端的逻辑，这里使用 redis 做了定时缓存等操作，具体逻辑可以自己实现，我这里随便敲的代码渣，作参考就好。

import ujson as json
from pydantic import BaseModel
from fastapi import APIRouter, Request
from db.session_v2 import redis

router = APIRouter()

hash_key = "proxy-node:hash"
redis_client = redis()


class Proxy(BaseModel):
    http_port: int
    socks5_port: int
    username: str
    password: str


@router.get("/all_proxy")
def all_proxy():
    """
    获取当前所有代理信息
    :return:
    """
    data = {}
    nodes = redis_client.hgetall(hash_key)
    if not nodes:
        return {"message": "success", "code": 200, "data": data}
    for key, value in nodes.items():
        data[key] = json.loads(value)
    return {"message": "success", "code": 200, "data": data}


@router.post("/proxy/{node}/")
def push_proxy_info(node: str, proxy: Proxy, request: Request):
    """
    代理信息上报接口
    :param node: 客户端节点
    :param proxy: 代理信息
    :param request:
    :return: json 包含代理切换状态
    """
    switch_state = False
    string_key = f"{node}:string"
    if redis_client.get(string_key) is None:  # 过期
        switch_state = True
        redis_client.set(string_key, "1", ex=60)
    if redis_client.get(string_key) == "0":  # 手动切换 / 爬虫程序可控
        redis_client.set(string_key, "1", ex=60)
    client_host = request.client.host  # 当前客户端host:port
    # redis_client.hmset(hash_key, dict(proxy)) # 同时设置多值
    _dict = dict(proxy)
    _dict["host"] = client_host
    redis_client.hset(hash_key, key=node, value=json.dumps(_dict))
    return {"message": "success", "code": 200, "data": {"switch_state": switch_state}}

启动 fastapi 服务：

(proxy-venv) ┌──(h1code2㉿LAPTOP-IMECGKD2)-[/mnt/d/PycharmProjects/proxy-test]
└─$ uvicorn service.run:app
INFO:     Started server process [14291]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
INFO:     171.81.86.81:0 - "POST /api/proxy/node-1/?token=xfsdfhkjf23rfdwef HTTP/1.0" 200 OK
INFO:     171.81.85.51:0 - "POST /api/proxy/node-1/?token=xfsdfhkjf23rfdwef HTTP/1.0" 200 OK
INFO:     171.81.85.51:0 - "POST /api/proxy/node-1/?token=xfsdfhkjf23rfdwef HTTP/1.0" 200 OK

因为我这里代理是运行在本地环境的，使用 frp 做了内网穿透，所以此时 proxy_client 等会通过 api.h1code2.cn/api/proxy/node-1 实际连接的是我们本地的 fastapi 服务，这个并不是必须，你可以直接把 fastapi 接口代码部署公网服务器上。

启动客户端：

[root@localhost ~]# chmod 777 proxy_client # 修改可执行权限
[root@localhost ~]# ./proxy_client 
{node:node-1 HttpPort:8123 Socks5Port:8125 Username:admin Password:123456}
switch connect status false 1607958301
switch connect status false 1607958302
switch connect status false 1607958303

客户端程序启动后，可以查看 redis 中已经记录了拨号代理 IP:

127.0.0.1:6379[14]> hgetall proxy-node:hash
1) "node-1"
2) "{\"http_port\":8123,\"socks5_port\":8125,\"username\":\"admin\",\"password\":\"123456\",\"host\":\"171.81.85.51\"}"
127.0.0.1:6379[14]> 

也可以通过我们自己实现的接口查看：

┌──(h1code2㉿LAPTOP-IMECGKD2)-[/mnt/c/Users/h1code2]
└─$ curl http://api.h1code2.cn/api/all_proxy
{
  "message": "success",
  "code": 200,
  "data": {
    "node-1": {
      "http_port": 8123,
      "socks5_port": 8125,
      "username": "admin",
      "password": "123456",
      "host": "171.81.85.51"
    }
  }
}

测试一下当前代理：

┌──(h1code2㉿LAPTOP-IMECGKD2)-[/mnt/c/Users/h1code2]
└─$ curl -x http://admin:[email protected]:81233 ip.sb
171.81.85.51  

关于 proxy_client 文件我放置在 https://github.com/h1code2/proxy_client ，更多爬虫 / 逆向相关内容可以进球讨论：