python一直爬取网易商城(原生)

这是我接的一个单，一天写完。

首先你要知道反爬虫是什么？

打败反爬虫很简单。你要模仿用户。

1.不同的ip（动态ip）

2.随机爬取时间

3.随机的用户请求头(访问网易的设备信息随机改变)

 我的代码如下。

# S=s.decode('UTF8','ignore')
import requests
import sys
import socket
import json
import jsonpath
import time
import pymysql
import random

base_url = 'https://buff.163.com/api/market/goods/sell_order?game=csgo&goods_id='
get_method = '&page_num=1&sort_by=default&mode=&allow_tradable_cooldown=1'

headers_path="C:\\Users\\Administrator\\Desktop\\python爬虫-网易私活\\headers.txt"#请求头路径
pid_path='C:\\Users\\Administrator\\Desktop\\python爬虫-网易私活\\pidFile.txt'  #商品路径


arr_header=list(open(headers_path,"r",encoding='utf-8'))


# 代理服务器
proxyHost = "http-dyn.abuyun.com"
proxyPort = "9020"

proxyUser = "H2F740ZRWZI88B2D"
proxyPass = "FD4A255338ACC7D2"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
      "host" : proxyHost,
      "port" : proxyPort,
      "user" : proxyUse