python爬虫实战-网易BUFF CSGO饰品

python爬虫实战-网易BUFF CSGO饰品

寒假迷上了csgo，一方面对这个纯粹的枪战游戏着迷，另一方面对精美的饰品着迷。众所周知，csgo是个理财游戏饰品游戏，能够掌握到喜欢饰品的价格就可以得到炼金收益，掌握其动态变化可以当倒爷（不提倡）。

本文是本人首个爬虫项目的实战，适合大家练手。疫情期间受到博主puppylpg的启发，自己也边学边做摸石头过河。话不多说先上效果图

Request库介绍

你浏览到的网页都有对应的源代码，具体查看方式是利用有Chrome核的浏览器右键然后查看源代码，而request库的作用就是获取其页面的源代码。

request库的调用import requests
一个请求指令需要包含：
response = requests.get(url, headers, cookies)
其中url是请求路径，headers是请求头，cookies是请求身份文件。
通常在登录后你的cookies跟headers就确定了。

获取header，cookies

首先需要登陆buff，登陆过后右键页面点检查，刷新可以查看你本机的header核cookies

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',
    }
    # cookie
    cookie_str = r'Device-Id=xLoPYA08mzx1RcfxWgJ7; Locale-Supported=zh-Hans; game=csgo; _ga=GA1.2.308981242.1590934310; _gid=GA1.2.1199922105.1591931691; NTES_YD_SESS=ibf9I12bOgxvKCyxN2P3JoQtaAcvZGsJXKGNOEdpOTkD5CnFOwbg6tpHCs4mpmrOfn3nyBCzmupp1Xja1RhK1BkZRbFbI.5zzW.kjFHpMfDXjiFRh0664TPZynx.teVt43efjkfBDzsGdK9WE4cCONux_NiUXwAJYKH67Ni5EPG2ypuWiHwHwY1dCFUEWQ4lR2U42gbXpQscfik7gAAdLCxxA8gg1V8aOxu71AI_usoRq; S_INFO=1591931716|0|3&80##|18588891371; P_INFO=18588891371|1591931716|1|netease_buff|00&99|null&null&null#CN&null#10#0|&0|null|18588891371; session=1-XJCjTQFMSIgRQUkgJTN9xoP1nvWaLC0KpoJ8E9M-A5N62043038656; _gat_gtag_UA_109989484_1=1; csrf_token=IjQxZTQ3MTFhZmE5M2QwMzU1MWFkYmViN2IzYTQwMjExODA4NzY3ZjUi.EcSFQg.StET4McSLh1iM2IH1Gkjpq2Pwe0'
    cookies = {}
    for line in cookie_str.split(';'):
        key, value = line.split('=', 1)
        cookies[key] = value

具体的更多request库的应用请

分析API

进入buff的csgo饰品专栏(https://buff.163.com/market/?game=csgo#tab=selling&page_num=1)后可以看见

这就说明，我们只需找到这全部目录下的该武器种类的全部饰品皮肤对应的id，逐个请求就可以找到相应饰品的信息。
随便点开一个款武器种类（以ak47为例）检查其源代码，检查请求的内容。发现
这个.json文件中大有乾坤

 "items": [
      {
        "appid": 730, 
        "bookmarked": false, 
        "buy_max_price": "193", 
        "buy_num": 22, 
        "description": null, 
        "game": "csgo", 
        "goods_info": {
          "icon_url": "https://g.fp.ps.netease.com/market/file/5aa0c2f769b21ae0f25da300W8ER6ycS", 
          "info": {
            "tags": {
              "exterior": {
                "category": "exterior", 
                "internal_name": "wearcategory2", 
                "localized_name": "\u4e45\u7ecf\u6c99\u573a"
              }, 
              "quality": {
                "category": "quality", 
                "internal_name": "strange", 
                "localized_name": "StatTrak\u2122"
              }, 
              "rarity": {
                "category": "rarity", 
                "internal_name": "legendary_weapon", 
                "localized_name": "\u4fdd\u5bc6"
              }, 
              "type": {
                "category": "type", 
                "internal_name": "csgo_type_rifle", 
                "localized_name": "\u6b65\u67aa"
              }, 
              "weapon": {
                "category": "weapon", 
                "internal_name": "weapon_ak47", 
                "localized_name": "AK-47"
              }
            }
          }, 
          "item_id": null, 
          "original_icon_url": "https://g.fp.ps.netease.com/market/file/5a7abfa516b6d4ab48222b6f9v9qaRgs", 
          "steam_price": "43.1", 
          "steam_price_cny": "304.51"
        }, 
        "has_buff_price_history": true, 
        "id": 38220, 
        "market_hash_name": "StatTrak\u2122 AK-47 | Redline (Field-Tested)", 
        "market_min_price": "0", 
        "name": "AK-47\uff08StatTrak\u2122\uff09 | \u7ea2\u7ebf (\u4e45\u7ecf\u6c99\u573a)", 
        "quick_price": "197.4", 
        "sell_min_price": "197.9", 
        "sell_num": 1539, 
        "sell_reference_price": "197.9", 
        "steam_market_url": "https://steamcommunity.com/market/listings/730/StatTrak%E2%84%A2%20AK-47%20%7C%20Redline%20%28Field-Tested%29", 
        "transacted_num": 0
      }, 

它包含了武器id，英文名，最低售价，最高售价等关键信息。所以这个请求url就是我们需要的APIhttps://buff.163.com/api/market/goods?game=csgo&page_num=1&category=weapon_ak47&_=1591941311097
最后面的数字是相对时间，可以去除。所以到了这一步，我们需要先找到所有类别的标签Category整理成list，逐一请求即可。
https://buff.163.com/api/market/goods?game=csgo&page_num=1&category=+categorylist[i]

获取Category_list

进入Buff中CSGO饰品市场首页https://buff.163.com/market/?game=csgo#tab=selling&page_num=1，查看源代码
观察到目录的形式是以

FN57形式呈现。
故直接请求该页面，利用正则匹配表达式（re库）提取引号内的内容。

source_page_url = "https://buff.163.com/market/?game=csgo#tab=selling&page_num=1"
cat_response = requests.get(url=source_page_url, headers=headers, cookies=cookies)
html_text0 = cat_response.text
# 找出各个武器种类
category_list = re.findall( r'li value="weapon_(.+?)">', html_text0, re.M)
for i in range(len(category_list)):
    category_list[i] = "weapon_" + category_list[i]

分析页面

利用正则匹配，将物品的id，名字，价格一一归类。
需要注意的是一个api中page_num=1，需要获取总页码数量，并切换继续爬取信息。

for i in range(len(category_list)):
    # 获取不同物件名称
    # 标准url：https://buff.163.com/api/market/goods?game=csgo&page_num=1&category=weapon_knife_butterfly
    category_url = "&category=" + category_list[i]
    first_url = 'https://buff.163.com/api/market/goods?game=csgo&page_num=1' + category_url
    # 获取单一物件的总页码
    page_response = requests.get(url=first_url, headers=headers, cookies=cookies)
    html_text1 = page_response.text
    page_num_list = re.findall(r'"total_page": (.*)', html_text1, re.M)
    page_num = page_num_list[0]

# 获取名字和价格
names_list_temp = re.findall(r'"market_hash_name": "(.*)",', html_text2, re.M)
price_list_temp = re.findall(r'"sell_min_price": "(.*)",', html_text2, re.M)
id_list_temp = re.findall(r'"id": (.*),', html_text2, re.M)

注意用try语句记录爬取出错的数据节点，否则一出异常的话前面爬下来的信息可能都会丢失。
将数据保存成csv文件，方便后续访问。

# 汇合信息写成表格并保存
csv_name = ["id","name","price"]
csv_data = zip(id_list,names_list,price_list)
items_information = pd.DataFrame(columns=csv_name, data=csv_data)
items_information.to_csv("items_information.csv")

得到如此数据

饰品武器箱

了解到饰品来源武器箱可以更直观地为后面炼金的成本以及收益铺垫。
下面只爬取崭新出厂以及无计数器的武器饰品。
先从上面的csv文件中，将Factory New的武器筛选出来，有了他们的id就能够前往具体的页面。
以崭新黑色魅影AWP为例https://buff.163.com/market/goods?goods_id=763243&from=market#tab=selling，其源代码中第一行就包含了该武器的全部信息。

<html> <head><title>AWP | 黑色魅影 (崭新出厂)_CS:GO饰品交易_网易BUFF</title><meta content="text/html; charset=utf-8" http-equiv="Content-Type"><meta name="csrf_token" content="IjQxZTQ3MTFhZmE5M2QwMzU1MWFkYmViN2IzYTQwMjExODA4NzY3ZjUi.EcS1EA.Mv46cvhCLjco-Kj0f5ITOI3g3Pk"><meta name="keywords" content="AWP | 黑色魅影 (崭新出厂),崭新出厂,普通,AWP,狙击步枪,隐秘,步枪,AWP,头号特训收藏品,黑,大姐姐,黑色魅影,“头号特训”武器箱,csgo饰品交易,csgo皮肤交易,csgo国服饰品交易,csgo低价饰品,csgo饰品商城,饰品磨损排名查询,csgo饰品检视"><meta name="description" content="网易BUFF游戏饰品皮肤交易平台，专注更安全，更便捷，更高效的CS:GO饰品皮肤交易服务- AWP | 黑色魅影 (崭新出厂),崭新出厂,普通,AWP,狙击步枪,隐秘,步枪,AWP,头号特训收藏品,黑,大姐姐,黑色魅影,“头号特训”武器箱。">

同样的利用正则匹配，将他们分类，是保密还是隐秘，出自哪个武器箱都分类好。

 items_type = ["消费", "工业", "军规", "受限", "保密", "隐秘"]

# 找出各个武器的中文名字
chinese_list = re.findall(r'