同花顺爬虫（js逆向之数组混淆）

## ：同花顺爬虫（js逆向之数组混淆）

这个站点主要是js混淆中的数组混淆，不难，何况这个站点的接口有一个bug，不需要生成有次数限制的hexin-v,只需要几个字母就能一直get到数据，若不是强迫症，我也不想逆向这段代码，只是为了证明自己在进步吧。

抓取前20页：

# -*- coding: utf-8 -*-
"""
# @Time         : 2021/7/10 20:35
# @Author       : ChenLvLei
# @Email        : [email protected]
# @FileName     : test
# @Description  :
"""
import copy
import execjs
import pandas as pd
import requests
from parsel import Selector
from tqdm import tqdm

ctx = execjs.compile(open('./test.js', encoding='utf-8').read())


def return_keys():
    return ctx.call('getkeys')


data_Dic = {}
df_list = []
for page in tqdm(range(1, 21)):
    key=return_keys()
    print(key)
    headers = {
        'hexin-v': "{}".format(key),
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
    }
    url = f'http://q.10jqka.com.cn/usa/detailDefer/board/all/field/zdf/order/desc/page/{page}/ajax/1/'
    response = requests.request('Get', url, headers=headers)
    response.encoding = response.apparent_encoding
    trs = Selector(response.text).xpath(
        '//table[@class="m-table m-pager-table"]/tbody//tr')

    for tr in trs:
        data_dic = copy.deepcopy(data_Dic)
        data_dic.update({'序号': tr.xpath('./td[1]/text()').get()})
        data_dic.update({'代码': tr.xpath('./td[2]/a/text()').get()})
        data_dic.update({'名称': tr.xpath('./td[3]/a/text()').get()})
        data_dic.update({'现价': tr.xpath('./td[4]/text()').get()})
        data_dic.update({'涨跌幅(%)': tr.xpath('./td[5]/text()').get()})
        data_dic.update({'涨跌': tr.xpath('./td[6]/text()').get()})
        data_dic.update({'换手(%)': tr.xpath('./td[7]/text()').get()})
        data_dic.update({'成交量': tr.xpath('./td[8]/text()').get()})
        data_dic.update({'市盈率(%)': tr.xpath('./td[9]/text()').get()})
        data_dic.update({'成交额': tr.xpath('./td[10]/text()').get()})
        data_dic.update({'52周最高': tr.xpath('./td[11]/text()').get()})
        data_dic.update({'52周最低': tr.xpath('./td[12]/text()').get()})
        df_list.append(data_dic)
        del data_dic
df=pd.DataFrame(df_list)
print(df)
df.to_excel('./同花顺JS篇.xlsx', index=False)

结果：



总结：不知道是不是我是专业找bug的，好几个站点我都找到不需要是参数就可以得到数据。
ps:js代码我就不放了，有需要可联系。