爬虫游戏第四关

接第三关，来到第四关，地址：http://www.heibanke.com/lesson/crawler_ex03/，长得和前两关差不多，多了一行字：“密码很长, 试是试不出来的, 需要找出来的哦”，暗示我们不可以通过循环来猜解，F12看了下源代码，和前两关长一样，没什么头绪，随便填了个账号密码，提示错误，但是也提示一个新链接可以找到密码，点击进去，页面长这样：

image.png

这哪是慢半拍啊，这是慢了N拍。。
看页面信息，左边是密码位置，右边是密码的值，顾名思义，这应该是一串超长的密码，根据位置打乱了顺序，我们要做的就是把他按照位置顺序拼起来（顾名思义个屁，我花了半小时才看懂是这个套路）。点击第二页地址变成这样： http://www.heibanke.com/lesson/crawler_ex03/pw_list/?page=2，现在就很明显了，总共13页，循环请求到数据然后根据位置排序就可以得到密码了。核心代码：

for i in list(range(1, 14)):
        result = get_page(url + str(i), data)
        soup = BeautifulSoup(result, "html.parser")
        trs = soup.find_all('tr')
        for tr in trs:
            position = tr.find_all('td')[0].text
            pwd = tr.find_all('td')[1].text
            if is_number(pwd):
                passwordList[int(position)] = int(pwd)
    print('密码长度：%d' % len(passwordList))
# 按照dict的key排序
print('完整密码',passwordList)
print('长度',len(passwordList))
passwordSortedList = sorted(passwordList.keys())
print('key排序后',passwordSortedList)
# 组合密码
passwordResult = ''
for key in passwordSortedList:
    passwordResult += str(passwordList[key])
print('组合密码后结果', passwordResult)

得到密码：4611369344132640696702831525331901157436394969113095791722511569，去http://www.heibanke.com/lesson/crawler_ex03/登录，报错。。。。
检查代码，没发现什么问题，继续测试，发现密码变了，而且密码位数也变了，有时候是64位，有时候是65位，再仔细检查密码列表页面，注意到左侧的密码位置是随机的，跳到最后一页（ http://www.heibanke.com/lesson/crawler_ex03/pw_list/?page=13）发现密码列表只有4条（其他页面有8条），所以密码总共条数有8*12+4=100,但是我们得到的结果只有大概65位左右，说明这100条数据里面有重复的，再根据密码位置是随机的这一条件猜测，是不是我们应该重复请求这13页数据直到凑够100位密码呢（这个猜测过程花了我一个多小时，打几个字才几分钟而已）？来试试，修改代码如下：

from urllib import request
from urllib import parse
from bs4 import BeautifulSoup

def get_page(url, params):
    print('get url %s' % url)
    data = parse.urlencode(params).encode('utf-8')
    header = {
        'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                    r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
        'Connection': 'keep-alive',
        'Cookie':r'Hm_lvt_74e694103cf02b31b28db0a346da0b6b=1514366315; csrftoken=1yFgXVZtw2rACmTYDGABYKs9VWLWqbeH; sessionid=m4paft1uuvhm3thrwvdgwut2rvu8uz8d; Hm_lpvt_74e694103cf02b31b28db0a346da0b6b=1514428404',
        'Refer':'http://www.heibanke.com/lesson/crawler_ex02/'
    }
    req  = request.Request(url, data, headers=header)
    page = request.urlopen(req).read()
    page = page.decode('utf-8')
    return page

def is_number(s):
    try:
        float(s)
        return True
    except ValueError:
        return False
count = 0
url = "http://www.heibanke.com/lesson/crawler_ex03/pw_list/?page="
token = '1yFgXVZtw2rACmTYDGABYKs9VWLWqbeH'
username = 'pkxutao'
# 构造post参数
data = {
    'csrfmiddlewaretoken': token,
    'username': 'pkxutao',
    'password': -1
}
passwordList = {}
while len(passwordList) < 100:
    for i in list(range(1, 14)):
        result = get_page(url + str(i), data)
        soup = BeautifulSoup(result, "html.parser")
        trs = soup.find_all('tr')
        for tr in trs:
            position = tr.find_all('td')[0].text
            pwd = tr.find_all('td')[1].text
            if is_number(pwd):
                passwordList[int(position)] = int(pwd)
            if len(passwordList) == 100:
                break
        if len(passwordList) == 100:
                break
    print('密码长度：%d' % len(passwordList))
    if len(passwordList) < 100:
        print('不够100,继续循环')
        
# 按照dict的key排序
print('完整密码',passwordList)
print('长度',len(passwordList))
passwordSortedList = sorted(passwordList.keys())
print('key排序后',passwordSortedList)
# 组合密码
passwordResult = ''
for key in passwordSortedList:
    passwordResult += str(passwordList[key])
print('组合密码后结果', passwordResult)

最后得到组合密码：4877661813696344916326470648993670283105253381901613579433963964296911309656791722213725864815153639，去页面上试试，bingo!

总结

这一关卡在了两个地方，第一个地方就是没意识到密码列表里面左边一列“密码位置”的意思，这里不应该卡的，然而我花了半小时才懂这个套路，第二个就是卡在了密码位数，得到65位的密码后其实应该能想到再去循环直到获取到100位密码的，但当时没往这个方向想，第一想到的可能是不是作者在后台生成了一套密码规则，每个用户不同时间得到的密码都是不一样的，当时只要满足这个规则就能过关，但是这样就解释不通怎么去匹配时间，毕竟我返回到输入密码的地方后就和之前获取到的密码列表没任何关系了（除非后台有记住当前用户访问的密码列表，但没必要做这么复杂），最后才想到要循环获取直到凑过100位，还是经验问题，套路中的多，经验也就上来了吧