webmagic抓取需要登录页面的内容，Site中addCookie

2019独角兽企业重金招聘Python工程师标准>>>

1 先自己登录，然后在浏览器查看有关于这个网站的cookie,确定是那几个cookie对登录有作用，比较麻烦的是一定得一个一个的确认，手动删除试验这个cookie是否对登录有作用，还好我这个只有三个。

查看浏览器的cookie,取图中的三个值：

private  Site site = Site.me()
            .setRetryTimes(3)
            .setSleepTime(2000)
            .setTimeOut(60000)
            .setCharset("utf-8")
            .addCookie("域","名称", "内容")
            .addCookie("域","名称", "内容")；

这样设置后就可以取到登录才能看到的值。

转载于:https://my.oschina.net/u/1443619/blog/511053