java爬虫的坑

-登录页面所有的空都要填上属性，登录页面所有的空都要填上属性，登录页面所有的空都要填上属性。

比如用户名，密码，是否记住密码三个需要填写的，若不将“是否记住密码”这个弄成false或者true，我的程序显示status500,找了一下午都没找到原因。微笑中透露着妈卖批。

-要获取数据不一定非得用parser等函数去解析网页本身，用response类型返回的结果，会有意想不到的效果。jsoup固然强大，类似jquery选择器的select固然可以反复选择直到选到想要的元素，但是，麻烦麻烦麻烦啊！

--------------------------------------------更新线------------------------------------------------

-post密码的时候要注意是否经过js加密处理，若已经加密处理，去想获得的页面F12下面查看form-data下传过来的正确的密码。

-form-data的内容一定要带全，否则就会出错，错误可能为status500.jsoup可以直接.data("key","value")。

-json格式储存在mysql中要用转义字符，可以弄一个函数来特殊处理json串

-code200只能说明服务器正确处理了你的请求，并不一定就是你预想的结果。

-GET和POST方法选错会导致错误status500，比如正确请求是POST，你却在浏览器中直接输入了URL（用抓包工具分析，确实是GET），就会返回status500.