第一次用webmagic写爬虫

第一次尝试各种失败,没看懂代码。仔细研读了下,发现有点心得。一定要从网页源码开始,很多流浪器会修饰网页,造成根本找不到页面所需的标签。

对于xpath的使用很是不习惯,特别是xpath.css写的时候要把最后一个元素放在css中

下面记下学习网址:http://webmagic.io/docs/zh/posts/ch4-basic-page-processor/selectable.html

下一步学习的目标:http://www.cnblogs.com/miercler/p/5599465.html

明天没事爬取知乎用户信息并存入到数据库中!!!

你可能感兴趣的:(第一次用webmagic写爬虫)