还是不会排版的我。。第二周作业

Paste_Image.png

Paste_Image.png

小猪前三页的抓取。。。最基本的东西全忘了。导致只抓了3行数据经过老师开导自己研究。。发现时懒癌再生直接copy selector了上述是错误的。

Paste_Image.png

当selector如下后就抓取到了好多的网站。

然后就是关于不停测试导致

Paste_Image.png

出现好多重复的情况。如何去重昨天查了一下好像比较简单。但是对于一个比较懒的人。。还是等需要的时候在研究下。。

Paste_Image.png

大致如上。。如何去重

手机号的爬取

Paste_Image.png

Paste_Image.png

这个是手机号的抓取。。然后太懒了。。没写headers。因为觉得单纯加headers代码的健壮性还是不够。之后大作业会有大量数据抓取光是headers应该没什么大用

Paste_Image.png

Paste_Image.png

58同城。。。

Paste_Image.png

先提取所有连接，主要还是观察页面。后面有用，，，

分页具体的信息爬取但是还是无法剔除zhuanzhuan

Paste_Image.png

跳过404页面

Paste_Image.png

主程序有时候导入不进去库不知道为什么。。自己再看看吧
![Uploading Paste_Image_270456.png . . .]

算下数字。。

Paste_Image.png

还不知道能爬多少。等等再试试

Paste_Image.png

赶集大作业。。。
粗略看了下第三周课程。。。真他妈难。。
爬了上海的。。因为想看看是不是自己有用的到的地方。。

Paste_Image.png

代理上面还存在问题可能是代理的IP有问题。暂时无法做到很好的反爬数据爬个几万条就被抓到了。。。下次试试用各种手机端模仿登录再试试。
![Uploading Paste_Image_394864.png . . .]
404抓取。。好怕下次发现不了有什么就不会了。。

![Uploading Paste_Image_465089.png . . .]

不太明白断点续传的问题。。。还是需要重新检测一遍MONGDB里面存不存在再爬还是什么。。多进程。。不敢用不知道自己电脑是啥程度。。
![Uploading Paste_Image_514857.png . . .]

Paste_Image.png

记数字、、

![Uploading Paste_Image_581209.png . . .]