初学爬虫,今天根据慕课网教程敲了一个demo,爬取百度百科1000个页面。代码已上传到github
https://github.com/sunrungeng/crawl-baike-python-demo
需要的可以参考一下。
另外记一下遇到的一个小问题,在写解析器的时候没有注意到
from bs4 import BeautifulSoup
与
from BeautifulSoup import BeautifulSoup
的区别,自己捋了一遍,才发现是这个地方出的错。百度了一下,原来是改名了。。