爬虫功能:
此项目实现将单机的新浪微博爬虫重构成分布式爬虫。
Master机只管任务调度,不管爬数据;Slaver机只管将Request抛给Master机,需要Request的时候再从Master机拿。
环境、架构:
开发语言:Python2.7
开发环境:64位Windows8系统,4G内存,i7-3612QM处理器。
数据库:MongoDB 3.2.0、Redis 3.0.501
(Python编辑器:Pycharm;MongoDB管理工具:MongoBooster;Redis管理工具:RedisStudio)
爬虫框架使用 Scrapy,使用 scrapy_redis 和 Redis 实现分布式。
分布式中有一台机充当Master,安装Redis进行任务调度,其余机子充当Slaver只管从Master那里拿任务去爬。原理是:Slaver运行的时候,scrapy遇到Request并不是交给spider去爬,而是统一交给Master机上的Redis数据库,spider要爬的Request也都是从Redis中取来的,而Redis接收到Request后先去重再存入数据库,哪个Slaver要Request了再给它,由此实现任务协同。
使用说明:
Python需要安装好Scrapy、pymongo、json、base64、requests。
Master机只需要安装好Redis即可(内存要求大点),Slaver机需要安装python环境和MongoDB来存储数据。如果想要将数据都存储到一台机子上,直接改一下爬虫程序(pipeline)里面MongoDB的IP即可,或者建议搭建一个MongoDB集群。Redis和MongoDB都是安装好即可,不需要配置。
将你用来登录的微博账号和密码加入到 cookies.py 文件中,里面已经有两个账号作为格式参考了。
可以修改scrapy里面setting的设置,例如间隔时间、日志级别、redis的IP等等。
以上配置完以后运行 Begin.py 即可。重申Master机不需要跑程序,它的功能是利用Redis进行任务调度。Slaver机跑爬虫,新增一台Slaver机,只需要把python环境和MongoDB搭建好,然后将代码复制过去直接运行就行了。
项目源码
1 # encoding=utf-8 2 import json 3 import base64 4 import requests 5 6 """ 7 输入你的微博账号和密码,可去淘宝买,一元七个。 8 建议买几十个,微博反扒的厉害,太频繁了会出现302转移。 9 或者你也可以把时间间隔调大点。 10 """ 11 myWeiBo = [ 12 {'no': '[email protected]', 'psw': 'a123456'}, 13 {'no': '[email protected]', 'psw': 'a123456'}, 14 ] 15 16 17 def getCookies(weibo): 18 """ 获取Cookies """ 19 cookies = [] 20 loginURL = r'https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)' 21 for elem in weibo: 22 account = elem['no'] 23 password = elem['psw'] 24 username = base64.b64encode(account.encode('utf-8')).decode('utf-8') 25 postData = { 26 "entry": "sso", 27 "gateway": "1", 28 "from": "null", 29 "savestate": "30", 30 "useticket": "0", 31 "pagerefer": "", 32 "vsnf": "1", 33 "su": username, 34 "service": "sso", 35 "sp": password, 36 "sr": "1440*900", 37 "encoding": "UTF-8", 38 "cdult": "3", 39 "domain": "sina.com.cn", 40 "prelt": "0", 41 "returntype": "TEXT", 42 } 43 session = requests.Session() 44 r = session.post(loginURL, data=postData) 45 jsonStr = r.content.decode('gbk') 46 info = json.loads(jsonStr) 47 if info["retcode"] == "0": 48 print "Get Cookie Success!( Account:%s )" % account 49 cookie = session.cookies.get_dict() 50 cookies.append(cookie) 51 else: 52 print "Failed!( Reason:%s )" % info['reason'] 53 return cookies 54 55 56 cookies = getCookies(myWeiBo) 57 print "Get Cookies Finish!( Num:%d)" % len(cookies)
在成为一个优秀的Python开发工程师的道路上,充满了汗水和辛劳
初学者对Python开发能做什么,学的时候该按照什么线路去学习,学完往哪方面发展?想深入系统了解Python可以复制有道云链接到浏览器打开系统的了解学习:http://note.youdao.com/noteshare?id=e4fa02e7b56d7909a27674cdb3da08aa
开发工具、学习资料等都有分享,还有专业的老师在线免费直播分享答疑!