python-定向爬虫(极客学院)

MongoDB 与 Scrapy

1.MongoDB 介绍与安装

1.brew update
2.brew install mongodb

参考：
mac 下用 brew 安装mongodb
Mac下使用brew安装mongodb

使用数据库管理软件 robomongo

2.python 与 MongoDB

sudo pip2.7 install pymongo #安装模块

python连接MongoDB测试代码：

#!/usr/bin/python
#-*- coding:utf-8 -*-

import pymongo

connection =  pymongo.MongoClient()
tdb = connection.Jikexueyuan
post_info = tdb.test

jike = {'name':u'极客','age':'5','skill':'Python'}
god = {'name':u'玉皇大帝','age':'36000','skill':'creatanything','other':u'王母娘娘'}
godslaver = {'name':u'月老','age':'unknown','other':u'孟婆'}
# post_info.insert(jike)
# post_info.insert(god)
# post_info.insert(godslaver)
post_info.remove({'name':u'极客'})
print u'操作数据库完成'

3.Scrapy 应用MongoDB

安装scrapy模块遇到的坑
参考：
史上最完全Mac安装Scrapy指南

Mac OS X安装 Scrapy

4.实战--小说爬虫

goals

---

1.Redis的介绍与安装

2.Scrapy 配置 Redis

3.实战

---

一.ajax介绍与网页展示

二.从javascript文件读取内容

三.构造目标地址

四.实战