利用Scrapy框架爬取数据,将数据储存到MySQL数据库中

**

利用Scrapy框架爬取数据,将数据储存到MySQL数据库中

**使用Scrapy框架爬取数据,将其保存到mysql数据库的配置
class PymysqlPipeline(object):
def init(self):
#建立连接
self.conn=pymysql.connect(host=‘127.0.0.1’,user=‘root’,password=‘yh@123’,db=‘spiders’,port=3306)
self.cursor=self.conn.cursor()
def process_item(self,item,spider):
self.cursor.execute(
‘insert into quotes(author,tags,text) values("{}","{}","{}")’.
format(item[‘author’],item[‘tags’],item[‘text’])
)
self.conn.commit()
return item
def close_spider(self,spider):
self.cursor.close()
self.conn.close()

你可能感兴趣的:(利用Scrapy框架爬取数据,将数据储存到MySQL数据库中)