把Python抓取的数据存到sqlite里

当抓取到的图片Url后，如果一张一张的把图片都缓存到本地会占用大量的空间，而且没有什么太大的作用，还是把数据存到数据库里比较好一点。简单的数据库直接使用sqlite比较方便，而且Python自带sqlite3模块直接导入即可

---

当前用到sqlite3的方法

Python sqlite3 模块 API

 sqlite3.connect(database [,timeout ,other optional arguments])
 该 API 打开一个到 SQLite 数据库文件 database 的链接。您可以使用 ":memory:" 来在 RAM 中打开一个到 database 的数据库连接，而不是在磁盘上打开。如果数据库成功打开，则返回一个连接对象。
 
 
 
cursor.execute(sql [, optional parameters])
 该方法执行一个 SQL 语句。该 SQL 语句可以被参数化（即使用占位符代替 SQL 文本）。sqlite3 模块支持两种类型的占位符：问号和命名占位符（命名样式）。
 
 

直接进入主题，根据面向对象的思想，创建一个SqliteManager和PictureObjClass

创建Class ：SqliteManager

代码比较简单就不做什么解释了

 
 
-- coding: utf-8 --
 
 
import sqlite3
 
 
 
class SqliteManager:
 def init(self,dbName):
 self.dataBaseName = dbName
 self.conn = sqlite3.connect(self.dataBaseName)
 
 
 
def save(self,sql):
    self.executeSql(sql)
 
 

 
 
def delete(self,sql):
    self.executeSql(sql)
 
 

 
 
def createTable(self,sql):
    self.executeSql(sql)
 
 

 
 
def createIndex(self,sql):
    self.executeSql(sql)
 
 

 
 
def executeSql(self,sql):
    self.conn.execute(sql)
    self.conn.commit()
 
 

 
 
def close(self):
    self.conn.close()
 
 

 
 

创建Class ：PictureObj

这个类也就是提供一些创建表的sql和一些操作的sql语句，

其中需要对getCreateIndexSql这个方法做一些解释：
这个方法创建索引，这样做一是可以查询的时候可以加快效率，二是插入数据到表中的时候可以自动判断表中该数据是否存在，如果不存在直接执行insert，如果不存在那么执行update

 class PictureObj:
 

 def init(self,title,url):
 self.picTitle = title
 self.picUrl = url
 self.tableName = "tb_picture"
 
 
 
def getTableSql(self):
    sql = 'create table IF NOT EXISTS {0} (ID INTEGER PRIMARY KEY,picTitle text,picUrl text);'.format(
        self.tableName)
    return sql
 
 

 
 
def getCreateIndexSql(self):
    sql = 'CREATE UNIQUE INDEX IF NOT EXISTS picUrl ON {0} (picUrl ASC);'.format(self.tableName)
    return sql
 
 

 
 
def getInsertSql(self):

    sql = 'REPLACE INTO {0} (picTitle,picUrl) VALUES (\'{1}\',\'{2}\')'.format(self.tableName,self.picTitle,self.picUrl)
    print sql
    return sql
 
 

 
 
def getSelectSql(self):
    sql = 'select * from ' + self.tableName
    return sql
 
 

 
 
def getDeleteAll(self):
    sql = 'delete from ' + self.tableName
    return sql
 
 

主要爬虫类的代码

具体的一些操作说明可以参考： iOS程序员如何使用python写网路爬虫（一点更新）
，主要是这个基础上修改的

 #--coding:utf-8--
 #! /usr/bin/python
 import math
 import urllib
 import urllib2
 # import request
 from SqliteManager import SqliteManager
 from bs4 import BeautifulSoup;
 
 
import sys
 reload(sys)
 sys.setdefaultencoding('utf-8')
 
 
 
//class PictureObj:
 //为了省事我直接把PictureObj的代码直接在放在改文件中了，你可以直接放这个位置，也可以新建一个文件然后import进来
 
 
 
manager = SqliteManager('58Pic.db')
 globalPhone = PictureObj('', '')
 manager.createTable(globalPhone.getTableSql())
 manager.createIndex(globalPhone.getCreateIndexSql())
 
 
def getAllImageLink(start,end):
 i = start
 while (i < end):
 url = 'http://www.58pic.com/yuanchuang/%d.html' % i
 try:
 response=urllib2.urlopen(url,data=None,timeout=120)
 except urllib2.URLError as e:
 print ('%s : %s' % (url,e.reason))
 i += 1
 continue
 print (url)
 html = response.read()
 if html.strip()=='':
 print ('not exist URL: %s',url)
 continue
 soup = BeautifulSoup(html, "html.parser")
 liResult = soup.findAll('div',attrs={"class":"show-area-pic"})
 for li in liResult:
 imageEntityArray = li.findAll('img')
 for image in imageEntityArray:
 title = image.get('title')
 href = image.get('src')
 pic = PictureObj(title,href)
 manager.save(pic.getInsertSql())
 i = i + 1
 
 
if __name__ == '__main__':
 start = 19840500
 getAllImageLink(start,start + 100)
 
 

当可以从网爬到想要数据后，也不能一直让数据在硬盘里，最主要是要可以展现出来，让我们可以看到、使用，下一步会在本机部署一个diango服务出来，然后再做出来一个APP来使用
github上的Demo