网络爬虫整理

最近在为自己搭建的网站忙碌,记录下爬虫资料

除了基础的利用python re,beautifulsoup爬取之外,可以连接mysql 数据库将爬取信息导入数据库,例子如下:

-*- coding: utf-8 -*-
import MySQLdb as mdb
import sys
try:
    con=mdb.connect('localhost','user','password','test',charset='utf8')
    cur = con.cursor()
    cur.execute("CREATE TABLE IF NOT EXISTS News\
    (`ID`  INT PRIMARY KEY NOT NULL AUTO_INCREMENT ,`PublishDate`  date NOT NULL ,`Title`  varchar(255) NOT NULL);")
except mdb.Error, e:
    print "Error %d: %s" % (e.args[0],e.args[1])
    sys.exit(1)
finally:
    if con:    
        con.close()
在打开mysql之后,使用test测试数据库,利用mysqldb连接数据库,创建news表
with con:
              curs = con.cursor()
              for i in myItems:
                  date = i[0].replace("\n","")
                  title = i[1].replace("\n","")
  #                print date, title
                 curs.execute("INSERT INTO News(PublishDate,Title) VALUE(%s,    %s)",(date,title))

在爬虫代码内添加:如上代码,with代表try-catch组对,获取所爬取信息,插入news表即可

其中出现了mysql乱码问题,查看之后利用show create table tablename语句发现默认表的字符集为latin,特查询修改方法如下

修改数据库字符集:

alter database db_bame default character set character_name;


把表默认的字符集和所有字符列(CHAR,VARCHAR,TEXT)改为新的字符集:

alter table tb_name convert to character set character_name


只是修改表的默认字符集:

alter table ta_name default character set character_name


修改字段的字符集:

alter table tb_name change c_name c_name character set character_name


查看数据库编码:

show create database db_name


查看表编码:

show create table tb_name


查看字段编码:

show full columns from tb_name

SHOW FULL COLUMNS FROM tbl_name;

永久更改字符集:打开/etc/mysql/my.cnf,在[client]后添加default-character-set=utf8


此外 也可以利用json 转换为sql导入Mysql,链接如下: http://blog.csdn.net/hantangsongming/article/details/24620515

有时间学习下

参考资料:http://www.diannaowa.com/index.php/archives/233

                 http://ju.outofmemory.cn/entry/83530


你可能感兴趣的:(Mysql)