2018-03-05爬取的数据写入excel和Postgresql

之前爬取数据的时候，一般喜欢直接写入txt，然后在导入excel清洗，觉得写入excel之类的会比较麻烦。

今天抽时间，熟悉了一下把数据写入excel和Postgresql，发现熟练之后，其实能省不少时间。

1.写入excel

写入excel需要xlwt包。主要的命令是4个：

f=xlwt.Workbook()

sheet1=f.add_sheet(u'sheet1',cell_overwrite_ok=True)

sheet1.write(行号，列号，content) #行号和列号从0开始

f.save('path/name.xls') #如果没保存，前面的都白瞎了·····

2.写入Postgresql

之前用过MySQL，但是今天在知乎上看到一个Postgresql和MySQL的对比（PostgreSQL 与 MySQL 相比，优势何在？），觉得PG更好，所以就下了这个。

写入PG需要用到psycopg2包。

首先打开数据库，网上有些地方说如果没有数据库，可以新建，但是我这里发现如果db没有的话，就会提示出错

conn = psycopg2.connect(database="123", user="postgres", password="123456", host="127.0.0.1", port="5432")   #host这个地方默认写"127.0.0.1"就好

生成一个指针：

cur=conn.cursor()

在此数据库下生成一个表：

cur.execute('''CREATE TABLE Vip_writers1

      (NAME  TEXT  PRIMARY KEY    NOT NULL,

      Link          TEXT    NOT NULL,

      SRC         TEXT    NOT NULL);''')

    conn.commit() #生成之后一定要commit，否则无效

随后，向表里插入数据即可：

cur.execute("INSERT INTO Vip_writers1 (NAME,Link,SRC) VALUES ('%s','%s','%s')" %(name,link,src))

conn.commit() #依然不要忘记提交

最后，关闭数据库

conn.close()