用Python处理微博数据2：Mysql数据库

数据导入

---

mysql> CREATE TABLE wbdata (
    ->     creat_at DATETIME NOT NULL,
    ->     keyword VARCHAR(30) NOT NULL,
    ->     wid BIGINT NOT NULL,
    ->     repost INT NOT NULL,
    ->     platform CHAR(35) ,
    ->     user CHAR(45) NOT NULL,
    ->     uid INT NOT NULL,
    ->     follower INT NOT NULL,
    ->     gender VARCHAR(2),
    ->     text VARCHAR(500),
    ->     tags VARCHAR(500)
    ->
    -> ) ;

先新建表.
因为微博文本中带有大量的表情符号不好集中过滤，所以最好的办法是将数据库编码改为utf8mb4.

show variables like 'character%';查看目前编码方式.

目前编码方式

进行修改：

SET character_set_client = utf8mb4; 
SET character_set_results = utf8mb4; 
SET character_set_connection = utf8mb4; 
SET character_set_server = utf8mb4;
SET character_set_database = utf8mb4; 

修改完成后：

修改后

system一直会是utf8.

此时导入txt数据.

load data local infile 'C:/.../GitHub/WBDatabase/time/04-27.txt' into table wbdata
lINES TERMINATED BY '\r\n';

要注意，转义符反斜杠/是不可以出现在数据里的，转义符后出现中文和符号将会导致ERROR 1300 (HY000): Invalid utf8mb4 character string错误，所以建议在过滤符号的时候特别注意一下.

当确保数据里没有转义符以后即可导入成功.
注：此处我用python的cursor.execute(sql)失败了，
一直报Warning: Incorrect string value: '\xE4\xB8\x8D\xE4\xB8\xB9' for column 'keyword' at row 2这个错误.
但是直接在mysql命令行里执行是可以的.
查了半天无法解决，就手动导入吧.

导入成功

导入后，先删掉第一行的空白delete from wbdata where wid = 0;
然后去重：

delete FROM wbdata WHERE wid in (SELECT duplicate
FROM  (SELECT wid AS duplicate FROM wbdata GROUP BY  wid 
HAVING COUNT( * )>1)duplicatetable) 

去重结果

用Python查询

---

在Python里面对mysql数据库进行查询，
首先建立连接。
我这里的用户就是根用户，所以为root，输入你的数据库密码和数据库名。
sql定义你的sql语句。
cursor.execute(sql)执行sql并返回结果。

wbdb = MySQLdb.connect("localhost","root","你的密码", "你的数据库名", charset='utf8' )
cursor = wbdb.cursor()
sql = "select * from table1"
cursor.execute(sql)
results = cursor.fetchall()

返回的结果是tuple类型：

样表含两行数据

results返回的结果和类型