把维基百科首页词条的数据导入mysql【Python】

---

title: 把维基百科首页词条的数据导入mysql【Python】
date: 2016-09-13 0:59:28
tags:

---

说明：以下内容学习自：http://www.imooc.com/

1、此文是跟着上一篇来写的，之前，已经完成了对维基百科词条的数据采集工作。

2、本文和作者示范不同的地方是，建立数据库和表格的工具我维持使用了sqlyog软件，作者用的是哪个不确定，因为视频看不清上面的名字。

3、代码如下，已经有一定说明，原作者可没提供代码哦，请把password对应的密码部分，从xxxx修改成你的真实数据库密码：

__author__ = 'Administrator'
# coding:utf-8
# 运行在python 3.5.2

import re
from urllib.request import urlopen
from bs4 import BeautifulSoup as bs
import pymysql.cursors

# 使用urllib的urlopen方法，去打开维基百科的首页，读取，并用utf-8解码
resp = urlopen('https://en.wikipedia.org/wiki/Main_Page').read().decode('utf-8')

# 使用BeautifulSoup去解析，其中html.parser是默认的解析器
soup = bs(resp, 'html.parser')
# 获取所有的/wiki/开头的a标签的href属性。
listUrls = soup.find_all('a', href=re.compile(r'^/wiki/'))
print(listUrls)

# 输出所有的词条对应的名称和URL
for url in listUrls:
    # 排除.jpg JPG结尾的
    if not re.search('\.(jpg|JPG)$', url['href']):
        # 显示名称和网址的格式
        # string只能显示一个，而get_text()可显示标签下所有的文字。
        print(url.get_text(), '<---->', 'https://en.wikipedia.org'+url['href'])
        # 得到数据库的连接
        connection = pymysql.connect(host='localhost',
                               user='root',
                               password='xxxx',
                               db='wikiurl',
                               charset='utf8'
                               )
        
        try:
            # 创建会话指针
            with connection.cursor() as cursor:
                # 创建sql语句
                sql = 'insert into `urls` (`urlname`, `urlhref`) values(%s, %s)'
                # 执行sql语句
                cursor.execute(sql, (url.get_text(), 'https://en.wikipedia.org' + url['href']))
                # 提交
                connection.commit()

        finally:
            connection.close()

4、其中关键的步骤有：

A）：sqlyog中表格的制作和设置，千万注意，id的int类型，需要添加自增，否则运行程序会报错： "Field 'id' doesn't have a default value

B）数据库的插入和执行命令，因为不太熟悉，对着视频敲代码都错误了几次，并且要注意以下代码urls (urlname, urlhref)使用的是Tab键上面的那个上点号

C）当程序没有报错，在sqlyog查看表格要先刷新

D）在之前的帖子，是在python2.7下，通过sqlyog的import MySQLdb 来操作mysql的，并且，代码中的密码对应的是passwd，而这个和直接用python 运行pymysql的对应命令password是不同的，要分清楚。

5、结果图，有一丝喜悦感：