使用python读取数据库中的内容 & 把爬虫爬到的内容，存储在mysql数据库中

安装pymsql库
以管理员身份打开cmd，输入pip Install pymysql

import pymysql
#连接数据库
conn = pymysql.connect(hoost='localhost' , user='root' , password='password' , db='mycommodity' , charset='utf8')
# localhost连接本地数据库 user 用户名 password 密码 db数据库名称 charset 数据库编码格式

#创建游标对象
cursor = conn.cursor()    #cursor当前的程序到数据之间的连接

#组装sql语句 需要查询的MySQL语句
sql = 'select * from commodity'

#执行sql语句
cursor.execute(sql)

#处理结果集
#获取一条数据
one = cursor.fetchone()
print(one)
#获取多条数据 传入需要获取的数据的条数
many = cursor.fetchmany(3)
print(many)

#获取所有数据
all = cursor.fetchall()
#输出获取到的数据的数据类型
print(type(all))

#逐条输出获取到的数据类型及数据
for each in all:
    print(type(each),each)

#获取数据库表中列的参数
fields = cursor.description
head = []
#或取数据库中表头
for field in fields:
    head.append(field[0])
print(head)

#关闭所有的连接
#关闭游标
cursor.close()
#关闭数据库
conn.close()

二

1.连接数据库

定义一个MySQLCommand类来配置数据库连接参数，并定义一个connectMysql方法连接数据库。

import pymysql
# 用来操作数据库的类
class MySQLCommand(object):
    # 类的初始化
    def __init__(self):
        self.host = 'localhost'
        self.port = 3308  # 端口号
        self.user = 'root'  # 用户名
        self.password = "password"  # 密码
        self.db = "home"  # 库
        self.table = "home_list"  # 表

    # 链接数据库
    def connectMysql(self):
        try:
            self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user,
                                        passwd=self.password, db=self.db, charset='utf8')
            self.cursor = self.conn.cursor()
        except:
            print('connect mysql error.')

2.插入数据

# 插入数据，插入之前先查询是否存在，如果存在就不再插入
    def insertData(self, my_dict):
        table = "home_list"  # 要操作的表格
        # 注意，这里查询的sql语句url=' %s '中%s的前后要有空格
        sqlExit = "SELECT url FROM home_list  WHERE url = ' %s '" % (my_dict['url'])
        res = self.cursor.execute(sqlExit)
        if res:  # res为查询到的数据条数如果大于0就代表数据已经存在
            print("数据已存在", res)
            return 0
        # 数据不存在才执行下面的插入操作
        try:
            cols = ', '.join(my_dict.keys())#用，分割
            values = '"," '.join(my_dict.values())
            sql = "INSERT INTO home_list (%s) VALUES (%s)" % (cols, '"' + values + '"')
            #拼装后的sql如下
            # INSERT INTO home_list (img_path, url, id, title) VALUES ("https://img.huxiucdn.com.jpg"," https://www.huxiu.com90.html"," 12"," ")
            try:
                result = self.cursor.execute(sql)
                insert_id = self.conn.insert_id()  # 插入成功后返回的id
                self.conn.commit()
                # 判断是否执行成功
                if result:
                    print("插入成功", insert_id)
                    return insert_id + 1
            except pymysql.Error as e:
                # 发生错误时回滚
                self.conn.rollback()
                # 主键唯一，无法插入
                if "key 'PRIMARY'" in e.args[1]:
                    print("数据已存在，未插入数据")
                else:
                    print("插入数据失败，原因 %d: %s" % (e.args[0], e.args[1]))
        except pymysql.Error as e:
            print("数据库错误，原因%d: %s" % (e.args[0], e.args[1]))