PyCharm、pymysql 将爬虫数据存储至 MySQL 数据库

MySQL安装步骤：https://www.cnblogs.com/liuzengzhi/p/11704069.html

MySQL5.5 安装一直停在最后一步解决方法

首先，下载好MySQL，用pip安装好pymysql库，连接python和mysql。

pip install pymysql

import pymysql
import requests
from bs4 import BeautifulSoup

db = pymysql.connect(host="localhost",
                     port=3306,
                     user="root",
                     passwd="root",
                     database="scraping",
                     charset="utf8")
cursor = db.cursor()

link = "http://www.santostang.com/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'}
r = requests.get(link, headers=headers)

soup = BeautifulSoup(r.text, "lxml")
title_list = soup.find_all("h1", class_="post-title")
for eachone in title_list:
    url = eachone.a['href']
    title = eachone.a.text.strip()
    cursor.execute("INSERT INTO urls (url, content) VALUES (%s,%s)", (url, title))

db.commit()
db.close()

• db = pymysql.connect() 用于创建数据库的连接，里面可以指定参数（用户名，密码，主机等消息）；
• cursor = db.cursor() 通过获取的数据库连接 conn 下的 cursor() 方法来创建游标。之后，通过游标 cur 操作 execute() 方法可以写入纯 SQL 语句。

python3，pycharm使用pymysql模块连接MySQL数据库出错，连接数据库失败