三阶段day28-爬虫3

如何保存爬取信息至数据库

安装pymysql到当前虚拟环境

pip install pymysql

import pymysql

# 获取数据库连接
def get_db_con():
    host = '127.0.0.1'
    port = 3306
    user = 'root'
    password = '123456'
    # spider2——即被连接的数据库，事先创建好
    database = 'spider2'
  创建数据库连接
    con = pymysql.connect(host, user, password, database, charset='utf8', port=port)
    return con

# 获取数据库游标
def get_cursor(con):
    return con.cursor()

# 关闭连接
def close_con(con):
    con.close()

# 执行插入语句
def insert_article(article, con, cursor):
    # title=[title for title in article.keys()][0]
    # content=[content for content in article.values()][0]
    title=article['title']
    content=article['content']
    #ks是一个表，需事先创建好
    sql = "insert into ks (title, content) values ('%s', '%s')" % (title, content)
    print(sql)
    #插入数据库，完成提交（必须执行）
    cursor.execute(sql)
    con.commit()

def main():
    # 连接数据库
    con = get_db_con()
    # 获取数据库游标
    cursor = get_cursor(con)
    # article是即将被导入数据库中的数据
    article = {}
    article['title'] = '第一章'
    article['content'] = '........'
    # 向数据库导入数据
    insert_article(article, con, cursor)
    # 关闭数据库
    close_con(con)


if __name__ == '__main__':
    main()