CSDN博客搬家到WordPress

一直想把CSDN上写的博客，搬家移植到自己的WordPress博客，网上介绍了一些方法，例如先把CSDN博客导入博客园，然后从博客园导出xml文件，最后用WordPress导入工具导入进WordPress博客，操作步骤太繁杂。

于是周末在家自己动手用Python写了爬虫脚本，利用WordPress自定义的投稿功能（wp_insert_post），导入进WordPress博客，步骤只有简单的两步：

步骤1：Python脚本爬取CSDN博客，包括博客标题，正文，发布日期，浏览数，标签

步骤2：利用WordPress投稿功能插入到WordPress，把所有CSDN博客导入WordPress

 

Python完整代码：

#!/usr/bin/env python
# -*- coding:utf8 -*-

'''
author  :    [email protected]
date    :    2015-12-01
blog    :    http://blog.mimvp.com
demo    :    http://blog.mimvp.com/category/csdn_blog/

安装库文件：
1. MySQLdb，连接MySQL数据库，修改浏览次数
2. bs4，    格式化HTML，抓取过滤CSDN网页内容


WordPress博客POST文章接口API

http://blog.mimvp.com/tougao/

查询自动POST文章ID：
select id from wp_posts where post_title like '【米扑代理】%'

修改POST文章浏览数：
update wp_postmeta set meta_value=meta_value+100 where meta_key='views' and post_id in (select id from wp_posts where post_title like '【米扑代理】%');

修改浏览次数小于100
select post_id, meta_value from wp_postmeta where  meta_key='views' and meta_value < 100 and post_id in (select id  from wp_posts where post_status = 'publish');

'''

import time, datetime
import os, random
import urllib, urllib2
import base64
import bs4
import MySQLdb

import sys
reload (sys)
sys.setdefaultencoding( 'utf-8' )

# 排除要抓取的CSDN博客链接
EXCLUDE_BLOG_URL = [
                        'http://blog.csdn.net/sunboy_2050/article/details/45868613' ,
                        'http://blog.csdn.net/sunboy_2050/article/details/49449319' ,
                        'http://blog.csdn.net/sunboy_2050/article/details/48622023' ,
                        'http://blog.csdn.net/sunboy_2050/article/details/47858847' ,
                    ]

# 根据CSDN博客标题打标签tags
CATEGORY_DICT = {
                'Python'    :   1 ,
                'C/C++'     :   2 ,
                '网络常识'   :   3 ,
                'Algrithm'  :   11 ,
                'Clojure'   :   4 ,
                'CSDN'      :   5 ,
                'Git/SVN'   :   6 ,
                'Go'        :   7 ,
                'HTML/CSS/JS'  :   8 ,
                'iOS/Android'  :   9 ,
                'Java/JSP'     :   113 ,
                'Linux/Unix'   :   95 ,
                'MacBook'      :   111 ,
                'Nginx/Apache' :   112 ,
                'PHP'          :   777 ,
                'SQL/NoSQL'    :   114 ,
                'Storm/Hadoop' :   115 ,
                'WP技巧'        :   12 ,
                '产品经理'       :   116 ,
                '创业邦'        :   3 ,
                '理财'          :   117 ,
                '生活小札'       :   4 ,
                '科技资讯'       :   10 ,
                '米扑代理'       :   118 ,
                '系统架构'       :   97 ,
                '软件测试'       :   119 ,

                'leetcode'   :   11 ,
                '链表'        :   11 ,
                '算法'        :   11 ,
                'leetcode'   :   11 ,
                'django'     :   1 ,
                'tornado'    :   1 ,
                'c语言'       :   2 ,
                'c++'        :   2 ,
                'c#'         :   2 ,
                'vc'         :   2 ,
                'qt'         :   2 ,
                '网络'     :   3 ,
                '算法'     :   11 ,
                'Git'     :   6 ,
                'SVN'     :   6 ,
                '版本控制'  :   6 ,
                'HTML'    :   8 ,
                'CSS'     :   8 ,
                'JS'      :   8 ,
                'javascript' :   8 ,
                'iOS'     :   9 ,
                'Android' :   9 ,
                'Java'    :   113 ,
                'JSP'     :   113 ,
                'JVM'     :   113 ,
                'Spring'  :   113 ,
                'Eclipse' :   113 ,
                'Linux'   :   95 ,
                'Unix'    :   95 ,
                'Ubuntu'  :   95 ,
                'CentOS'  :   95 ,
                'Shell'   :   95 ,
                'AWK'     :   95 ,
                'vim'     :   95 ,
                'Nginx'   :   112 ,
                'Apache'  :   112 ,
                'Tomcat'  :   112 ,
                '数据库'   :   114 ,
                'SQL'     :   114 ,
                'NoSQL'   :   114 ,
                'MySQL'   :   114 ,
                'Redis'   :   114 ,
                'Memcache' :   114 ,
                'mongo'   :   114 ,
                'sqlite'  :   114 ,
                'WP'      :   12 ,
                'WordPress'     :   12 ,
                '软件'     :   119 ,
                '测试'     :   119 ,
                'Storm'   :   115 ,
                'Hadoop'  :   115 ,
             }

# CSDN博客用urllib2 + header抓取不了，改用了curl爬取网页
headers = {
            'Use-Agent' :   'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36' ,
            'Cookie'    :   'bdshare_firstime=1430381399166; uuid_tt_dd=-4349350129693538496_20150430; __gads=ID=b549fb1461110ca8:T=1430381399:S=ALNI_MbhiN2nMgWWiXPP25667Pq-BPZf5g; CloudGuest=dbieDkbnW7cz5P9qimYEjpecak8Udv0BPR8Iflg0PlBd3HR1Wj+RyQQksR2cDE9ab/hPXNGjFpuKsRe1dFjVJjY+mf3bfeWiP6kN0TKk1rY6g5SOuowPs/8F5FJJBdddW71JZ7rp4Q9b8DsLk2TASIPHLj3iL599bPUGKga0mRsaTJi0td73QBZaNlY7+VAl; __qca=P0-127195741-1432118980220; lzstat_uv=29735680241046032471|2955225@3582543@2675686@3411160; __utma=1722629.287164464.1430711804.1438215324.143920134.51; __utmz=1722629.14380001130.49.44.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; UN=Sunboy_2050; UE="[email protected]"; __message_district_code=110000; uuid=92c68418-b2bd-41bc-846d-a1e4e9cf094; _ga=GA1.2.287164464.1430711804; scvh=2011-09-09+17%3a11%3a33+003; FullCookie=1; ViewMode=list; avh=8471508%2c298041%2c45868613%2c2659431%2c17398807; __message_sys_msg_id=0; __message_gu_msg_id=0; __message_cnel_msg_id=0; __message_in_school=0; lzstat_ss=3875140043_20_1448553416_2955225; dc_tos=nyewqw; dc_session_id=1448524616939' ,
            'Host'      :   'blog.csdn.net' ,
            'DNT'       :   1 ,
            'Cache-Control'     :   'max-age=0' ,
            'Connection'        :   'keep-alive' ,
            'Accept'            :   'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' ,
            'Accept-Encoding'   :   'gzip, deflate, sdch' ,
            'Accept-Language'   :   'en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4'