[Python学习] 简单爬取CSDN下载资源信息

        这是一篇Python爬取CSDN下载资源信息的例子，主要是通过urllib2获取CSDN某个人所有资源的资源URL、资源名称、下载次数、分数等信息；写这篇文章的原因是我想获取自己的资源所有的评论信息，但是由于评论采用JS临时加载，所以这篇文章先简单介绍如何人工分析HTML页面爬取信息。

源代码

# coding=utf-8  
import urllib  
import time  
import re  
import os

#************************************************** 
#第一步 遍历获取每页对应主题的URL 
#http://download.csdn.net/user/eastmount/uploads/1
#http://download.csdn.net/user/eastmount/uploads/8
#**************************************************

num=1 #记录资源总数 共46个资源
number=1 #记录列表总数1-8
fileurl=open('csdn_url.txt','w+')  
fileurl.write('****************获取资源URL*************\n\n')

while number<9:
    url='http://download.csdn.net/user/eastmount/uploads/' + str(number)
    fileurl.write('下载列表URL:'+url+'\n\n')
    print unicode('下载列表URL:'+url,'utf-8')
    content=urllib.urlopen(url).read()
    open('csdn.html','w+').write(content)

    #获取包含URL块内容 匹配需要计算

个数 start=content.find(r'

') end=content.find(r'

') cutcontent=content[start:end] #print cutcontent #获取块内容中URL #形如

标题

res_dt = r'

(.*?)

' m_dt = re.findall(res_dt,cutcontent,re.S|re.M) for obj in m_dt: #记录URL数量 print '******************************************' print '第'+str(num)+'个资源' fileurl.write('******************************************\n') fileurl.write('第'+str(num)+'个资源\n') num = num +1 #获取具体URL url_list = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')", obj) for url in url_list: url_load='http://download.csdn.net'+url print 'URL： '+url_load fileurl.write('URL： http://download.csdn.net'+url+'\n') #获取资源标题 #MFC显示BMP图片 res_title = r'(.*?)' title = re.findall(res_title,obj,re.S|re.M) for t in title: print unicode('Title: ' + t,'utf-8') fileurl.write('Title： ' + t +'\n') #************************************************** #第二步 遍历具体资源的内容及评论 #http://download.csdn.net/detail/eastmount/8785591 #************************************************** #定位指定结构化信息盒Infobox resources = urllib.urlopen(url_load).read() open('resource.html','w+').write(resources) start_res=resources.find(r'

') end_res=resources.find(r'

') infobox=resources[start_res:end_res] #获取资源积分、下载次数、资源类型、资源大小(前4个) res_span = r'(.*?)' m_span = re.findall(res_span,infobox,re.S|re.M) print '资源积分： '+m_span[0] fileurl.write('资源积分: ' + m_span[0] +'\n') print '下载次数： '+m_span[1] fileurl.write('下载次数: ' + m_span[1] +'\n') print '资源类型： '+m_span[2] fileurl.write('资源类型: ' + m_span[2] +'\n') print '资源大小： '+m_span[3] fileurl.write('资源大小: ' + m_span[3] +'\n') #************************************************** #第三步 如何获取评论 #http://jeanphix.me/Ghost.py/ #http://segmentfault.com/q/1010000000143340 #http://casperjs.org/ #************************************************** else: fileurl.write('******************************************\n\n') print '******************************************\n' print 'Load Next List\n' number = number+1 #列表加1 #退出所有循环 else: fileurl.close()
显示结果
        显示内容包括资源URL、资源标题、资源积分、下载次数、资源类型和资源大小：

        比如现在爬取郭霖大神的资源信息，其中页面链接如下：(共7页)
              http://download.csdn.net/user/sinyu890807/uploads/1
              http://download.csdn.net/user/sinyu890807/uploads/7
        简单修改Python源代码URL后，下载页面如下图所示：

        运行结果如下图所示：

HTML分析
        首先，获取每列中的所有资源的URL和标题，通过分析源代码。

   

   
  
   

          MFC 图像处理之几何运算 图像平移旋转缩放镜像(源码)
       0
   
           
上传者：
    eastmount
         | 上传时间：2015-06-04
         | 下载26次


        该资源主要参考我的博客【数字图像处理】六.MFC空间几何变换之图像平移、镜像、旋转
        缩放详解，主要讲述基于VC++6.0 MFC图像处理的应用知识，要通过MFC单文档视图实现显
        示BMP图片。


     MFC
     图像处理<

        对应的HTML显示如下图所示：

        然后通过URL去到具体的资源获取我自己称为像消息盒的信息：

        对应审查元素的信息如下所示，获取0分即可：

        最后我想做的事获取评论信息，但是它是通过JS实现的：

   

      
资源评论
   
   
   
   

        显示的JS页面部分如下：

var base_url= (window.location.host.substring(0,5)=='local') ? 'http://local.downloadv3.csdn.net' : 'http://download.csdn.net';
base_url = "";
$(document).ready(function(){
	
	CC_Comment.initConfig();
	CC_Comment.getContent(1);
});	
var CC_Comment = 
{
	sourceid:0,
	initConfig:function()
	{
		var sid = parseInt($(".download_comment").attr('sourceid'));
		if(isNaN(sid) || sid<=0)
		{
			this.sourceid = 0;
		}else
		{
			this.sourceid = sid;
		}
		
	}
....
}

        最后希望文章对你有所帮助吧！下一篇准备分析下Python如何获取JS的评论信息，同时该篇文章可以给你提供一种简单的人工分析页面的例子；也可以获取某个人CSDN资源下载多、分数高的给你挑选。基础知识，仅供参考~
      （By:Eastmount 2015-7-21 下午5点    http://blog.csdn.net/eastmount/ ）