抓取csdn的数据

如有不明白的地方欢迎加QQ群14670545 探讨

代码质量不行，后面采集起来卡，原因是正则我太菜了，没有开多线程采集。下面我举例：

目标页面是http://bbs.csdn.net/recommend_tech_topics，有图有真相：

看看采集后的效果：

下面是采集到的每个帖子楼主的内容以及一些简单的显示。图片之所以没有显示出来，因为csdn是用的一个专门的图片服务器，设置了防盗链，这个自己捣鼓下应该也可以绕过去。

下面我来分析下：

抓取的原理：先获取对应url页面的html内容，然后根据找出你要抓取的目标数据的的html结构，看看这个结构是否有某种规律，然后用正则去匹配这个规则，匹配到了以后就可以扣出来。

先看看http://bbs.csdn.net/recommend_tech_topics这个页面的源代码：

再通过谷歌浏览器我们再次确认了，目标数据是位于

...

中间的

可是怎么匹配呢，我百度了下，就是找某两个字符中间的内容。考虑到结尾

很多，我这里就偷懒，把

...

这一对div和近邻着的的后面的一个div【从源代码上我们可以看到是：

】

放到一起来，所以我的正则出来了：

Regex regex = new Regex("
([\\s\\S]*)
([\\s\\S]*)
", RegexOptions.Compiled);

为了美化一下，我加了点css，具体代码如下;

页面：

<%@ Page Language="C#" AutoEventWireup="true" CodeFile="testcollection.aspx.cs" Inherits="testcollection" %>




    
    
    


    <%----%>
    

        

            
回到底部
            
下一页
            
">上一页
            
            
导入数据库
        
    

    

    

        
    
    
    

        

            
回到顶部
            
下一页
            
">上一页
            
        
    
    
    

后台文件：

using System;
using System.IO;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;

public partial class testcollection : System.Web.UI.Page
{
    protected void Page_Load(object sender, EventArgs e)
    {
        ///recommend_tech_topics?page=2
        string rl;
        WebRequest myReq = WebRequest.Create(HttpUrlDomain + "/recommend_tech_topics?page=" + pageindex);
        WebResponse myRes = myReq.GetResponse();
        Stream resStream = myRes.GetResponseStream();
        StreamReader sr = new StreamReader(resStream, Encoding.UTF8);
        StringBuilder sb = new StringBuilder();
        while ((rl = sr.ReadLine()) != null)
        {
            sb.AppendLine(rl);
        }

        Regex regex = new Regex("
([\\s\\S]*)
([\\s\\S]*)
", RegexOptions.Compiled);
        Match match;
        match = regex.Match(sb.ToString());
        if (match.Success)
            this.pageUrlInfo.InnerHtml = match.Groups[0].Value;

        myRes.Close();
    }
    /// 

    /// 获取页码
    /// 
    public string pageindex
    {
        get
        {
            return Request.QueryString["page"] != null ?
                (int.Parse(Request.QueryString["page"].ToString()) > 0 ? Request.QueryString["page"].ToString() : "1")
                : "1";
        }
    }
    public string HttpUrlDomain
    {
        get { return "http://bbs.csdn.net"; }
    }   
}

最终效果：

news_gather.aspx：

<%@ Page Language="C#" AutoEventWireup="true" CodeFile="news_gather.aspx.cs" Inherits="ajax_news_gather" %>

news_gather.aspx.cs:

using System;
using System.IO;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
using System.Web;
//using System.Threading;

public partial class ajax_news_gather : System.Web.UI.Page
{
    public Test_Model.CSDN_BBS csdnModel = new Test_Model.CSDN_BBS();
    public Test_BUL.CSDN_BBS csdnDal = new Test_BUL.CSDN_BBS();
    protected override void OnInit(EventArgs e)
    {
        base.OnInit(e);

        if (!CheckFormUrl())
            Response.End();
    }
    public bool CheckFormUrl()
    {
        if (HttpContext.Current.Request.UrlReferrer == null)
            return false;
        if ((HttpContext.Current.Request.UrlReferrer.Host) != (HttpContext.Current.Request.Url.Host))
            return false;

        return true;
    }

    protected void Page_Load(object sender, EventArgs e)
    {
        string jsondata = Request.Form["pjson"] != null ? Request.Form["pjson"].ToString() : "";
        Regex reg1 = new Regex(@"{.+?}");
        MatchCollection mc = reg1.Matches(jsondata);
        string[] itmeArry;
        for (int i = 0; i < mc.Count; i++)
        {
            itmeArry = mc[i].Value.Replace("{", "").Replace("}", "").Split(new string[] { "$$" }, StringSplitOptions.RemoveEmptyEntries);

            csdnModel.Title = itmeArry[0];
            csdnModel.Content = GetContent(itmeArry[1]);
            csdnModel.Href = itmeArry[1];
            csdnModel.Date = Convert.ToDateTime(itmeArry[3]);
            csdnModel.ClickNum = int.Parse(itmeArry[2].Trim());
            csdnDal.Add(csdnModel);
        }

        Response.Write("OK");
    }

    //private void GetUrlInfo()
    //{
    //    Thread[] downloadThread = new Thread[5];//为线程申请资源，确定线程总数
    //    for (int i = 0; i < downloadThread.Length; i++)
    //    {
    //        downloadThread[i] = new Thread(new ThreadStart(DownLoad));//创建一个线程
    //        downloadThread[i].Start();//逐个开启线程
    //    }
    //}

    //private void DownLoad()
    //{
    //    //执行一些方法
    //}

    private string GetContent(string url)
    {
        string rl;
        WebRequest myReq = WebRequest.Create(url);
        WebResponse myRes = myReq.GetResponse();
        Stream resStream = myRes.GetResponseStream();
        StreamReader sr = new StreamReader(resStream, Encoding.UTF8);
        StringBuilder sb = new StringBuilder();
        while ((rl = sr.ReadLine()) != null)
        {
            sb.AppendLine(rl);
        }

        try
        {
            string pattStr = "
([\\s\\S]*)([\\s\\S]*)楼主([\\s\\S]*)
([\\s\\S]*)