网页信息抓取
——看到社区里面好多人都有抓取网页信息的需要,特地把我自己做的DEMO放上来,供大家参考,也希望大家多提意见,共同学习完善这个小程序.
准备工具：Dreamweaver,RegexBuddy
抓取分3步进行:
1)下载网页数据;
2)处理网页得到想要的数据;
3)保存数据
一、下载网页源代码
这个步骤有很多种方法可以实现,但是目的只有一个,那就是: 给定网页Url,获得网页源代码.
1.使用WebClient下载:
优点:灵活性比较大,可以下载多种数据,设置以后可以下载带用户名密码的网页,可以传递cookie等;
准备工具：Dreamweaver,RegexBuddy
抓取分3步进行:
1)下载网页数据;
2)处理网页得到想要的数据;
3)保存数据
一、下载网页源代码
这个步骤有很多种方法可以实现,但是目的只有一个,那就是: 给定网页Url,获得网页源代码.
1.使用WebClient下载:
//...
//这里是WebClient需要使用的命名空间
using System.Net;
//...
WebClient wbDown = new WebClient();
string strResult = wbDown.DownloadString("http://www.baidu.com/");
//OK,strResult就是下载到的网页源代码
//...优点:方便,快捷,直接调用System.Net.WebClient就可以进行下载,大部分网页都可以下载下来
缺点:如果遇到需要用户名名和密码的网站,那就很麻烦了.
2.使用HttpWebRequest和HttpWebResponse
//...
using System.Net;
using System.IO;
//引用的命名空间
string strUrl = "http://www.baidu.com/";
HttpWebRequest Request = (HttpWebRequest)WebRequest.Create(strUrl);
HttpWebResponse Response = (HttpWebResponse)Request.GetResponse();
StreamReader sr = new StreamReader(Response.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));
string strResult = sr.ReadToEnd();
//...优点:灵活性比较大,可以下载多种数据,设置以后可以下载带用户名密码的网页,可以传递cookie等;
缺点:代码比较多,不太优雅,建议封装后使用.
3.使用WebBrowser
WebBrower相当于一个小型的或者 mini IE,你可以在窗体中显示这个控件,然后查看具体的网页,而前面几种却不可以.当然,如果你愿意,也可以把它隐藏起来.
i)隐藏WebBrowser
//...
string Url = @"http://www.baidu.com/";
WebBrowser wb = new WebBrowser()
{
Url = new Uri(Url)
};
while (!wb.DocumentText.Contains("