asp.net采集函数

1. using System; 
2. using System.Data; 
3. using System.Configuration; 
4. using System.Web; 
5. using System.Web.Security; 
6. using System.Web.UI; 
7. using System.Web.UI.WebControls; 
8. using System.Web.UI.WebControls.WebParts; 
9. using System.Web.UI.HtmlControls; 
10. using MSXML2; 
11. using System.Text.RegularExpressions; 
12. namespace EC 
13. { 
14.     /// 
15.     /// 远程文件抓取类 
16.     /// 
17.     public class GetRemoteObj 
18.     { 
20.         #region 构造与析构函数 
21.         public GetRemoteObj() 
22.         { 
23.             // 
24.             // TODO: 在此处添加构造函数逻辑 
25.             // 
26.         } 
27.         ~GetRemoteObj() 
28.         { 
29.             Dispose(); 
30.         } 
31.         #endregion 
33.         #region IDisposable 成员 
35.         public void Dispose() 
36.         { 
37.             GC.SuppressFinalize(this); 
38.         } 
40.         #endregion 
42.         #region 日期随机函数 
43.         /********************************** 
44.          * 函数名称:DateRndName 
45.          * 功能说明:日期随机函数 
46.          * 参    数:ra:随机数 
47.          * 调用示例: 
48.          *          GetRemoteObj o = new GetRemoteObj(); 
49.          *          Random ra = new Random(); 
50.          *          string s = o.DateRndName(ra); 
51.          *          Response.Write(s); 
52.          *          o.Dispose(); 
53.          * ********************************/ 
54.         /// 
55.         /// 日期随机函数 
56.         /// 
57.         /// 随机数 
58.         /// 
59.         public string DateRndName(Random ra) 
60.         { 
61.             DateTime d = DateTime.Now; 
62.             string s = null, y, m, dd, h, mm, ss; 
63.             y = d.Year.ToString(); 
64.             m = d.Month.ToString(); 
65.             if (m.Length < 2) m = "0" + m; 
66.             dd = d.Day.ToString(); 
67.             if (dd.Length < 2) dd = "0" + dd; 
68.             h = d.Hour.ToString(); 
69.             if (h.Length < 2) h = "0" + h; 
70.             mm = d.Minute.ToString(); 
71.             if (mm.Length < 2) mm = "0" + mm; 
72.             ss = d.Second.ToString(); 
73.             if (ss.Length < 2) ss = "0" + ss; 
74.             s += y + m + dd + h + mm + ss; 
75.             s += ra.Next(100, 999).ToString(); 
76.             return s; 
77.         } 
78.         #endregion 
80.         #region 取得文件后缀 
81.         /********************************** 
82.          * 函数名称:GetFileExtends 
83.          * 功能说明:取得文件后缀 
84.          * 参    数:filename:文件名称 
85.          * 调用示例: 
86.          *          GetRemoteObj o = new GetRemoteObj(); 
87.          *          string url = @"http://www.baidu.com/img/logo.gif"; 
88.          *          string s = o.GetFileExtends(url); 
89.          *          Response.Write(s); 
90.          *          o.Dispose(); 
91.          * ********************************/ 
92.         /// 
93.         /// 取得文件后缀 
94.         /// 
95.         /// 文件名称 
96.         /// 
97.         public string GetFileExtends(string filename) 
98.         { 
99.             string ext = null; 
100.             if (filename.IndexOf('.') > 0) 
101.             { 
102.                 string[] fs = filename.Split('.'); 
103.                 ext = fs[fs.Length - 1]; 
104.             } 
105.             return ext; 
106.         } 
107.         #endregion 
109.         #region 获取远程文件源代码 
110.         /********************************** 
111.          * 函数名称:GetRemoteHtmlCode 
112.          * 功能说明:获取远程文件源代码 
113.          * 参    数:Url:远程url 
114.          * 调用示例: 
115.          *          GetRemoteObj o = new GetRemoteObj(); 
116.          *          string url = @"http://www.baidu.com"; 
117.          *          string s = o.GetRemoteHtmlCode(url); 
118.          *          Response.Write(s); 
119.          *          o.Dispose(); 
120.          * ********************************/ 
121.         /// 
122.         /// 获取远程文件源代码 
123.         /// 
124.         /// 远程url 
125.         /// 
126.         public string GetRemoteHtmlCode(string Url) 
127.         { 
128.             string s = ""; 
129.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass(); 
130.             _xmlhttp.open("GET", Url, false, null, null); 
131.             _xmlhttp.send(""); 
132.             if (_xmlhttp.readyState == 4) 
133.             { 
134.                 s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody); 
135.             } 
136.             return s; 
137.         } 
139.         #endregion 
141.         #region 保存远程文件 
142.         /********************************** 
143.          * 函数名称：RemoteSave 
144.          * 功能说明：保存远程文件 
145.          * 参    数：Url:远程url;Path:保存到的路径 
146.          * 调用示例: 
147.          *          GetRemoteObj o = new GetRemoteObj(); 
148.          *          string s = ""; 
149.          *          string url = @"http://www.baidu.com/img/logo.gif"; 
150.          *          string path =Server.MapPath("Html/"); 
151.          *          s = o.RemoteSave(url,path); 
152.          *          Response.Write(s); 
153.          *          o.Dispose();          
154.          * ******************************/ 
155.         /// 
156.         /// 保存远程文件 
157.         /// 
158.         /// 远程url 
159.         /// 保存到的路径 
160.         /// 
161.         public string RemoteSave(string Url, string Path) 
162.         { 
163.             Random ra = new Random(); 
164.             string StringFileName = DateRndName(ra) + "." + GetFileExtends(Url); 
165.             string StringFilePath = Path + StringFileName; 
166.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass(); 
167.             _xmlhttp.open("GET", Url, false, null, null); 
168.             _xmlhttp.send(""); 
169.             if (_xmlhttp.readyState == 4) 
170.             { 
171.                 if (System.IO.File.Exists(StringFilePath)) 
172.                     System.IO.File.Delete(StringFilePath); 
173.                 System.IO.FileStream fs = new System.IO.FileStream(StringFilePath, System.IO.FileMode.CreateNew); 
174.                 System.IO.BinaryWriter w = new System.IO.BinaryWriter(fs); 
175.                 w.Write((byte[])_xmlhttp.responseBody); 
176.                 w.Close(); 
177.                 fs.Close(); 
178.             } 
179.             else 
180.                 throw new Exception(_xmlhttp.statusText); 
181.             return StringFileName; 
182.         } 
183.         #endregion 
184.         #region 替换网页中的换行和引号 
185.         /********************************** 
186.          * 函数名称:ReplaceEnter 
187.          * 功能说明:替换网页中的换行和引号 
188.          * 参    数:HtmlCode:html源代码 
189.          * 调用示例: 
190.          *          GetRemoteObj o = new GetRemoteObj(); 
191.          *          string Url = @"http://www.baidu.com"; 
192.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
193.          *          string s = o.ReplaceEnter(HtmlCode); 
194.          *          Response.Write(s); 
195.          *          o.Dispose(); 
196.          * ********************************/ 
197.         /// 
198.         /// 替换网页中的换行和引号 
199.         /// 
200.         /// HTML源代码 
201.         /// 
202.         public string ReplaceEnter(string HtmlCode) 
203.         { 
204.             string s = ""; 
205.             if (HtmlCode == null || HtmlCode == "") 
206.                 s = ""; 
207.             else 
208.                 s = HtmlCode.Replace("/"", ""); 
209.             s = s.Replace("/r/n", ""); 
210.             return s; 
211.         } 
213.         #endregion 
215.         #region 执行正则提取出值 
216.         /********************************** 
217.          * 函数名称:GetRegValue 
218.          * 功能说明:执行正则提取出值 
219.          * 参    数:HtmlCode:html源代码 
220.          * 调用示例: 
221.          *          GetRemoteObj o = new GetRemoteObj(); 
222.          *          string Url = @"http://www.baidu.com"; 
223.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
224.          *          string s = o.ReplaceEnter(HtmlCode); 
225.          *          string Reg=""; 
226.          *          string GetValue=o.GetRegValue(Reg,HtmlCode) 
227.          *          Response.Write(GetValue); 
228.          *          o.Dispose(); 
229.          * ********************************/ 
230.         /// 
231.         /// 执行正则提取出值 
232.         /// 
233.         /// 正则表达式 
234.         /// HtmlCode源代码 
235.         /// 
236.         public string GetRegValue(string RegexString, string RemoteStr) 
237.         { 
238.             string MatchVale = ""; 
239.             Regex r = new Regex(RegexString); 
240.             Match m = r.Match(RemoteStr); 
241.             if (m.Success) 
242.             { 
243.                 MatchVale = m.Value; 
244.             } 
245.             return MatchVale; 
246.         } 
247.         #endregion 
249.         #region 替换HTML源代码 
250.         /********************************** 
251.          * 函数名称:RemoveHTML 
252.          * 功能说明:替换HTML源代码 
253.          * 参    数:HtmlCode:html源代码 
254.          * 调用示例: 
255.          *          GetRemoteObj o = new GetRemoteObj(); 
256.          *          string Url = @"http://www.baidu.com"; 
257.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
258.          *          string s = o.ReplaceEnter(HtmlCode); 
259.          *          string Reg=""; 
260.          *          string GetValue=o.GetRegValue(Reg,HtmlCode) 
261.          *          Response.Write(GetValue); 
262.          *          o.Dispose(); 
263.          * ********************************/ 
264.         /// 
265.         /// 替换HTML源代码 
266.         /// 
267.         /// html源代码 
268.         /// 
269.         public string RemoveHTML(string HtmlCode) 
270.         { 
271.             string MatchVale = HtmlCode; 
272.             foreach (Match s in Regex.Matches(HtmlCode, "<.+?>")) 
273.             { 
274.                 MatchVale = MatchVale.Replace(s.Value, ""); 
275.             } 
276.             return MatchVale; 
277.         } 
279.         #endregion 
281.         #region 匹配页面的链接 
282.         /********************************** 
283.          * 函数名称:GetHref 
284.          * 功能说明:匹配页面的链接 
285.          * 参    数:HtmlCode:html源代码 
286.          * 调用示例: 
287.          *          GetRemoteObj o = new GetRemoteObj(); 
288.          *          string Url = @"http://www.baidu.com"; 
289.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
290.          *          string s = o.GetHref(HtmlCode); 
291.          *          Response.Write(s); 
292.          *          o.Dispose(); 
293.          * ********************************/ 
294.         /// 
295.         /// 获取页面的链接正则 
296.         /// 
297.         /// 
298.         /// 
299.         public string GetHref(string HtmlCode) 
300.         { 
301.             string MatchVale = ""; 
302.             string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *('|"")?((/w|//|//|/.|:|-|_)+)('|""| *|>)?"; 
303.             foreach (Match m in Regex.Matches(HtmlCode, Reg)) 
304.             { 
305.                 MatchVale += (m.Value).ToLower().Replace("href=", "").Trim() + "||"; 
306.             } 
307.             return MatchVale; 
308.         } 
309.         #endregion 
311.         #region 匹配页面的图片地址 
312.         /********************************** 
313.          * 函数名称:GetImgSrc 
314.          * 功能说明:匹配页面的图片地址 
315.          * 参    数:HtmlCode:html源代码;imgHttp:要补充的http.当比如:则要补充http://www.baidu.com/,当包含http信息时,则可以为空 
316.          * 调用示例: 
317.          *          GetRemoteObj o = new GetRemoteObj(); 
318.          *          string Url = @"http://www.baidu.com"; 
319.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
320.          *          string s = o.GetImgSrc(HtmlCode,"http://www.baidu.com/"); 
321.          *          Response.Write(s); 
322.          *          o.Dispose(); 
323.          * ********************************/ 
324.         /// 
325.         /// 匹配页面的图片地址 
326.         /// 
327.         /// 
328.         /// 要补充的http://路径信息 
329.         /// 
330.         public string GetImgSrc(string HtmlCode, string imgHttp) 
331.         { 
332.             string MatchVale = ""; 
333.             string Reg = @""; 
334.             foreach (Match m in Regex.Matches(HtmlCode, Reg)) 
335.             { 
336.                 MatchVale += GetImg((m.Value).ToLower().Trim(), imgHttp) + "||"; 
337.             } 
338.             return MatchVale; 
339.         } 
340.         /// 
341.         /// 匹配中的图片路径实际链接 
342.         /// 
343.         /// 字符串 
344.         /// 
345.         public string GetImg(string ImgString, string imgHttp) 
346.         { 
347.             string MatchVale = ""; 
348.             string Reg = @"src=.+/.(bmp|jpg|gif|png|)"; 
349.             foreach (Match m in Regex.Matches(ImgString.ToLower(), Reg)) 
350.             { 
351.                 MatchVale += (m.Value).ToLower().Trim().Replace("src=", ""); 
352.             } 
353.             return (imgHttp + MatchVale); 
354.         } 
356.         #endregion 
358.         #region 替换通过正则获取字符串所带的正则首尾匹配字符串 
359.         /********************************** 
360.          * 函数名称:GetHref 
361.          * 功能说明:匹配页面的链接 
362.          * 参    数:HtmlCode:html源代码 
363.          * 调用示例: 
364.          *          GetRemoteObj o = new GetRemoteObj(); 
365.          *          string Url = @"http://www.baidu.com"; 
366.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
367.          *          string s = o.RegReplace(HtmlCode,""); 
368.          *          Response.Write(s); 
369.          *          o.Dispose(); 
370.          * ********************************/ 
371.         /// 
372.         /// 替换通过正则获取字符串所带的正则首尾匹配字符串 
373.         /// 
374.         /// 要替换的值 
375.         /// 正则匹配的首字符串 
376.         /// 正则匹配的尾字符串 
377.         /// 
378.         public string RegReplace(string RegValue, string regStart, string regEnd) 
379.         { 
380.             string s = RegValue; 
381.             if (RegValue != "" && RegValue != null) 
382.             { 
383.                 if (regStart != "" && regStart != null) 
384.                 { 
385.                     s = s.Replace(regStart, ""); 
386.                 } 
387.                 if (regEnd != "" && regEnd != null) 
388.                 { 
389.                     s = s.Replace(regEnd, ""); 
390.                 } 
391.             } 
392.             return s; 
393.         } 
394.         #endregion 
397.     } 
398. } 
399. 记得添加引用 Interop.MSXML2.dll 否则msxml2命名空间用不了