使用HttpWebRequest的POST取得网页内容(异步操作)

上次说了，如何通过post来取得网页内容。可是有一个问题出现了。当时用的方法是同步操作，如果我其中的一个IP或是在进行转化的过程中，出现了问题，哪么这个程序就会停下来，当然了，有的朋友可能会说，用try...catch也可以啊。因为我是循环取值，所以在catch里加一个continue就行了。可是以前没有搞过异步操作，所以想用这个机会搞一下。就看了一下。
这一看不要紧，搞得我一头雾水。上网上去问，大家给出的方法都是用多线程来搞定。这个在下一个帖子中我会发上来。这里主要说一下用BeginGetResponse，EndGetResponse来完成异步操作。
先说一下，我的要求：
一，从数据库中取出所有的IP
二，利用httpwebrequest的post方法在网上取得它的相应地址。当然了，是用post还是用get主要是看网上的网站是用什么方法来传值。
三，将所得到的值写入数据库

下面我把我的代码放上来，前台没有什么东西，运行的结果是直接写入数据库，
数据库名为DBCT_Dev
省份表S_Province，其中ProvinceName为省分名。ProvinceCode为省分相对的Code
市级表S_City,其中CityName为市名。ZipCode为市相对应的Code。
这二个表是在网上找到的，有很多中国省市关联表，大家可以去下一个。
用户IP表UserCode，其中Code为其IP所对应的省市Code，IP为用户的IP地址。

好了，下面是代码

1. using System;
2. using System.Collections.Generic;
3. using System.Linq;
4. using System.Web;
5. using System.Web.UI;
6. using System.Web.UI.WebControls;
7. using System.IO;
8. using System.Text;
9. using System.Net;
10. using System.Threading;
11. using System.Data;
12. using System.Collections;
14. namespace getPageValue
15. {
16.     public partial class two : System.Web.UI.Page
17.     {
18.         public DBClass db = new DBClass();//我自己写的一个类，主要是用来做一些数据库操作的，你可以使用你自己的
20.         public static Hashtable ht = new Hashtable();
22.         private static ManualResetEvent allDone = new ManualResetEvent(false);
24.         public static string singleid;
26.         protected void Page_Load(object sender, EventArgs e)
27.         {
28.             if (!Page.IsPostBack)
29.             {
31.                 //将数据库中Code为空ip不为空的记录存入，放到一个DataTable中。
32.                 string strsql = "select * from UserCode where UserIP<>'' and (Code is null or code = '')";
33.                 
35.                 DataTable dt = db.GetDataTable(strsql);
38.                 for (int i = 0; i < dt.Rows.Count; i++)
39.                 {
40.                     //调用转化方法
41.                     getPost(dt.Rows[i]["id"].ToString());
44.                     //每次调用间隔一秒，通过实验得到，如果你的数据量大，最好间隔5秒
45.                     Thread.Sleep(1000);
46.                 }
48.                 Thread.Sleep(5000);
50.                 dt.Dispose();
52.                 //调用将转化信息存入数据库的方法
53.                 ChangeUserCode();
54.             }
55.         }
57.         public void getPost(string id)
58.         {
59.             //定义变量
60.             //singleid 传入的用户信息ID
61.             //singleip 根据用户信息ID，而取到的IP
62.             //strAction post必传值之一
63.             //strCode　传入用户信息表中的code值
64.             //
65.             singleid = id;
67.             //通过GetSingleValue方法，得到相应的值，这里GetSingleValue（表名，要得到的值，条件语句）
68.             string singleip = db.GetSingleValue("UserCode", "UserIP", "id=" + singleid).Trim();
69.             string strAction = "2";
70.             string strCode = "";
73.             //将得到的post值，转化为byte型
74.             ASCIIEncoding encoding = new ASCIIEncoding();
75.             string postData = "ip=" + singleip;
76.             postData += "&action=" + strAction;
77.             byte[] data = encoding.GetBytes(postData);
79.             //建立HttpWebRequest
80.             HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create("http://www2.ip138.com/ips8.asp");
81.             myRequest.Method = "POST";
82.             myRequest.ContentType = "application/x-www-form-urlencoded";
83.             myRequest.ContentLength = data.Length;
85.             Stream myStream = myRequest.GetRequestStream();
86.             myStream.Write(data, 0, data.Length);
87.             myStream.Close();
89.             //开始调用异步操作
90.             myRequest.BeginGetResponse(new AsyncCallback(ReadCallback), myRequest);
92.             allDone.WaitOne();
93.         }
95.         private void ReadCallback(IAsyncResult asynchronousResult)
96.         {
97.             HttpWebRequest request = (HttpWebRequest)asynchronousResult.AsyncState;
99.             //Stream postStream = request.EndGetResponse(asynchronousResult);
101.             //异步回调方法使用 EndGetResponse 方法返回实际的 WebResponse。 
102.             HttpWebResponse response = (HttpWebResponse)request.EndGetResponse(asynchronousResult);
103.             Stream streamResponse = response.GetResponseStream();
104.             StreamReader streamRead = new StreamReader(streamResponse, Encoding.Default);
105.             string content = streamRead.ReadToEnd();
106.             //string con = responseString.Substring(responseString.IndexOf("本站主数据") + 6, responseString.IndexOf("</li><li>参考数据一") - responseString.IndexOf("本站主数据") - 1);
107.             //Response.Write(con + "<br>");
110.             //判断是否是有省市的信息，如果信息中有省，市，则进行存入数据库，如为127.0.0.1，是直接给本省code。其它信息，则不给记录
111.             string singleip = "";
112.             string strCode = "";
113.             
114.             if (singleip == "127.0.0.1")
115.             {
116.                 strCode = "0008";
117.             }
118.             else
119.             {
120.                 if (content.IndexOf("省") == -1 && content.IndexOf("市") == -1 && singleid != "127.0.0.1")
121.                 {
122.                     if (content.IndexOf("查询太频繁") != -1)
123.                     {
124.                         strCode = "查询太频繁";
125.                     }
126.                     else
127.                     {
128.                         strCode = "0035";
129.                     }
130.                 }
131.                 else
132.                 {
133.                     if (content.IndexOf("省") != -1)
134.                     {
135.                         string con = content.Substring(content.IndexOf("本站主数据") + 6, content.IndexOf("</li><li>参考数据一") - content.IndexOf("本站主数据") - 1);
136.                         string strpro = con.Substring(0, con.IndexOf("省") + 1);
137.                         strCode = db.GetSingleValue("S_Province", "ProvinceCode", "ProvinceName='" + strpro + "'").Trim();
138.                         //strCode = strpro;
139.                     }
141.                     if (content.IndexOf("市") != -1)
142.                     {
143.                         string con = content.Substring(content.IndexOf("本站主数据") + 6, content.IndexOf("</li><li>参考数据一") - content.IndexOf("本站主数据") - 1);
144.                         string strpro = con.Substring(con.IndexOf("省") + 1, con.IndexOf("市") - con.IndexOf("省"));
145.                         strCode += db.GetSingleValue("S_City", "ZipCode", "CityName='" + strpro + "'").Trim(); ;
146.                     }
147.                 }
149.             }
152.             if (strCode == "")
153.             {
154.                 strCode = "0035";
155.             }
157.             //将信息存入hashtable
158.             ht.Add(singleid, strCode);
162.             streamResponse.Close();
163.             streamRead.Close();
166.             response.Close();
170.             allDone.Set();
172.         }
175.         public void ChangeUserCode()
176.         {
177.             if (ht.Count > 0)
178.             {
179.                 foreach (DictionaryEntry objDE in ht)
180.                 {
181.                     string strsql = "update UserCode set Code='" + objDE.Value.ToString() + "' where id=" + objDE.Key.ToString() + "";
182.                     try
183.                     {
184.                         db.ExecuteSql(strsql);
185.                     }
186.                     catch
187.                     {
188.                         continue;
189.                     }
190.                 }
191.             }
192.         }
195.     }
196. }

下面的是周公在CSDN上一个帖子上给出的代码是用BeginGetRequestStream，GetResponseStream来完成的

1. using System;
2. using System.Net;
3. using System.IO;
4. using System.Text;
5. using System.Threading;
7. class HttpWebRequestBeginGetRequest
8. {
9.     public static ManualResetEvent allDone = new ManualResetEvent(false);
10.     public static void Main()
11.     {
12.         
14.             // Create a new HttpWebRequest object.
15.             HttpWebRequest request=(HttpWebRequest) WebRequest.Create("http://www.contoso.com/example.aspx");    
16.     
17.             // Set the ContentType property. 
18.             request.ContentType="application/x-www-form-urlencoded";
19.             // Set the Method property to 'POST' to post data to the URI.
20.             request.Method = "POST";
21.             // Start the asynchronous operation.    
22.             request.BeginGetRequestStream(new AsyncCallback(ReadCallback), request);    
23.             
24.             // Keep the main thread from continuing while the asynchronous
25.             // operation completes. A real world application
26.             // could do something useful such as updating its user interface. 
27.             allDone.WaitOne();
29.             // Get the response.
30.             HttpWebResponse response = (HttpWebResponse)request.GetResponse();
31.             Stream streamResponse = response.GetResponseStream();
32.             StreamReader streamRead = new StreamReader(streamResponse);
33.             string responseString = streamRead.ReadToEnd();
34.             Console.WriteLine(responseString);
35.             // Close the stream object.
36.             streamResponse.Close();
37.             streamRead.Close();
38.     
39.             // Release the HttpWebResponse.
40.             response.Close();
41.         }
42.     
43.     private static void ReadCallback(IAsyncResult asynchronousResult)
44.     {    
45.             HttpWebRequest request = (HttpWebRequest)asynchronousResult.AsyncState;
46.             // End the operation.
47.             Stream postStream = request.EndGetRequestStream(asynchronousResult);
48.             Console.WriteLine("Please enter the input data to be posted:");
49.             string postData = Console.ReadLine ();
50.             
51.             // Convert the string into a byte array.
52.             byte[] byteArray = Encoding.UTF8.GetBytes(postData);
53.             // Write to the request stream.
54.             postStream.Write(byteArray, 0, postData.Length);
55.             postStream.Close ();
56.             allDone.Set();    
57.     }
59. }

这二个有什么区别呢，自己好好看一下吧。