HttpClient 检索与获取过程数据
使用 HttpClient 检索与获取过程数据
对于System.Net.Http的学习（一）——System.Net.Http 简介
对于System.Net.Http的学习（二）——使用 HttpClient 进行连接
如何使用 HttpClient 处理程序
将 HttpClientHandler 类与 System.Net.Http 命名空间中的 HttpClient 类结合使用，以向 Web Service发送 GET 请求并检索响应。
HttpClient 类用于通过 HTTP 发送和接收基本要求。它提供了一个用于从 URI 所标识的资源发送 HTTP 请求和接收 HTTP 响应的基类。该类可用来向 Web 服务发送 GET、PUT、POST、DELETE 以及其他请求。上述每种请求都作为异步操作进行发送。
HttpClientHandler 类是 HttpClient 的默认消息处理程序。HttpClientHandler 类以及从该类派生的类让开发人员可以对 HTTP 请求配置从代理到身份验证的一系列选项。
一: 创建新项目
打开 Microsoft Visual Studio 2010，然后从“文件”菜单中选择“新建项目”。在模板列表中，选择 Visual C#。在该区域下面，选择“Windows”，然后选择“Windows窗体应用程序”。将该应用程序命名为 HttpClientHandlerSample，然后单击“确定”。
二: 添加 WINDOWS UI
在本节中，我们将在 Windows Form 中定义应用的布局，以指定应用中每个对象的大小和位置。 通过添加显示数据的控件和内容，我们已经完成了应用的用户界面。如下图。
三: 创建 HttpClientHandler，发送 GET 请求并检索响应
以下示例代码将首先创建 HttpClientHandler 对象。该代码还将对该对象设置一个属性，并使用 HttpClientHandler 创建一个 HttpClient 对象。
- 首先创建 HttpClientHandler 对象。将 AllowAutoRedirect 属性设置为 false。此示例显示了如何使用 HttpClientHandler 属性来设置有关 HTTP 请求的选项。
AllowAutoRedirect 属性指示 HttpClientHandler 对象的请求是否应遵循重定向响应。此属性的默认值是 true。如果此属性被设置为 false，则不会遵循 Web 服务的重定向请求。
然后，使用 HttpClientHandler 对象创建 HttpClient 对象。我们还在 HttpClient 对象上设置两个属性。HttpClient.MaxResponseContentBufferSize 属性的默认大小是整数的最大大小。为了限制应用作为来自 Web 服务的响应接受的数据量，我们将此属性设置为一个较小的值。
默认情况下，HttpClient 对象不会将用户代理标头随 HTTP 请求一起发送到 Web 服务。某些 HTTP 服务器（包括某些 Microsoft Web 服务器）要求从客户端发送的 HTTP 请求附带用户代理标头，并且如果没有标头，则返回错误。为了避免这些错误，示例使用 HttpClient.DefaultRequestHeaders 属性添加了用户代理标头。
打开 Form1.cs 文件，然后将如下代码添加到该文件中。
private HttpClient httpClient; private HttpClientHandler handler; public void Init() { txtUrl.Text = "http://webservices.amazon.com/AWSECommerceService/AWSECommerceService.wsdl"; handler = new HttpClientHandler(); handler.AllowAutoRedirect=false; httpClient = new HttpClient(handler); // Limit the max buffer size for the response so we don't get overwhelmed httpClient.MaxResponseContentBufferSize = 256000; // Add a user-agent header httpClient.DefaultRequestHeaders.Add("user-agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0)"); }
2. 发送 GET 请求并检索响应。
在单击“请求”按钮之后，txtStatusText 和 txtMsg两个文本框中的文本将被更新，然后使用输入到txtUrl文本框中的 URI 地址发送 HTTP GET 请求并等待响应。如果发生错误或异常，错误信息会显示在 txtStatusText文本框中。如果没有错误发生，则来自该 Web 服务的响应将显示在 txtMsg文本框中。
说明：
在 visual studio 2012 中的 C# 和 Visual Basic 中可以使用 await 关键字时，发送 GET 请求并异步检索响应的代码与我们用于同步完成该操作的代码相似。只有在该方法被定义为 async 时，才能使用 await 关键字。
如果 Web 服务器返回 HTTP 错误状态代码，则 HttpResponseMessage.EnsureSuccessStatusCode 方法将引发异常。 如果发生错误，则对任何异常使用 try/catch 块，并把错误信息显示在txtStatusText 文本框中的异常消息。在 try 块中，显示 Web 服务所返回的状态和响应。
HttpResponseMessage.Content 属性声明 HTTP 响应的内容。HttpContent.ReadAsStringAsync 方法将 HTTP 内容作为异步操作写入到字符串中。
private void btnRequest_Click(object sender, EventArgs e) { try { txtMsg.Text=string.Empty; txtStatusText.Text = "等待请求返回 ..."; var task = httpClient.GetAsync(txtUrl.Text); task.Result.EnsureSuccessStatusCode(); HttpResponseMessage response = task.Result; txtStatusCode.Text = response.StatusCode + " " + response.ReasonPhrase + Environment.NewLine; txtStatusText.Text = "请求返回结果如下 ..."; var result = response.Content.ReadAsStringAsync(); string responseBodyAsText = result.Result; responseBodyAsText = responseBodyAsText.Replace("<br>", Environment.NewLine); // Insert new lines txtMsg.Text=responseBodyAsText; } catch (HttpRequestException hre) { txtStatusText.Text = hre.ToString(); } catch (Exception ex) { txtStatusText.Text = ex.ToString(); } }
备注
在本文中，我们介绍了如何将 HttpClientHandler 与 HttpClient 类结合使用，以向 Web 服务发送 GET 请求，以及如何使用 HttpResponseMessage 和 HttpContent 类检索响应。HttpClientHandler 允许应用设置有关 HTTP 请求的选项。
有一些 HTTP 消息处理程序可以与 HttpClient 类结合使用。
- HttpClientHandler - 本文中 HttpClient 所用的默认消息处理程序。
- MessageProcessingHandler - 一种基本的 HTTP 消息处理程序。这是最容易进行派生的处理程序，应该作为大多数自定义处理程序的起点。
- DelegatingHandler - 一种基本的 HTTP 处理程序，可将 HTTP 响应消息的处理委派给其他处理程序。
完整示例：
HttpClientHandler 示例 C# using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using System.Net.Http; namespace HttpClientHandlerSample { public partial class Form1 : Form { public Form1() { InitializeComponent(); Init(); } private HttpClient httpClient; private HttpClientHandler handler; public void Init() { txtUrl.Text = "http://webservices.amazon.com/AWSECommerceService/AWSECommerceService.wsdl"; handler = new HttpClientHandler(); handler.AllowAutoRedirect=false; httpClient = new HttpClient(handler); // Limit the max buffer size for the response so we don't get overwhelmed httpClient.MaxResponseContentBufferSize = 256000; // Add a user-agent header httpClient.DefaultRequestHeaders.Add("user-agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0)"); } private void btnRequest_Click(object sender, EventArgs e) { try { txtMsg.Text=string.Empty; txtStatusText.Text = "等待请求返回 ..."; var task = httpClient.GetAsync(txtUrl.Text); task.Result.EnsureSuccessStatusCode(); HttpResponseMessage response = task.Result; txtStatusCode.Text = response.StatusCode + " " + response.ReasonPhrase + Environment.NewLine; txtStatusText.Text = "请求返回结果如下 ..."; var result = response.Content.ReadAsStringAsync(); string responseBodyAsText = result.Result; responseBodyAsText = responseBodyAsText.Replace("<br>", Environment.NewLine); // Insert new lines txtMsg.Text=responseBodyAsText; } catch (HttpRequestException hre) { txtStatusText.Text = hre.ToString(); } catch (Exception ex) { txtStatusText.Text = ex.ToString(); } } } }
循序渐进学Python】11.常用标准库
安装完Python之后，我们也同时获得了强大的Python标准库，通过使用这些标准库可以为我们节省大量的时间。这里是一些常用标准库的简单说明。更多的标准库的说明，可以参考Python文档
sys 模块
sys模块能够访问与Python解释器紧密联系的变量和函数，下面是 sys 模块中一些常用的函数和变量：
argv 命令行参数，包括脚本名称 exit([arg]) 退出当前程序，可选参数给定的返回值或错误信息 modules 隐射模块名字到载入模块的字典 path 查看模块所在目录的目录名列表 platform 类似sunos5或win32平台标识符 stdin 标准输入流——一个类文件(file-like)对象 stdout 标准输出流——一个类文件对象 stderr 标准错误流——一个类文件对象
下面的示例通过 argv 获取命令行参数，然后将其反转：
import sys args = sys.argv[1:] # 跳过第一个元素(脚本名称) args.reverse() print ' '.join(args)
更多使用方法，可以查看Python 文档：http://docs.python.org/2/library/sys.html
os模块
os模块提供了很多访问操作系统服务的功能。下面是一些常用的函数和变量：
environ 会环境变量进行隐射 system(command) 在子shell中执行操作系统命令 sep 路径中的分隔符 pathsep 分隔路径的分隔符 linesep 行分隔符('\n','\r','\r\n') urandom(n) 返回n自己的加密强随机数
下面示例通过 environ 变量来查询环境变量中的 path 变量值：
import os # C:\Perl64\site\bin;C:\Perl64\... print os.environ['path']
根据不同的操作系统返回对于的路径分隔符：
# -- coding: utf-8 -- import os # 返回操作系统中的路径分隔符 # windows:'\' # UNIX/LINUX:'/' # Mac OS:':' print os.sep
更多使用方法，可以查看Python 文档：http://docs.python.org/2/library/os.html
fileinput 模块
fileinput 模块可以轻松的遍历文本文件的所有行。下面是 fileinput 模块中重要的函数：
input([files[, inplace[. backup]]) 便于遍历多个输入流中的行
filename() 返回当前文件的名称
filelineno() 返回当前处理文件当前(累计)行数
isfirstline() 检查当前行是否是文件的第一行
isstdin() 检查最后一行是否来自sys.stdin
nextfile() 关闭当前文件，移动到下一个文件
close() 关闭序列
更多使用方法，可以查看Python 文档：http://docs.python.org/2/library/fileinput.html
集合
集合(set)在Python 2.3 引入。Set类位于 sets 模块中。使用集合不需要导入，直接使用即可：
print set(range(10)) # set([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
集合是由序列(或者其他可迭代对象)构建的，它们主要用于检查成员资格，因此副本是被忽略的：
print set([0, 1, 2, 3, 1, 2, 3]) # set([0, 1, 2, 3])
除了检查成员资格，还可以使用标准的集合操作，如：并集和交集，既可以使用方法，也可以直接使用运算操作符：
1 a = set([1,2,3]) 2 b = set([2,3,4,5]) 3 print a.union(b) # set([1, 2, 3, 4, 5]) 4 print a | b # set([1, 2, 3, 4, 5]) 5 6 c = a & b 7 print c.issubset(a) # True 8 9 print c <= a # True 10 print c.intersection(b) # set([2, 3]) 11 12 print a & b # set([2, 3]) 13 print a.difference(b) # set([1]) 14 15 print a - b # set([1]) 16 print a.symmetric_difference(b) # set([1, 4, 5]) 17 18 print a ^ b # set([1, 4, 5]) 19 print a.copy() # set([1, 2, 3]) 20 print a.copy() is a # False
更多使用运算符和方法，可以查看Python 文档：http://docs.python.org/2/library/sets.html
集合是可变的，且本身只能包含不可变值，但是一个包含集合的集合是常见的，这时，我们只需使用 frozenset 类型对集合进行包装即可，frozenset 构造函数可以创建给定集合的一个副本：
a = set([1,2,3]) b = set([2,3,4,5]) a.add(frozenset(b)) print a # set([1, 2, 3, frozenset([2, 3, 4, 5])])
堆
堆(heap)是优先队列的一种。使用优先队列能够以任意顺序增加对象，并且能在任何时间（可能在增加对象的同时）找到（也可能是移除）最小的元素（比列表的min方法更有效率）。在Python中没有独立的堆类型——只有一个包含一些堆操作的模块，该模块是 heapq,包含了六个函数：
heappush(heap,x) 将x入堆
heappop(heap) 将堆中最小的元素弹出
heapify(heap) 将heap属性强制应用到任意一个列表
heapreplace(heap,x) 将堆中最小的元素弹出，同时将x入堆
nlargest(n,iter) 返回iter中第n大的元素
nsmallest(n,iter) 返回iter中第n小的元素
heappush 函数用于增加堆的项，如下：
1 from heapq import * 2 from random import shuffle 3 4 data = range(10) 5 shuffle(data) 6 heap = [] 7 for n in data: 8 heappush(heap,n) 9 10 print heap # [0, 2, 1, 4, 3, 7, 5, 9, 6, 8] 11 12 heappush(heap,0.5) 13 print heap # [0, 0.5, 5, 3, 1, 6, 7, 9, 8, 4, 2]
更详细的使用方法和文档，请参考Python文档：http://docs.python.org/2/library/heapq.html
堆属性(heap property)
堆元素的排序是有规则的：位于i位置上的元素总比i//2位置处的元素大(或者说位置i处的元素总比2i以及21+1位置处的元素小)
双端队列
双端队列(Double-ended queue)在需要按照元素增加的顺序来移除元素时非常有用。双端队列通过可迭代对象(比如集合)创建：
1 from collections import deque 2 3 q = deque(range(5)) 4 q.append(5) 5 q.appendleft(6) 6 7 print q # deque([6, 0, 1, 2, 3, 4, 5]) 8 print q.pop() # 5 9 10 q.rotate(3) 11 print q # deque([2, 3, 4, 6, 0, 1]) 12 13 q.rotate(-1) 14 print q # deque([3, 4, 6, 0, 1, 2])
更详细的使用方法和文档，请参考Python文档：http://docs.python.org/2/library/collections.html#collections.deque
time 模块
time 模块所包含的函数能够实现以下功能：获取当前时间、操作时间和日期、从字符串读取时间以及格式化时间字符串。日期可以使用实数(从“新纪元”的1月1日0 点开始计算到现在的秒数，新纪元是一个与平台相关的年份，对于UNIX来说是1970年)，或者是包含9个整数的元组，它们分别表示下面的含义：
(2008,1,21,12,2,56,0,21,0) # 年、月、日、时、分、秒、周、儒日历、夏令时
下面是 time 模块最常用的函数：
asctime([tuple]) 将时间元组转换为字符串
localtime([secs]) 将秒数转换为日期元组，以本地时间为准
mktime(tuple) 将时间元组转换为本地时间
sleep(secs) 休眠 secs秒
strptime(string[, format]) 将字符串解析为时间元组
time() 当前时间(新纪元开始后的秒数，以UTC为准)
更详细的使用方法和文档，请参考Python文档：http://docs.python.org/2.7/library/time.html
此外，除了 time 模块，Python还提供了两个和时间密切相关的模块：
random 模块
random 模块包含返回随机数(伪随机数)的函数，下面是 random 模块的重要函数:
random() 返回 0 ≤ n < 1 之间的随机实数n，其中 0 < n ≤ 1 getrandbits(n) 以长整型形式返回n个随机数 uniform(a,b) 返回随机实数n,其中 a ≤ n < b randrange([start],stop,[step]) 返回range(start,stop,step)中的随机数 choice(seq) 从序列seq中返回随意元素 shuffle(seq[, random]) 原地指定序列seq sample(seq,n) 从序列seq中选择n个随机且独立的元素
下面的示例可以随机产生2008 ~ 2009 之间的随机一天：
from random import * from time import * date1 = (2008,1,1,0,0,0,-1,-1,-1) time1 = mktime(date1) date2 = (2009,1,1,0,0,0,-1,-1,-1) time2 = mktime(date2) random_time = uniform(time1,time2) print asctime(localtime(random_time))
更详细的使用方法，请参考Python文档：http://docs.python.org/2/library/random.html
shelve 模块
使用 shelve 模块提供了一个简单的文件存储方案。我们可以将一个对象持久化到文件中，如下：
1 import sys, shelve 2 3 def main(): 4 data = shelve.open("D:\\data.dat") 5 employee = {} 6 employee['name'] = 'sunshine' 7 employee['email'] = '[email protected]' 8 pid = '1' 9 try: 10 data[pid] = employee 11 finally: 12 data.close() 13 14 if __name__ == '__main__': main()
持久化之后，可以再次读取文件中的内容：
import sys, shelve def main(): pid = '1' data = shelve.open("D:\\data.dat") print data[pid] # {'name': 'sunshine', 'email': '[email protected]'} if __name__ == '__main__': main()
更详细的使用方法，请参考Python文档：http://docs.python.org/2/library/shelve.html