python大数据算法_互联网大数据：Python实现网络爬虫（算法编程技巧）
用来访问Internet资源。
import urllib2, cookielib
urllib,urllib2,json,cookielib库的使用。opener = urllib2.build_opener(urllib2.httpcookieprocessor(cookiejar))。opener=urllib2.build_opener(cookie_support,urllib2.httphandler)。
opener = urllib2.build_opener(cookie_support)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()
每次用new创建一个对象实例后，对象实例存储在堆区域中，这部分空间也被jvm的垃圾回收机制管理。注：我们知道spring mvc是多线程单实例的mvc框架，就是说，对于同一个controller，只会生成一个实例来处理所有的请求，因此bean实例只会实例化一次，并被存放在工厂中，以供其他请求使用。而该工具的作用就是可以快速的选择要加载的cpk补丁文件，并生成新的dpfilelist.bin文件，而无需手动添加代码，操作也是十分的便利，玩家可以很容易的更新补丁。
cookie = 'PHPSESSID=91rurfqm2329bopnosfu4fvmu7;kmsign=55d2c12c9b1e3; KMUID=b6Ejc1XSwPq9o756AxnBAg='
request.add_header('Cookie', cookie)
4)伪装成浏览器
某些网站对爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况。对有些header要特别留意，Server端会针对这些 header做检查，例如：对于User-Agent有些Server或Proxy会检查该值，用来判断是否是浏览器发起的Request；对于Content-Type在使用REST接口时，Server会检查该值，用来确定HTTPBody中的内容该怎样解析。这时可以通过修改http包中的header来实现。
import urllib2
headers = {
rv:1.8.0.9) gecko/20070101 firefox/1.5.0.9 mozilla/5.0 (x11。--user-agent='mozilla/5.0 (windows nt 6.0) gecko/20100101 firefox/14.0.1'。 rv:1.9.1.6) gecko/20091201 firefox/3.5.6'。
}
request = urllib2.Request(
url = 'http://my.oschina.net/jhao104/blog?catalog=3463517',
headers = headers
)
print urllib2.urlopen(request).read()
5)页面解析
使用正则表达式解析网页，
入门：，
测试：。
builder模式及其dialog系统源码分析，责任链模式模式及其android系统事件分发机制详解，android handler源码分析，packagemanagerservice源码解析及其apk安装原理,解释器模式及其在packageparser源码中的运用，activity启动流程源码全解析，listview的复用机制源码层分析，属性源码详解，message链表原理，binder核心原理与架构设计。19. 修改xml解析支持库，增加写出cdata数据功能，解决解析xml时错误的丢弃换行和tab字符的bug，解决读取节点值时对cdata数据进行转义处理的bug。具体内容：初学者快速入门：java web编程入门学习与训练及该部分内容全程技术支持编程视频录像：80小时项目开发全程录像典型实例应用：2500个典型实例实用项目精讲：32个实用项目开发技术全解：入门训练营超级编程课堂开发资源库 数字插件库项目程序源码：2870个实用源码界面素材参考：80套设计界面。
6)验证码的处理
对于一些简单的验证码，可以进行简单的识别。对于有些非常复杂的验证码，可以通过打码平台进行人工打码。
7)gzip压缩
数据终端设备以二进制串行信号形式提供发送的数据，经接口转换为内部逻辑电平送入发送部分，经调制电路调制成线路要求的信号向线路发送。图4.1展示了一个.sst文件的物理划分结构，同log文件一样，也是划分为固定大小的存储块，每个block分为三个部分，红色部分是数据存储区，蓝色的type区用于标识数据存储区是否采用了数据压缩算法(snappy压缩或者无压缩两种)网络爬虫算法书籍，crc部分则是数据校验码，用于判别数据是否在生成和传输中出错。tcp(传输控制协议)要求数据接收设备定期确认收到数据，然后，tcp窗口的大小会在数据发送设备停止发送和等待数据接收确认前，决定数据的传输量。
import urllib2, httplib
request = urllib2.Request('http://xxxx.com')
request.add_header('Accept-encoding', 'gzip')
opener = urllib2.build_opener()
f = opener.open(request)
要点：创建Request对象，添加Accept-encoding头信息告诉服务器能接受gzip压缩数据，然后解压缩数据。
import StringIO
import gzip
compresseddata = f.read()
但这里显然不需要也最好不要将图像写进硬盘，因此需要一个内存中的“文件”，这就是stringio。buf=stringio.stringio(jpeg[0:-1])。 im0 = image.open(stringio.stringio(browser.get_screenshot_as_png()))。
gzipper = gzip.GzipFile(fileobj=compressedstream)
print gzipper.read()
8)多线程并发抓取
单线程太慢的话，就需要多线程，以下是个简单的并发的线程池模板。虽然Python多线程很鸡肋，但是对于爬虫这种网络频繁型网络爬虫算法书籍，还是能一定程度提高效率的。
from threading import Thread
from Queue import Queue
from time import sleep
#q是任务队列
#NUM是并发线程总数
#JOBS是有多少任务
q = Queue()
NUM = 2
JOBS = 10
#具体的处理函数，负责处理单个任务
def do_somthing_using(arguments):
print arguments
#这个是工作进程，负责不断从队列取数据并处理
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
sleep(1)
q.task_done()
#fork NUM个线程等待队列
for i in range(NUM):
t = Thread(target=working)
t.setDaemon(True)
t.start()
#把JOBS排入队列
for i in range(JOBS):
q.put(i)
#等待所有JOBS完成
q.join()
本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-116057-1.html