血皇敖天
血皇敖天

urllib_demos（urllib.request类；HTTPResponse类对象构造及属性方法；自定义opener/设置代理服务器等）

"""
urllib_demos.py
（urllib.request类；HTTPResponse类对象构造及属性方法；自定义opener/设置代理服务器等）


使用：
# #urllib库包含四大模块：
# #urllib.request        : 请求模块
# #urllib.error          : 异常处理模块
# #urllib.parse          : URL解析模块
# #urllib.robotparser    : robots.txt解析模块

一、##### urllib.request类
1.1 #使用：urllib.request.urlopen(url, data=None, timeout=, *, cafile=None, capath=None, cadefault=False, context=None)
#来发送HTTP请求，获取网页内容。
#参数url: 可以是字符串，也可以是一个urllib.request请求对象

#参数data: 指定发送数据
#注意：data参数必须是一个bytes对象
#注意：使用urllib.parse.urlencode()可以将自定义的data转换为标准格式，其接受键值对参数。
#注意：data默认为None时时GET方式发送请求，当用户设置data参数时需要将发送请求的方式改为POST

#参数timeout: 可选参数，设置超时时间，单位为秒。
#参数cafile/capath/cadefault: 用于实现可信任的CA证书的HTTPS请求。很少用到
#参数context: 实现SSL加密传输。很少用到


二、##### HTTPResponse类对象
#使用：urllib.request模块中的urlopen()方法发送HTTP请求，
#返回的相应内容封装在一个HTTPResponse类对象中，该类属于http.client模块.
#该类提供了获取URL、状态码、相应内容等一系列方法。如：
#geturl(): 用于获取相应内容的URL，该方法可以验证发送的HTTP请求是否被重新调配。
#info(): 返回页面的元信息。
#getcode(): 返回HTTP请求的相应状态码。
#read():  读取获取到的网页内容

2.1 ##### 构造Request对象
#使用：urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None))
#来构造Request对象
#参数data: 默认为None,该参数表示提交表单数据，同时HTTP请求方法将从 默认的GET方法改为POST方式
#参数headers: 默认为空，该参数是一个字典类型，包含了需要发送的HTTP报头的键值对。

2.2 ##### URL的编码解码
#使用: urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=)
#来将URL进行编码。可以将key:value格式的键值对转换成伟'key=value'格式的字符串。

#使用：urllib.parse.unquote(string, encoding='utf-8', errors='replace')
#来将编码过的URL进行解码，对应urllib.parse.urlencode()

2.3 ##### 添加特定 headers
#使用：Request.add_header()方法添加特定的Headers.
#使用：Request.get_header()方法来查看已有的Headers。

#运行程序后，使用Fiddler查看HTTP请求，可以看到在发送的请求头中，已经包含了添加的headers


三、###### 代理服务器（设置代理）
#注意：urllib.request.urlopen()是urllib.request.OpenerDirector类的对象
#注意：urllib.request.urlopen()不支持代理、Cookie等其他HTTP/HTTPS高级功能。
#如果需要设置代理，需要自定义opener,而urllib.request.urlopen()就是模块构建好的一个opener

3.1 #使用：代理服务器设置 需要 自定义opener，需要执行下列3个步骤：
#1、使用相关的 Handler处理器创建特定功能的处理器对象
#2、通过 urllib.request.build_opener()方法 使用这些处理器对象 创建自定义的 opener对象。
#3、使用自定义的 opener对象，调用 open()方法 发送请求。
#注意：如果程序中所有的请求都使用 自定义的opener,可以使用urllib2.install_opener()将自定义的opener对象定义为全局opener,
#表示以后凡是调用 urlopen，都将使用自定义的opener。

#####
3.2 #使用：urllib.request.ProxyHandler(proxies=None)方法 来设置代理服务器，
#然后自定义opener，然后在使用opener的open()方法发送请求。

四、#####
#使用：urllib.error.URLError 捕获网络异常.
#使用：urllib.error.HTTPError 捕获服务器异常。

"""

# =============================================================================
# #urllib
# #urllib库是python内置的HTTP请求库，可以看作处理URL的组件集合。
# #
# #urllib库包含四大模块：
# #urllib.request        : 请求模块
# #urllib.error          : 异常处理模块
# #urllib.parse          : URL解析模块
# #urllib.robotparser    : robots.txt解析模块
# =============================================================================

##########
#探索urllib模块
import urllib

help(urllib)
dir(urllib)

help(urllib.request)
help(urllib.parse)
help(urllib.response)
help(urllib.error)

dir(urllib.request)
dir(urllib.response)
dir(urllib.parse)
dir(urllib.error)


##########
#常用类、属性、方法等
help(urllib.request)
dir(urllib.request)

help(urllib.request.urlopen)


#####
#使用：urllib.request.urlopen(url, data=None, timeout=, *, cafile=None, capath=None, cadefault=False, context=None)
#来发送HTTP请求，获取网页内容。

#参数url: 可以是字符串，也可以是一个urllib.request请求对象

#参数data: 指定发送数据
#注意：data参数必须是一个bytes对象
#注意：使用urllib.parse.urlencode()可以将自定义的data转换为标准格式，其接受键值对参数。
#注意：data默认为None时时GET方式发送请求，当用户设置data参数时需要将发送请求的方式改为POST

#参数timeout: 可选参数，设置超时时间，单位为秒。
#参数cafile/capath/cadefault: 用于实现可信任的CA证书的HTTPS请求。很少用到
#参数context: 实现SSL加密传输。很少用到

import urllib.request
response=urllib.request.urlopen('http://www.baidu.com')
print(type(response))                   #返回HTTPResponse类型的对象。
html=response.read().decode('utf-8')    #使用：read()方法读取获取到的网页内容
print(type(html))

#data参数的使用
import urllib.request
import urllib.parse
data=bytes(urllib.parse.urlencode({'world':'hello'}).encode('utf-8'))
response=urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read())                  #使用：read()方法读取获取到的网页内容
print(response)


##### HTTPResponse类对象
#使用：urllib.request模块中的urlopen()方法发送HTTP请求，
#返回的相应内容封装在一个HTTPResponse类对象中，该类属于http.client模块.
#该类提供了获取URL、状态码、相应内容等一系列方法。如：
#geturl(): 用于获取相应内容的URL，该方法可以验证发送的HTTP请求是否被重新调配。
#info(): 返回页面的元信息。
#getcode(): 返回HTTP请求的相应状态码。
#read():  读取获取到的网页内容

import urllib.request
response=urllib.request.urlopen('http://python.org')
print(response.geturl())    #获取URL
print(response.getcode())   #获取状态码
print(response.info())      #获取元信息
print(response.read())      #读取获取到的网页内容



##### 构造Request对象
#使用：urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None))
#来构造Request对象
#参数data: 默认为None,该参数表示提交表单数据，同时HTTP请求方法将从 默认的GET方法改为POST方式
#参数headers: 默认为空，该参数是一个字典类型，包含了需要发送的HTTP报头的键值对。
import urllib.request
import urllib.parse
#help(urllib.request.Request)

url='http://www.itcast.cn'
headers={'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} 

dict_demo={'name':'itcast'}
data=bytes(urllib.parse.urlencode(dict_demo).encode('utf-8'))

#构造Request对象
request=urllib.request.Request(url, data=data, headers=headers)
response=urllib.request.urlopen(request)
#html=response.read().decode('utf-8')
#print(html)
print(response.read().decode('utf-8'))      #读取获取到的网页内容
print(response.geturl())    #获取URL
print(response.getcode())   #获取状态码
print(response.info())      #获取元信息


##### URL的编码解码
#使用: urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=)
#来将URL进行编码。可以将key:value格式的键值对转换成伟'key=value'格式的字符串。

#使用：urllib.parse.unquote(string, encoding='utf-8', errors='replace')
#来将编码过的URL进行解码，对应urllib.parse.urlencode()

import urllib.parse
#help(urllib.parse.urlencode)
#help(urllib.parse.unquote)
data={
      'a':'传播智客',
      'b':'黑马程序员'
      }
result=urllib.parse.urlencode(data)      #urlencode()对URL进行编码
print(result)

result2=urllib.parse.unquote(result)     #unquote()对编码过的URL进行解码
print(result2)


##### 处理GET请求（通过编码url，构造新URL，构造Request对象，添加headers等）
import urllib.request
import urllib.parse

url='http://www.baidu.com'
word={'wd':'传播智客'}
word=urllib.parse.urlencode(word)        #urlencode()对URL进行编码

url=url + '?' + word
headers={'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} 

request=urllib.request.Request(url,headers=headers)
response=urllib.request.urlopen(request)

print(response.read().decode('utf-8'))      #读取获取到的网页内容
print(response.geturl())    #获取URL
print(response.getcode())   #获取状态码
print(response.info())      #获取元信息


##### 处理POST请求（）
#注意：如果以POST方式发送请求，urlopen()方法必须设置data参数。data参数以字典形式存放数据。
import urllib.request
import urllib.parse

url='http://fanyi.youdao.com/translate?smartresult-dict&smartresult=rule&smartresult=ugc&sessionFrom=null'
headers={'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} 


#深入：Fiddler抓包软件，打开fiddler请求窗口，点击WebFroms选项查看数据体。
#注意：打开 Fiddler 请求窗口，点击 WebFroms选项 查看数据体。

formdata={
        'type':'AUTO',
        'I':'I love python',
        'doctypev':'json',
        'xmlVersion':'1.8',
        'keyfrom':'fanyi.web',
        'ue':'utf-8',
        'action':'FY_BY_ENTER',
        'typoResult':'true'
        }

data=bytes(urllib.parse.urlencode(formdata).encode('utf-8'))
request=urllib.request.Request(url,data=data,headers=headers)
response=urllib.request.urlopen(request)

print(response.read().decode('utf-8'))      #读取获取到的网页内容
print(response.geturl())    #获取URL
print(response.getcode())   #获取状态码
print(response.info())      #获取元信息


##### 添加特定 headers
#使用：Request.add_header()方法添加特定的Headers.
#使用：Request.get_header()方法来查看已有的Headers。

#运行程序后，使用Fiddler查看HTTP请求，可以看到在发送的请求头中，已经包含了添加的headers
import urllib.request

url='http://www.itcast.cn'
user_agent={'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)'}

request=urllib.request.Request(url,headers=user_agent)
request.add_header('Connection','keep-alive')    #使用：Request.add_header()方法添加特定的Headers.
response=urllib.request.urlopen(request)
print(response.code)
print(response.read().decode('utf-8'))



###### 代理服务器（设置代理）
#注意：urllib.request.urlopen()是urllib.request.OpenerDirector类的对象
#注意：urllib.request.urlopen()不支持代理、Cookie等其他HTTP/HTTPS高级功能。
#如果需要设置代理，需要自定义opener,而urllib.request.urlopen()就是模块构建好的一个opener

#使用：代理服务器设置 需要 自定义opener，需要执行下列3个步骤：
#1、使用相关的 Handler处理器创建特定功能的处理器对象
#2、通过 urllib.request.build_opener()方法 使用这些处理器对象 创建自定义的 opener对象。
#3、使用自定义的 opener对象，调用 open()方法 发送请求。
#注意：如果程序中所有的请求都使用 自定义的opener,可以使用urllib2.install_opener()将自定义的opener对象定义为全局opener,
#表示以后凡是调用 urlopen，都将使用自定义的opener。

import urllib.request
#dir(urllib.request)
#help(urllib.request.OpenerDirector)
#dir(urllib.request.OpenerDirector)

http_handler=urllib.request.HTTPHandler()               #1、构建一个HTTPHandler处理器对象，支持处理HTTP请求
opener=urllib.request.build_opener(http_handler)        #2、调用urllib2.build_opener()方法，创建支持处理HTTP请求的opener对象

request=urllib.request.Request('http://www.baidu.com')  #构建Request对象
response=opener.open(request)                           #3、调用自定义的opener对象的open()方法来发送request请求。区别于不再通过 urllib.request.urlopen()
print(response.read().decode('utf-8'))


#####
#使用：urllib.request.ProxyHandler(proxies=None)方法 来设置代理服务器，
#然后自定义opener，然后在使用opener的open()方法发送请求。
import urllib.request
#help(urllib.request.ProxyHandler)
import random                                           #构建一个代理IP列表，随机选择一个IP作为代理IP
proxy_list=[
        {'http':'180.119.141.135:9999'},
        {'http':'117.95.214.24:9999'},
        {'http':'120.83.111.102:9999'},
        {'http':'117.57.91.31:9999'},
        {'http':'27.152.91.68:9999'},
        {'http':'182.34.32.104:9999'}]
proxy=random.choice(proxy_list)

#构建两个 ProxyHandler处理器对象，其中一个有代理IP，另外一个没有代理IP。
httpproxy_handler=urllib.request.ProxyHandler(proxy)
nullproxy_handler=urllib.request.ProxyHandler({})

#构建代理开关，根据开关状态，使用不同的代理模式。
#通过urllib.request.build_opener()方法 使用proxy_handler处理器对象，创建自定义的opener对象。
proxy_switch=False
if proxy_switch:
    opener=urllib.request.build_opener(httpproxy_handler)
else:
    opener=urllib.request.build_opener(nullproxy_handler)

request=urllib.request.Request('http://www.baidu.com')
response=opener.open(request)
print(response.read().decode('utf-8'))



#####
#使用：urllib.error.URLError 捕获网络异常.
import urllib.request
import urllib.error
#help(urllib.error)
#dir(urllib.error)
#help(urllib.error.URLError)

request=urllib.request.Request('http://www.ajkfhafwjqh.com')
try:
    urllib.request.urlopen(request,timeout=5)
except urllib.error.URLError as err:
    print(err)

#####
#使用：urllib.error.HTTPError 捕获服务器异常。
import urllib.request
import urllib.error
#help(urllib.error.HTTPError)

request=urllib.request.Request('http://www.itcast.cn/net')
try:
    urllib.request.urlopen(request)
except urllib.error.HTTPError as e:
    print(e)











 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(爬虫相关)

        

            

                
    
                    
  • python抓取网页内容401应该用哪个库_python3使用requests模块爬取页面内容入门
                        坂田月半

                        
    python的爬虫相关模块有很多，除了requests模块，再如urllib和pycurl以及tornado等。相比而言，requests模块是相对简单易上手的。通过文本，大家可以迅速学会使用python的requests模块爬取页码内容。1.Requests唯一的一个非转基因的PythonHTTP库，人类可以安全享用。官网：http://cn.python-requests.org/zh_CN/
    
                    
    • 
                    
  • python爬虫面试真题及答案_Python面试题爬虫篇(附答案)
                        朴少
python爬虫面试真题及答案
                        
    0|1第一部分必答题注意：第31题1分，其他题均每题3分。1，了解哪些基于爬虫相关的模块？-网络请求：urllib，requests，aiohttp-数据解析：re，xpath，bs4，pyquery-selenium-js逆向：pyexcJs2，常见的数据解析方式？-re、lxml、bs43，列举在爬虫过程中遇到的哪些比较难的反爬机制？-动态加载的数据-动态变化的请求参数-js加密-代理-coo
    
                    
    • 
                    
  • 20个必不可少的Python第三方库（存干货分享）！
                        Python派小星
Pythonpython编程语言
                        
    读者您好。今天我将介绍20个属于我常用工具的Python库，我相信你看完之后也会觉得离不开它们。他们是：Requests.KennethReitz写的最富盛名的http库。每个Python程序员都应该有它。Scrapy.如果你从事爬虫相关的工作，那么这个库也是必不可少的。用过它之后你就不会再想用别的同类库了。wxPython.Python的一个GUI（图形用户界面）工具。我主要用它替代tkinte
    
                    
    • 
                    
  • 《爬虫职海录》卷二 • 爬在广州
                        
爬虫
                        
    HI，朋友们好，「爬虫职海录」第二期更新啦！本栏目的内容方向会以爬虫相关的“岗位分析”和“职场访谈”为主，方便大家了解一下当下的市场行情。本栏目持续更新，暂定收集国内主要城市的爬虫岗位相关招聘信息，有求职和跳槽打算的小伙伴们，可以多多关注。本期为广州篇！这不马上就要过年了，每年这时候都有很多小伙伴按捺不住，想要跳槽或者观望观望。这两年行情不好，大家转行or跳槽，都需要多做功课，慎重做决定。本次我依
    
                    
    • 
                    
  • Java编写爬虫和Python编写爬虫到底有什么区别
                        菜到极致就是渣
网络知识爬虫java爬虫大数据javascript
                        
    关于Java编写爬虫和Python编写爬虫，以前我就特别疑惑，但是却并没有放在心上，不知道最近我为什么会突然感兴趣。于是我就搜了一下爬虫相关知识以及学习课程，结果我发现全都是用Python来进行网络爬虫，基本上看不到Java爬虫，以前没学爬虫的时候，我还以为只能用Python进行爬虫，难道我还要再去学Python？后面我才发现Java也可以进行爬虫，但是竟然Java也可以爬虫的话，为什么很多教学网
    
                    
    • 
                    
  • 数据分析？小意思！python帮你搞定
                        山禾家的猫

                        
    前言如果大家经常阅读Python爬虫相关的公众号，都会是以爬虫+数据分析的形式展现的，这样很有趣，图表也很不错，今天了，我就来分享上一次在培训中的一个作品：猫眼电影爬虫及分析。通过猫眼电影TOP100榜的爬虫，然后进行可视化，让学员体会到，小数据爬虫也能玩出这样的花样来。爬虫爬虫分析这里是获取的是top100的电影数据，进行了跨页爬虫，获取的字段：电影名，主演，上映时间，评分，电影类型和时长。最后
    
                    
    • 
                    
  • php解析html类库simple_html_dom(爬虫相关)
                        七彩邪云

                        
    下载地址：https://github.com/samacs/simple_html_dom解析器不仅仅只是帮助我们验证html文档；更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器，通过元素的id，class，tag等等来查找定位；同时还提供添加、删除、修改文档树的功能。当然，这样一款强大的htmlDom解析器也不是尽善尽美；在使用的过程中需要十分小心内存消耗的情况。
    
                    
    • 
                    
  • 《爬虫职海录》卷二 • 爬在广州
                        K哥爬虫
爬虫
                        
    HI，朋友们好，「爬虫职海录」第二期更新啦！本栏目的内容方向会以爬虫相关的“岗位分析”和“职场访谈”为主，方便大家了解一下当下的市场行情。本栏目持续更新，暂定收集国内主要城市的爬虫岗位相关招聘信息，有求职和跳槽打算的小伙伴们，可以多多关注。本期为广州篇！这不马上就要过年了，每年这时候都有很多小伙伴按捺不住，想要跳槽或者观望观望。这两年行情不好，大家转行or跳槽，都需要多做功课，慎重做决定。本次我依
    
                    
    • 
                    
  • Windows下安装配置爬虫工具Scrapy及爬虫环境
                        罗伊德666

                        
    爬虫工具Scrapy在Mac和Linux环境下都相对好装，但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。本文是基于Python2.7及Windows10安装Scrapy及各种爬虫相关库。下载安装ScrapyScrapy官方文档按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。下载地址安装完成后，python2.7也
    
                    
    • 
                    
  • Python数据分析之猫眼电影TOP100
                        罗罗攀

                        
    前言如果大家经常阅读Python爬虫相关的公众号，都会是以爬虫+数据分析的形式展现的，这样很有趣，图表也很不错，今天了，我就来分享上一次在培训中的一个作品：猫眼电影爬虫及分析。通过猫眼电影TOP100榜的爬虫，然后进行可视化，让学员体会到，小数据爬虫也能玩出这样的花样来。爬虫爬虫分析这里是获取的是top100的电影数据，进行了跨页爬虫，获取的字段：电影名，主演，上映时间，评分，电影类型和时长。最后
    
                    
    • 
                    
  • 【Python从入门到精通】（二十八）五万六千字对Python基础知识做一个了结吧【值得收藏】
                        m0_67403013
面试学习路线阿里巴巴android前端后端
                        
    为什么写这篇文章我从2021年6月13号写下第一篇Python的系列专栏算起，陆续更新了二十七篇Python系列文章。在此感谢读者朋友们的支持和阅读，特别感谢一键三连的小伙伴。本专栏起名【Python从入门到精通】，主要分为基础知识和项目实战两个部分，目前基础知识部分已经完全介绍完毕。下一阶段就是写Python项目实战以及爬虫相关的知识点。为了对前期学习的Python基础知识做一个总结归纳，以帮助
    
                    
    • 
                    
  • python爬虫相关
                        cjz0422
python爬虫开发语言
                        
    基础知识点python格式化python格式化数字格式化pythonprint("{:.2f}".format(3.1415926))#设置两位小数print("{:.2%}".format(0.25))#百分比print("{:^10}".format("aaaaa"))#居中print("{:10}".format("aaaaa"))#右对齐结果python3.1425.00%aaaaaaaa
    
                    
    • 
                    
  • 利用python的urllib库爬取某度热搜
                        lupe_c
爬虫python百度
                        
    非计算机专业，对爬虫比较感兴趣，最近又在学爬虫相关的知识，自己写了点实战的练习项目，在CSDN上展示一下，一方面是记录一下自己学习成果和代码，另一方面，自己从CSDN上学到了不少，把自己写的一些东西展示出来，希望也可以帮到别人。首先，导入需要的库importurllib.requestimportlxml.html输入目标网页和构造请求头baidu_rul='https://top.baidu.c
    
                    
    • 
                    
  • 随手写写
                        catcherin麦田

                        
    今天开始收集相关基金股票数据网站，复习爬虫相关知识，准备数据爬取脚本。连续日更想休息一下，暂停日更一天，明天继续加油！以一句话自勉：其实越是好走的路，一般都是下坡路，越是难走的路，往往坚持住了就是最好的路。你要努力走，走到灯火通明。
    
                    
    • 
                    
  • Python bs4解析库使用详解
                        永远是少年啊
python爬虫python爬虫bs4数据解析编程开发
                        
    今天继续给大家介绍Python爬虫相关知识，本文主要内容是Pythonbs4解析库使用详解。一、Pythonbs4库简介与安装bs4是Python的一个第三方库，主要用于从HTML或者是XML文档中快速提取数据。bs4是BeautifulSoup库的简称，最后的4是版本号。要想使用bs4进行数据解析，就必须先安装bs4，安装命令为：pipinstallbs4安装完毕后，在Python程序中导入时，
    
                    
    • 
                    
  • python3 爬虫相关学习4： requests.post
                        奔跑的犀牛先生
爬虫学习python
                        
    requests.post()基本功能类requests.get()，他们的次级属性基本一样POST比GET更安全，url地址中不会暴露用户的账号密码等信息POST请求对数据长度没有要求importrequesetsurl="http://www.iciba.com/fy?a=fy"headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64
    
                    
    • 
                    
  • Python网络爬虫原理及实践
                        会python的小孩
python爬虫开发语言Python教程Python入门数据库
                        
    1网络爬虫网络爬虫：是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫相关技术和框架繁多，针对场景的不同可以选择不同的网络爬虫技术。2Scrapy框架（Python）2.1.Scrapy架构2.1.1.系统架构2.1.2.执行流程总结爬虫开发过程，简化爬虫执行流程如下图所示：爬虫运行主要流程如下：（1）Scrapy启动Spider后加载Spaider的start_url，生成req
    
                    
    • 
                    
  • 【Python 网络爬虫】使用 urllib 爬取网页源码、图片和视频
                        有请小发菜
Python网络爬虫python爬虫开发语言
                        
    目录1.网络爬虫简介2.使用urllib爬虫2.1发送请求2.2数据保存和异常处理2.3模拟浏览器发起请求2.4添加请求头2.5认证登录3.下载图片和视频4.拓展-万能视频下载1.网络爬虫简介前面介绍了HTML基础和CSS基础，了解了页面元素构成的基础上，这对于爬虫来说，看到源代码也能熟悉一二，并且也能更好地定位到所需要的数据。接下来带大家更深入了解爬虫相关知识。网络爬虫是一种按照一定的规则，自动
    
                    
    • 
                    
  • python学习系列1---爬取糗事百科段子
                        余蝈蝈

                        
    python学习了大半个月了。前段时间一直在慕课网看廖雪峰老师的python学习入门和进阶，视频地址http://www.imooc.com/learn/317。讲的很好，很通俗易懂，一边讲解还能一边练习。后面开始学习python爬虫相关的知识，看的课程都是来自http://wiki.jikexueyuan.com/project/python-crawler-guide/summarize.ht
    
                    
    • 
                    
  • 20个常用的Python库
                        汲之郎

                        
    Requests.KennethReitz写的最富盛名的http库。每个Python程序员都应该有它。Scrapy.如果你从事爬虫相关的工作，那么这个库也是必不可少的。用过它之后你就不会再想用别的同类库了。wxPython.Python的一个GUI（图形用户界面）工具。我主要用它替代tkinter。你一定会爱上它的。Pillow.它是PIL（Python图形库）的一个友好分支。对于用户比PIL更加
    
                    
    • 
                    
  • Python入门第5篇（爬虫相关）
                        龙井茶Sky
Pythonpython爬虫开发语言
                        
    目录爬虫初步说明html相关基础urllib之读取网页内容http相关基础requests之webapi调用爬虫初步说明爬虫，一句话来说，即模拟浏览器爬取一些内容，如自动下载音乐、电影、图片这种的具体可能是直接访问网页进行解析，也可能是调用webapi直接获取数据，后者应该更多一些html相关基础html、js、css构成了html的三要素urllib之读取网页内容fromurllib.reque
    
                    
    • 
                    
  • 精选2个小例子，带你快速入门Python文件处理
                        妄心xyx

                        
    精选2个小例子，带你快速入门Python文件处理我们来讲一讲文件的使用,python对数据的处理分两种一种是本地文件的处理，另外一种是通过网络数据处理(也就是爬虫相关的).而本地的数据处理，主要是通过文件的读和写完成~~我们先想一想平时对文件处理一般遇到哪些问题:如何读取一个文件的内容,然后处理,最后写到一个新的文件如何更改一个文件夹下的某一些文件名这个两个是非常常见的问题，如何处理呢,pytho
    
                    
    • 
                    
  • 爬虫入门案例——Java还能用来写爬虫？
                        翰戈.summer
其他内容爬虫开发语言javapython
                        
    目录前言入门案例依赖导入爬虫代码注意事项爬取结果总结前言我们在和Python程序员交流的时候，经常会听到他们谈论和爬虫相关的事，爬这个网站，爬那个网站的。这个时候如果听不懂的话，气氛就显得尴尬了。事实上我们Java程序员是有自己的爬虫的！那么和Python相比，Java实现的爬虫有什么不同呢？下面我们来看看两者有什么区别，用一个简单的案例来体验如何用Java实现网络爬虫。以后在和Python程序员
    
                    
    • 
                    
  • 中国python爬虫违法违规案例大汇总（爬虫学得好，牢饭....）
                        爱摸鱼的菜鸟码农
python大数据安全爬虫
                        
    最近在GitHub发现了一个爬虫库，这个库整理了所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。该项目库用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律，避免触碰数据合规红线。违法违规案例汇总爬虫禁区1：为违法违规组织提供爬虫相关服务（验证码识别服务贩卖、SEO……）CASE1:知乎某极验破解者自述被抓（已删除
    
                    
    • 
                    
  • C语言两个文本相似度的算法,两个文本相似度算法实现和对比
                        Bearseason
C语言两个文本相似度的算法
                        
    背景最近做一个爬虫相关的项目,需要排除掉一些相似的链接,比如分页控件里上一页,下一页等等没什么用的链接.编辑距离算法编辑距离，又称Levenshtein距离(莱文斯坦距离也叫做EditDistance)，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数，如果它们的距离越大，说明它们越是不同。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。这个概念是由俄罗斯科学家V
    
                    
    • 
                    
  • Python爬虫知识储备
                        就叫飞六吧
python爬虫开发语言
                        
    Python爬虫知识储备一、基础知识常见的Python爬虫相关库和工程化爬虫框架：请求库：requests：用于发送HTTP请求并获取响应的流行库。它简单易用，适合大多数爬虫任务。urllib：Python的标准库之一，包含了处理URL和发送HTTP请求的模块。aiohttp：支持异步HTTP请求的库，适用于需要高效处理多个请求的情况。解析库：BeautifulSoup：用于解析HTML和XML文
    
                    
    • 
                    
  • python学习-要学 Python 需要怎样的基础？
                        编程大乐趣

                        
    人生苦短，很高兴你选择了python，这是我比较喜欢的语言。如果你是想做pythonweb相关的话，可以看看这个指南pythonweb入坑指南-python-web-guide0.1文档,都是根据我的工作经(cai)验(keng)总结的。主要涉及python网站和爬虫相关的开发，还有一些工程性的东西。入行不久，经验有限，希望能给你指条路。下边列举了计算机基础、开发工具、代码规范、软件工程相关的东西
    
                    
    • 
                    
  • 在Linux服务器部署爬虫程序？大佬只需七步！
                        q56731523
服务器linux爬虫数据库爬虫程序爬虫IP
                        
    之前在某乎上看见一篇关于《为什么很多程序员都建议使用Linux》的文章，结合我自身关于Linux的使用经验。心血来潮得写了一段关于我在Linux系统部署爬虫程序的心得，希望结识更多的爬虫技术大佬，一起游弋在代码世界中。根据我多年在Linux上部署爬虫程序的经验，大体上可以通过以下七个步骤进行：步骤1：安装Python和需要的库首先确保Linux系统上安装了Python，以及需要的爬虫相关的库，比如
    
                    
    • 
                    
  • Python 爬虫入门
                        心态与习惯
Pythonpython爬虫requestsbeautifulsoup豆瓣
                        
    文章目录Python爬虫入门`requests`库`beautifulsoup4`库函数`findall()`，`find()`函数`get()`爬虫实例1：抓小说爬虫实例2：抓豆瓣top250的电影信息后记Python爬虫入门Python的爬虫功能使得程序员可以快速抓取并分析网页中的信息，它实质上是模拟浏览器访问网页。本章主要常用的两个爬虫相关的库requests，beautifulsoup4。
    
                    
    • 
                    
  • 你应该知道关于Python的这几个技巧！
                        python 筱水花
python爬虫开发语言学习
                        
    随着大数据时代的到来，我们每天都在接触爬虫相关的事情，这其中就不得不提及Python这门编程语言。我已经使用Python编程有多年了，即使今天我仍然惊奇于这种语言所能让代码表现出的整洁和对DRY编程原则的适用。这些年来的经历让我学到了很多的小技巧和知识，大多数是通过阅读很流行的开源软件，如Django,Flask,Requests中获得的。1.字典推导(Dictionarycomprehensio
    
                    
    • 
                                
  • java观察者模式
                                    3213213333332132
java设计模式游戏观察者模式
                                    
    观察者模式——顾名思义，就是一个对象观察另一个对象，当被观察的对象发生变化时，观察者也会跟着变化。 
 
在日常中，我们配java环境变量时，设置一个JAVAHOME变量,这就是被观察者，使用了JAVAHOME变量的对象都是观察者，一旦JAVAHOME的路径改动，其他的也会跟着改动。 
 
这样的例子很多，我想用小时候玩的老鹰捉小鸡游戏来简单的描绘观察者模式。 
 
老鹰会变成观察者，母鸡和小鸡是
    
                                
    • 
                                
  • TFS RESTful API 模拟上传测试
                                    ronin47

                                    
           TFS RESTful API 模拟上传测试。 
　　 
细节参看这里：https://github.com/alibaba/nginx-tfs/blob/master/TFS_RESTful_API.markdown 
模拟POST上传一个图片： 
curl --data-binary @/opt/tfs.png http
    
                                
    • 
                                
  • PHP常用设计模式单例, 工厂, 观察者, 责任链, 装饰, 策略,适配,桥接模式
                                    dcj3sjt126com
设计模式PHP
                                    
    // 多态, 在JAVA中是这样用的, 其实在PHP当中可以自然消除, 因为参数是动态的, 你传什么过来都可以, 不限制类型, 直接调用类的方法
abstract class Tiger {
    public abstract function climb();
}

class XTiger extends Tiger {
    public function  climb()
    
                                
    • 
                                
  • hibernate
                                    171815164
Hibernate
                                    
    main,save 
 
Configuration conf =new Configuration().configure();
SessionFactory sf=conf.buildSessionFactory();
Session sess=sf.openSession();
Transaction tx=sess.beginTransaction();

News a=new 
    
                                
    • 
                                
  • Ant实例分析
                                    g21121
ant
                                    
            下面是一个Ant构建文件的实例，通过这个实例我们可以很清楚的理顺构建一个项目的顺序及依赖关系，从而编写出更加合理的构建文件。 
  
        下面是build.xml的代码： 
<?xml version="1
    
                                
    • 
                                
  • [简单]工作记录_接口返回405原因
                                    53873039oycg
工作
                                    
             最近调接口时候一直报错，错误信息是: 
      
responseCode:405
responseMsg:Method Not Allowed 
       接口请求方式Post. 
    
                                
    • 
                                
  • 关于java.lang.ClassNotFoundException 和 java.lang.NoClassDefFoundError 的区别
                                    程序员是怎么炼成的

                                    
      
 真正完成类的加载工作是通过调用 defineClass来实现的； 
 而启动类的加载过程是通过调用 loadClass来实现的； 
 就是类加载器分为加载和定义 
   
 protected Class<?> findClass(String name) throws ClassNotFoundExcept
    
                                
    • 
                                
  • JDBC学习笔记-JDBC详细的操作流程
                                    aijuans
jdbc
                                    
    所有的JDBC应用程序都具有下面的基本流程：　　1、加载数据库驱动并建立到数据库的连接。　　2、执行SQL语句。　　3、处理结果。　　4、从数据库断开连接释放资源。 
下面我们就来仔细看一看每一个步骤： 
其实按照上面所说每个阶段都可得单独拿出来写成一个独立的类方法文件。共别的应用来调用。 
1、加载数据库驱动并建立到数据库的连接： 
     Html代码    
 
 St
    
                                
    • 
                                
  • rome创建rss
                                    antonyup_2006
tomcatcmsxmlstrutsOpera
                                    
    引用   
1.RSS标准 
 
RSS标准比较混乱，主要有以下3个系列 
 
 RSS 0.9x / 2.0 : RSS技术诞生于1999年的网景公司(Netscape)，其发布了一个0.9版本的规范。2001年，RSS技术标准的发展工作被Userland Software公司的戴夫 温那(Dave Winer)所接手。陆续发布了0.9x的系列版本。当W3C小组发布RSS 1.0后，Dave W
    
                                
    • 
                                
  • html表格和表单基础
                                    百合不是茶
html表格表单meta锚点
                                    
    第一次用html来写东西,感觉压力山大,每次看见别人发的都是比较牛逼的 再看看自己什么都还不会, 
  
html是一种标记语言,其实很简单都是固定的格式 
  
_----------------------------------------表格和表单 
表格是html的重要组成部分,表格用在body里面的 
主要用法如下; 
<table>

     &
    
                                
    • 
                                
  • ibatis如何传入完整的sql语句
                                    bijian1013
javasqlibatis
                                    
            ibatis如何传入完整的sql语句？进一步说，String str ="select * from test_table"，我想把str传入ibatis中执行，是传递整条sql语句。 
        解决办法： 
<
    
                                
    • 
                                
  • 精通Oracle10编程SQL(14)开发动态SQL
                                    bijian1013
oracle数据库plsql
                                    
    /*
 *开发动态SQL
 */
--使用EXECUTE IMMEDIATE处理DDL操作
CREATE OR REPLACE PROCEDURE drop_table(table_name varchar2)
is
   sql_statement varchar2(100);
begin
   sql_statement:='DROP TABLE '||table_name;

    
                                
    • 
                                
  • 【Linux命令】Linux工作中常用命令
                                    bit1129
linux命令
                                    
    不断的总结工作中常用的Linux命令 
  
1.查看端口被哪个进程占用 
  
通过这个命令可以得到占用8085端口的进程号，然后通过ps -ef|grep 进程号得到进程的详细信息 
  
netstat -anp | grep 8085 
  
察看进程ID对应的进程占用的端口号 
  
netstat -anp | grep 进程ID 
&
    
                                
    • 
                                
  • 优秀网站和文档收集
                                    白糖_
网站
                                    
    集成 Flex, Spring, Hibernate 构建应用程序 
  
性能测试工具-JMeter 
  
Hmtl5-IOCN网站 
  
Oracle精简版教程网站 
  
鸟哥的linux私房菜 
  
Jetty中文文档 
  
50个jquery必备代码片段 
  
swfobject.js检测flash版本号工具
    
                                
    • 
                                
  • angular.extend
                                    boyitech
AngularJSangular.extendAngularJS API
                                    
    angular.extend   复制src对象中的属性去dst对象中. 支持多个src对象. 如果你不想改变一个对象，你可以把dst设为空对象{}: var object = angular.extend({}, object1, object2). 注意: angular.extend不支持递归复制.    使用方法:   angular.extend(dst, src);    参数:   
    
                                
    • 
                                
  • java-谷歌面试题-设计方便提取中数的数据结构
                                    bylijinnan
java
                                    
    网上找了一下这道题的解答，但都是提供思路，没有提供具体实现。其中使用大小堆这个思路看似简单，但实现起来要考虑很多。 
以下分别用排序数组和大小堆来实现。 
使用大小堆： 
 

import java.util.Arrays;

public class MedianInHeap {
	/**
	 * 题目：设计方便提取中数的数据结构
	 * 设计一个数据结构，其中包含两个函数，1.插
    
                                
    • 
                                
  • ajaxFileUpload 针对 ie jquery 1.7+不能使用问题修复版本
                                    Chen.H
ajaxFileUploadie6ie7ie8ie9
                                    
    jQuery.extend({
	handleError: function( s, xhr, status, e ) 		{
		// If a local callback was specified, fire it
				if ( s.error ) {
					s.error.call( s.context || s, xhr, status, e );
				}


    
                                
    • 
                                
  • [机器人制造原则]机器人的电池和存储器必须可以替换
                                    comsci
制造
                                    
     
 
       机器人的身体随时随地可能被外来力量所破坏,但是如果机器人的存储器和电池可以更换,那么这个机器人的思维和记忆力就可以保存下来,即使身体受到伤害,在把存储器取下来安装到一个新的身体上之后,原有的性格和能力都可以继续维持..... 
 
       另外,如果一
    
                                
    • 
                                
  • Oracle Multitable INSERT 的用法
                                    daizj
oracle
                                    
    转载Oracle笔记-Multitable INSERT 的用法 
 
http://blog.chinaunix.net/uid-8504518-id-3310531.html 
 
一、Insert基础用法 
 
语法： 
 
    Insert Into 表名 (字段1,字段2,字段3...） 
 
    Values (值1,
    
                                
    • 
                                
  • 专访黑客历史学家George Dyson
                                    datamachine
on
                                    
    20世纪最具威力的两项发明——核弹和计算机出自同一时代、同一群年青人。可是，与大名鼎鼎的曼哈顿计划（第二次世界大战中美国原子弹研究计划）相 比，计算机的起源显得默默无闻。出身计算机世家的历史学家George Dyson在其新书《图灵大教堂》（Turing’s Cathedral）中讲述了阿兰·图灵、约翰·冯·诺依曼等一帮子天才小子创造计算机及预见计算机未来
    
                                
    • 
                                
  • 小学6年级英语单词背诵第一课
                                    dcj3sjt126com
englishword
                                    
    always 总是 
rice 水稻，米饭 
before 在...之前 
live 生活，居住 
  
usual 通常的 
early 早的 
begin 开始 
month 月份 
  
year 年 
last 最后的 
east 东方的 
high 高的 
  
far 远的 
window 窗户 
world 世界 
than 比...更 
  
    
                                
    • 
                                
  • 在线IT教育和在线IT高端教育
                                    dcj3sjt126com
教育
                                    
    codecademy 
http://www.codecademy.com   codeschool 
https://www.codeschool.com   teamtreehouse 
http://teamtreehouse.com   lynda 
http://www.lynda.com/   Coursera 
https://www.coursera.
    
                                
    • 
                                
  • Struts2 xml校验框架所定义的校验文件
                                    蕃薯耀
Struts2 xml校验Struts2 xml校验框架Struts2校验
                                    
      
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 
蕃薯耀 2015年7月11日 15:54:59 星期六 
http://fa
    
                                
    • 
                                
  • mac下安装rar和unrar命令
                                    hanqunfeng
mac
                                    
    1.下载：http://www.rarlab.com/download.htm  选择 
RAR 5.21 for Mac OS X   2.解压下载后的文件   tar -zxvf rarosx-5.2.1.tar   3.cd rar   sudo install -c -o $USER unrar /bin #输入当前用户登录密码   sudo install -c -o $USER rar
    
                                
    • 
                                
  • 三种将list转换为map的方法
                                    jackyrong
list
                                    
      在本文中，介绍三种将list转换为map的方法： 
 
1） 传统方法 
 
假设有某个类如下 
   

class Movie {
    
    private Integer rank;
    private String description;
    
    public Movie(Integer rank, String des
    
                                
    • 
                                
  • 年轻程序员需要学习的5大经验
                                    lampcy
工作PHP程序员
                                    
    在过去的7年半时间里，我带过的软件实习生超过一打，也看到过数以百计的学生和毕业生的档案。我发现很多事情他们都需要学习。或许你会说，我说的不就是某种特定的技术、算法、数学，或者其他特定形式的知识吗？没错，这的确是需要学习的，但却并不是最重要的事情。他们需要学习的最重要的东西是“自我规范”。这些规范就是：尽可能地写出最简洁的代码；如果代码后期会因为改动而变得凌乱不堪就得重构；尽量删除没用的代码，并添加
    
                                
    • 
                                
  • 评“女孩遭野蛮引产致终身不育 60万赔偿款1分未得”医腐深入骨髓
                                    nannan408

                                    
    先来看南方网的一则报道： 
 

再正常不过的结婚、生子，对于29岁的郑畅来说，却是一个永远也无法实现的梦想。从2010年到2015年，从24岁到29岁，一张张新旧不一的诊断书记录了她病情的同时，也清晰地记下了她人生的悲哀。

　　粗暴手术让人发寒

　　2010年7月，在酒店做服务员的郑畅发现自己怀孕了，可男朋友却联系不上。在没有和家人商量的情况下，她决定堕胎。

　　12月5日，
    
                                
    • 
                                
  • 使用jQuery为input输入框绑定回车键事件 VS 为a标签绑定click事件
                                    Everyday都不同
jspinput回车键绑定clickenter
                                    
    假设如题所示的事件为同一个，必须先把该js函数抽离出来，该函数定义了监听的处理： 
  
function search() {
	//监听函数略......	
} 
  
为input框绑定回车事件，当用户在文本框中输入搜索关键字时，按回车键，即可触发search(): 
  
//回车绑定
$(".search").keydown(fun
    
                                
    • 
                                
  • EXT学习记录
                                    tntxia
ext
                                    
      
1. 准备 
  
（1） 官网：http://www.sencha.com/ 
  
里面有源代码和API文档下载。 
  
EXT的域名已经从www.extjs.com改成了www.sencha.com ，但extjs这个域名会自动转到sencha上。 
  
（2）帮助文档： 
  
想要查看EXT的官方文档的话，可以去这里h
    
                                
    • 
                                
  • mybatis3的mapper文件报Referenced file contains errors
                                    xingguangsixian
mybatis
                                    
    最近使用mybatis.3.1.0时无意中碰到一个问题： 
The errors below were detected when validating the file "mybatis-3-mapper.dtd" via the file "account-mapper.xml".  In most cases these errors can be d
    
                                
    •