Daycym
Daycym

【网络爬虫】Python3—urllib库的使用

前言

\quad\quad 爬虫基础知识这里介绍了和爬虫相关的一些基础知识，其中提到爬虫最初的操作便是模拟浏览器想服务器发出请求，那么我们应该如何操作呢？

\quad\quad 其实，Python已经为我们提供了功能齐全的类库来帮助我们完成这些请求，比如HTTP库有urllib、requests等。

本篇我们就来介绍urllib库的使用

环境

  • anaconda3
  • python3.6
  • jupyter notebook

使用urllib

注：

  • 在Python2中，有urllib和urllib2两个库来实现请求的发送，而在Python3中，以及不存在urllib2这个库了，统一为urllib。
  • 它是Python内置的HTTP请求库，也就是说不需要额外安装

urllib库中的4个模块：

  • request:它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程。
  • error:异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或者其他操作以保证程序不会以外终止。
  • parse:一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等
  • robotparser:主要用来识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬，这个用的比较少。

发送请求

1. urlopen()

import urllib.request # 导入urllib.request模块，提供了最基本的构造HTTP请求的方法

response = urllib.request.urlopen('https://www.python.org') # 以python官网为例，把这个页面爬取下来
print(response.read().decode('utf-8'))  # read()方法得到返回的网页内容

运行结果：
【网络爬虫】Python3—urllib库的使用_第1张图片

这里，我们只用了两行代码，就把python官网的网页抓取下来了，输出的是网页的源代码。得到代码后，我们想要的链接、图片地址、文本信息就都可以提取出来。

print(type(response)) # 输出响应类型

print(response.status) # 返回结果的状态码

print(response.getheaders())   # 响应的头信息

print(response.getheader('Server')) # 响应头中的Server值，nginx意思是服务器用nginx搭建的

HTTPResponse类型对象，主要包含：read()、readinto()、getheader(name)、getheaders()、fileno()等方法，以及msg、version、status、debuglevel、closed等属性

\quad\quad 如果想给链接传递一些参数，该怎么实现？我们先来看看urlopen()函数的API：

urllib.request.urlopen(url, data=None, timeout=, *, cafile=None, capath=None, cadefault=False, context=None)
 
  
     
   
  • data参数
    •  
  
 
  
 \quad\quad data参数是可选的，如果要添加该参数，并且如果它是字节流编码格式的内容，即bytes类型，则需要通过bytes()方法转化，另外传递了 这个参数，则它的请求方式就不再是GET方式，而是POST方式
 
  
import urllib.parse

data = bytes(urllib.parse.urlencode({'word':'hello'}), encoding = 'utf8')  # 传递一个参数word，值为hello，需要被转码为bytes类型
response = urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read())

 
  
     
   
  • timeout参数
    •  
  
 
  
 \quad\quad timeout参数用于设置超时时间，单位为秒，意思就是如果请求超过设置的时间，还没有得到响应，就会抛出异常，如果不指定，就会使用全局默认时间
 
  
response = urllib.request.urlopen('http://httpbin.org/get', timeout=1)  # 设置超时时间为1秒
print(response.read())

 
  
 \quad\quad 因此，我们可以设置这个超时时间来控制一个网页如果长时间未响应，就跳过它的抓取。
 
  
import socket
import urllib.error

try:
    response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')

 
  
     
   
  • 其他参数
    •  
  
 
  
 
   
     
    
  • 除了data和timeout参数外，还有context参数，它必须是ssl.SSLContext类型，用来指定SSL设置
    •  
    
  • caflie和capath这两个参数分别指定CA证书和它的路径
    •  
    
  • cadefault已经弃用，默认为False
    •  
   
 
  
 
  
2. Request
 
  
 \quad\quad 上面我们介绍了urlopen()方法可以实现最基本的发送，但这几个参数并不足以构建一个完整的请求，如果请求中需要加入Headers等信息，就可以利用更强大的Request。
 
  
import urllib.request

request = urllib.request.Request('https://python.org')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

 
  
 
   
     
    
  •  
    我们依然用urlopen()方法来发送请求，只不过这次该方法的参数不再是URL，而是一个Request类型的对象
     
    •  
    
  •  
    通过这个，我们可以将请求独立成一个对象，可更加丰富和灵活地配置参数
     
    •  
   
 
  
 
  
urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

 
  
     
   
  • url：用于请求URL，必传参数
    •  
   
  • data：如果要传，必须传bytes类型，如果它是字典，可以先用urllib.parse模块里的urlencode()编码
    •  
   
  • headers：请求头，我们可以在构造请求时通过headers参数值构造，也可以通过调用请求实例的add_header()方法添加
    •  
  
 
  
 
   
添加请求头最常用的用法就是通过修改User-Agent来伪装浏览器
 
  
 
  
     
   
  • origin_req_host：指的是请求方的host名称或者IP地址
    •  
   
  • unverifiable：这个请求是否是无法验证，默认False，即用户没用足够权限来选取接受这个请求的结果
    •  
   
  • method：是一个字符串，用来只是请求的方法，比如：GET、POST、PUT等
    •  
  
 
  
from urllib import request,parse
url = 'http://httpbin.org/post'   # 请求URL
headers = {   # headers指定User-Agent，Host
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    'Host':'httpbin.org'
}
dict = {
    'name':'Germey'
}
data = bytes(parse.urlencode(dict), encoding='utf8')  # 参数转化为字节流
req = request.Request(url=url, data=data, headers=headers, method='POST')  # 指定请求方式为POST
response = request.urlopen(req)
print(response.read().decode('utf-8'))

 
  
运行结果：
 【网络爬虫】Python3—urllib库的使用_第2张图片
 
  
 
   
结果发现，我们成功设置了data、headers和method
 另外，headers也可以用add_header()方法来添加
 
  
 
  
req = request.Request(url = url, data = data, method='POST')
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')

 
  
高级用法：
 
  
 \quad\quad 在上面的过程中，我们虽然可以构造请求，但是对于一些更高级的操作（比如Cookies处理、代理设置等），又该怎么办呢？
 
  
 
   
这是就需要更强大的工具Handler，urllib.request模块里的BaseHandler类，是所有其他Handler的父类，它提供了最基本的方法：
 如：default_open()、protocol_request()等
 
  
 
  
以下为各种Handler子类继承了这个BaseHandler类：
 
  
     
   
  •  
    HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常
     
    •  
   
  •  
    HTTPRedirectHandler：用于处理重定向
     
    •  
   
  •  
    HTTPCookieProcessor：用于处理Cookies
     
    •  
   
  •  
    ProxyHandler：用于设置代理，默认代理为空
     
    •  
   
  •  
    HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表
     
    •  
   
  •  
    HTTPBasicAuthHandler：用于管理认证，如果一个链接打开需要认证，那么可以用它来解决认证问题
     
    •  
  
 
  
 
   
另外还有其他的Handler类，可参考Python官方文档
 
  
 
  
下面我们用几个实例来看看他们的用法：
 
  
     
   
  • 验证
    •  
  
 
  
有些网站在打开的时候就需要完验证，直接提示你输入用户名和密码
 
  
【网络爬虫】Python3—urllib库的使用_第3张图片
 
  
如果要请求这样的页面，我们可以借助HTTPBasicAuthHandler：
 
  
from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError

username = 'username'  # 这里帐号密码未提供
password = 'password'
url = 'http://code.tarena.com.cn/'

p = HTTPPasswordMgrWithDefaultRealm()   # 实例化HTTPPasswordMgrWithDefaultRealm对象
p.add_password(None, url, username, password)  # 添加进去用户名和密码
auth_handler = HTTPBasicAuthHandler(p)  # 实例化HTTPBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象
opener = build_opener(auth_handler) #  通过build_opener()方法来构建一个Opener

try:
    result = opener.open(url) # 利用opener的open()方法来打开链接 这样就可以完成验证了
    html = result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

 
  
     
   
  • 代理
    •  
  
 
  
在做爬虫的时候，免不了要使用代理，要添加代理可以如下操作：
 
  
from urllib.error import URLError
from urllib.request import ProxyHandler, build_opener
# 使用ProxyHandler构建一个字典，键名为协议，键值为代理链接，这里的代理可能无效了，链接可在网上百度
proxy_handler = ProxyHandler({
    'http':'http://127.0.0.1:9743',
    'https':'https://127.0.0.1:9743'
})
opener = build_opener(proxy_handler)

try:
    response = opener.open('https://www.baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

 
  
     
   
  • Cookies
    •  
  
 
  
Cookies处理就需要相关的Handler
 
  
import http.cookiejar, urllib.request   

#  获取Cookies
cookie = http.cookiejar.CookieJar()   # 声明一个CookieJar对象
handler = urllib.request.HTTPCookieProcessor(cookie)  # 利用HTTPCookieProcessor来构建一个Handler
opener = urllib.request.build_opener(handler) # 利用build_opener()方法构建出Opener
response = opener.open('http://www.baidu.com')  # 执行open()函数
for item in cookie: 
    print(item.name + "=" + item.value)

# 用MozillaCookieJar 保存cookies
filename = 'cookies1.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard = True, ignore_expires = True)

# 用LWPCookieJar 保存cookies
filename = 'cookies2.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard = True, ignore_expires = True)

# 从文件中读取cookies
cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookies2.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))

 
  
异常处理
 
  
 \quad\quad urllib的error模块定义了由request模块产生的异常，如果出现了问题，request模块会抛出error模块中定义的异常。
 
  
1. URLError
 
  
from urllib import  request,error

try:
    response = request.urlopen('https://blog.csdn.net/Daycym/article/details/11')   # 随便传入一个不存在的页面
except error.URLError as e:
    print(e.reason)   # 打印异常原因，不会报错

 
  
2. HTTPError
 
  
它是URLError的子类，专门用来处理HTTP请求错误，比如认证请求失败
 
  
     
   
  • code: 返回HTTP的状态码，比如404表示网页不存在，500表示服务器内部错误
    •  
   
  • reason: 同父类一样，用于返回错误的原因
    •  
   
  • headers: 返回请求头
    •  
  
 
  
from urllib import request, error

try:
    response = request.urlopen('https://blog.csdn.net/Daycym/article/details/11')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers)   # 输出reason、code、headers属性


# 这是一个比较好的异常处理方法
# 可以先捕获子类异常再捕获父类异常
from urllib import request, error

try:
    response = request.urlopen('https://blog.csdn.net/Daycym/article/details/11')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers)
except error.URLError as e:
    print(e.reason)
else:
    print('Request Successfully')


import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('https://www.baidu.com', timeout=0.1)
except urllib.error.URLError as e:
    print(type(e.reason))  # 有时候返回的不一定是字符串，也可能是对象
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')

 
  
解析链接
 
  
urllib库还提供了parse模块，它定义了处理URL的标准接口，例如URL各部分的抽取、合并以及链接转换
 
  
1. urlparse()
 
  
urllib.parse.urlparse(url, scheme='', allow_fragments=True)

 
  
     
   
  • url: 必填项，即待解析的URL
    •  
   
  • scheme: 它是默认的协议（比如http和https）
    •  
   
  • allow_fragments: 即是否忽略fragment
    •  
  
 
  
from urllib.parse import urlparse

result =urlparse('https://www.baidu.com/index.html;user?id=5#comment')
print(type(result), result)


result = urlparse('www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)

result = urlparse('www.baidu.com/index.html;user?id=5#comment', allow_fragments=False)
print(result)

result = urlparse('www.baidu.com/index.html;user?id=5#comment', allow_fragments=True)
print(result)

result = urlparse('https://www.baidu.com/index.html#comment', allow_fragments=True)
print(result)

 
  
【网络爬虫】Python3—urllib库的使用_第4张图片
 
  
print(result.scheme)  # 获取scheme

print(result[0]) # 获取scheme 结果与上面一样

print(result.netloc)   # 获取netloc

print(result[1])  # 获取netloc  结果与上面一样

 
  
2. urlumparse() URL的构造
 
  
from urllib.parse import urlunparse
data = ['http','www.baidu.com','index.html','user','a=6','comment']  # 长度必须为6
print(urlunparse(data))

 
  
运行结果为：http://www.baidu.com/index.html;user?a=6#comment

 
  
3. urlsplit()
 
  
from urllib.parse import urlsplit

result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')
print(result,result.scheme,result[0])

 
  
运行结果为：SplitResult(scheme='http', netloc='www.baidu.com', path='/index.html;user', query='id=5', fragment='comment') http http

 
  
4. urlunsplit()
 
  
from urllib.parse import urlunsplit

data = data = ['http','www.baidu.com','index.html','a=6','comment']   # 长度必须为5
print(urlunsplit(data))

 
  
运行结果为：http://www.baidu.com/index.html?a=6#comment

 
  
5. urljoin()
 
  
我们可以提供一个base_url（基础链接）作为第一个参数，将新的链接作为第二个参数，该方法会分析base_url的scheme、netoc和path这3个内容并对新链接缺失的部分进行补充
 
  
from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))  # 如果新的链接中有scheme、netoc和path，就用新的
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html')) # base_url中的params、query和fragment不起作用
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

 
  
运行结果为：
http://www.baidu.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html?question=2
https://cuiqingcai.com/index.php
http://www.baidu.com?category=2#comment
www.baidu.com?category=2#comment
www.baidu.com?category=2

 
  
6. urlencode () 在构造GET请求的时候非常有用
 
  
from urllib.parse import urlencode

params = {
    'name': 'germey',
    'age': 22
}
base_url = 'http://www.baidu.com?'
url = base_url + urlencode(params)
print(url)

 
  
运行结果为：http://www.baidu.com?name=germey&age=22

 
  
7. parse_qs() 将一串GET请求参数转为字典
 
  
from urllib.parse import parse_qs

query = 'name=germey&age=22'
print(parse_qs(query))

 
  
运行结果为：{'name': ['germey'], 'age': ['22']}

 
  
8. parse_qsl() 将参数转为元祖组成的列表
 
  
from urllib.parse import parse_qsl

query = 'name=germey&age=22'
print(parse_qsl(query))

 
  
运行结果为：[('name', 'germey'), ('age', '22')]

 
  
9. quote() 将内容转化为URL编码的格式
 
  
URL中常带有中文参数，此时可能会导致乱码的问题，用这个方法可以将中文符转化为URL编码
 
  
from urllib.parse import quote

keyword = '壁纸'
url = 'https://www.baidu.com/s?wd=' + quote(keyword)
print(url)

 
  
运行结果为：https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8

 
  
10.unquote()
 
  
from urllib.parse import unquote

url = 'https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8'
print(unquote(url))

 
  
运行结果为：https://www.baidu.com/s?wd=壁纸

 
  
分析Robots协议
 
  
1. Robots协议
 
  
也称网络爬虫协议，机器人协议，它的全称叫做：网络爬虫排除标准，用来告诉爬虫和搜索引擎哪些页面可以爬取，哪些不可以爬取，它通常是一个叫robots.txt文本文件，一般放在网站的根目录下
 
  
2. robotparse()
 
  
from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
# 或 rp = RobotFileParser('http://www.jianshu.com/robots.txt')
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))  # 判断是否可以被爬取
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(网络爬虫)

        

            

                
    
                    
  • Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    
                    
    • 
                    
  • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    
                    
    • 
                    
  • 00. 这里整理了最全的爬虫框架（Java + Python）
                        有一只柴犬
爬虫系列爬虫javapython
                        
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
    
                    
    • 
                    
  • Python精选200Tips：121-125
                        AnFany
Python200+Tipspython开发语言
                        
    Spendyourtimeonself-improvement121Requests-简化的HTTP请求处理发送GET请求发送POST请求发送PUT请求发送DELETE请求会话管理处理超时文件上传122BeautifulSoup-网页解析和抓取解析HTML和XML文档查找单个标签查找多个标签使用CSS选择器查找标签提取文本修改文档内容删除标签处理XML文档123Scrapy-强大的网络爬虫框架示例
    
                    
    • 
                    
  • 爬虫之隧道代理：如何在爬虫中使用代理IP？
                        2401_87251497
python开发语言爬虫网络tcp/ip网络协议
                        
    在进行网络爬虫时，使用代理IP是一种常见的方式来绕过网站的反爬虫机制，提高爬取效率和数据质量。本文将详细介绍如何在爬虫中使用隧道代理，包括其原理、优势以及具体的实现方法。无论您是爬虫新手还是有经验的开发者，这篇文章都将为您提供实用的指导。什么是隧道代理？隧道代理是一种高级的代理技术，它通过创建一个加密的隧道，将数据从客户端传输到代理服务器，再由代理服务器转发到目标服务器。这样不仅可以隐藏客户端的真
    
                    
    • 
                    
  • Python爬虫代理池
                        极客李华
python授课python爬虫开发语言
                        
    Python爬虫代理池网络爬虫在数据采集和信息抓取方面起到了关键作用。然而，为了应对网站的反爬虫机制和保护爬虫的真实身份，使用代理池变得至关重要。1.代理池的基本概念：代理池是一组包含多个代理IP地址的集合。通过在爬虫中使用代理池，我们能够隐藏爬虫的真实IP地址，实现一定程度的匿名性。这有助于防止被目标网站封锁或限制访问频率。2.为何使用代理池：匿名性：代理池允许爬虫在请求目标网站时使用不同的IP
    
                    
    • 
                    
  • 盘点一个Python网络爬虫抓取股票代码问题（上篇）
                        皮皮_f075

                        
    大家好，我是皮皮。一、前言前几天在Python白银群【厚德载物】问了一个Python网络爬虫的问题，这里拿出来给大家分享下。image.png二、实现过程这个问题其实for循环就可以搞定了，看上去粉丝的代码没有带请求头那些，导致获取不到数据。后来【瑜亮老师】、【小王子】给了具体思路，代码如下图所示：image.png后来【小王子】也给了一个具体代码，如下：importrequestsimportt
    
                    
    • 
                    
  • python ray分布式_取代 Python 多进程！伯克利开源分布式框架 Ray
                        weixin_39946313
pythonray分布式
                        
    Ray由伯克利开源，是一个用于并行计算和分布式Python开发的开源项目。本文将介绍如何使用Ray轻松构建可从笔记本电脑扩展到大型集群的应用程序。并行和分布式计算是现代应用程序的主要内容。我们需要利用多个核心或多台机器来加速应用程序或大规模运行它们。网络爬虫和搜索所使用的基础设施并不是在某人笔记本电脑上运行的单线程程序，而是相互通信和交互的服务的集合。云计算承诺在所有维度上(内存、计算、存储等)实
    
                    
    • 
                    
  • 如何用python爬取股票数据选股_用python爬取股票数据
                        weixin_39752087

                        
    获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。一、网页源码的获取很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。imp
    
                    
    • 
                    
  • 使用 RecursiveUrlLoader 实现递归网页爬取：深入解析与实践指南
                        qq_37836323
python前端数据库
                        
    使用RecursiveUrlLoader实现递归网页爬取：深入解析与实践指南1.引言在当今的数字时代，网络爬虫已成为获取和分析大量在线信息的重要工具。LangChain提供的RecursiveUrlLoader是一个强大的工具，能够递归地爬取网页内容，并将其转换为易于处理的文档格式。本文将深入探讨RecursiveUrlLoader的使用方法、特性以及实际应用场景。2.RecursiveUrlLo
    
                    
    • 
                    
  • Python 协程 & 异步编程 (asyncio) 入门介绍
                        linmeiyun
后端pythonpython爬虫学习开发语言机器学习
                        
    在近期的编码工作过程中遇到了async和await装饰的函数，查询资料后了解到这种函数是基于协程的异步函数。这类编程方式称为异步编程，常用在IO较频繁的系统中，如：Tornadoweb框架、文件下载、网络爬虫等应用。协程能够在IO等待时间就去切换执行其他任务，当IO操作结束后再自动回调，那么就会大大节省资源并提供性能。接下来便简单的讲解一下异步编程相关概念以及案例演示。1.协程简介1.1协程的含义
    
                    
    • 
                    
  • python网络爬虫（五）——爬取天气预报
                        光电的一只菜鸡
pythonpython爬虫开发语言
                        
    1.注册高德天气key  点击高德天气，然后按照开发者文档完成key注册；作为爬虫练习项目之一。从高德地图json数据接口获取天气，可以获取某省的所有城市天气，高德地图的这个接口还能获取县城的天气。其天气查询API服务地址为https://restapi.amap.com/v3/weather/weatherInfo?parameters，若要获取某城市的天气推荐2.安装MongoDB  Mong
    
                    
    • 
                    
  • 顶级的python入门教程！小白到大师，从这篇教程开始！
                        马大哈（Python）
pythonpycharm开发语言学习青少年编程
                        
    1.为什么要学习Python？学习Python的原因有很多，以下是几个主要的原因：广泛应用：Python被广泛应用于Web开发、数据科学、人工智能、机器学习、自动化运维、网络爬虫、科学计算、游戏开发等多个领域。掌握Python意味着你可以在这些领域中找到丰富的职业机会。入门简单：Python的语法简洁明了，易于学习和理解，对于编程初学者来说非常友好。它的代码风格一致，可读性强，有助于培养良好的编程
    
                    
    • 
                    
  • 爬虫更换ip地址
                        xiaoxiongip666
爬虫tcp/ip网络协议
                        
    网络爬虫更换IP地址是为了应对网站的反爬策略，如IP限制、频率控制等。IP地址轮换的主要目的是保持匿名性和隐蔽性，防止被目标服务器识别为同一个爬虫客户端。以下是一些常见的IP更换方法：使用代理IP池：通过购买或使用免费的代理IP服务，爬虫程序会周期性地从池中获取一个新的IP地址，然后进行请求。常见的代理服务提供商有小熊IP等。间隔时间更换：爬虫可以在每次请求之间设置一个随机或固定的等待时间，然后更
    
                    
    • 
                    
  • Python爬虫实战
                        weixin_34007879
爬虫jsonjava
                        
    引言网络爬虫是抓取互联网信息的利器，成熟的开源爬虫框架主要集中于两种语言Java和Python。主流的开源爬虫框架包括：1.分布式爬虫框架：Nutch2.Java单机爬虫框架：Crawler4j,WebMagic,WebCollector、Heritrix3.python单机爬虫框架：scrapy、pyspiderNutch是专为搜索引擎设计的的分布式开源框架，上手难度高，开发复杂，基本无法满足快
    
                    
    • 
                    
  • Day21—爬虫性能优化技巧
                        Ztop
爬虫（新手推荐）爬虫python性能优化
                        
    在网络爬虫的开发过程中，性能优化是一个关键环节。一个高效的爬虫不仅能够快速完成任务，还能减轻对目标网站的压力，降低被封禁的风险。本文将讨论如何优化爬虫性能，包括请求头优化、连接池、缓存策略等技巧。1.请求头优化请求头是HTTP请求的重要组成部分，它包含了客户端向服务器发送的元数据。通过优化请求头，可以模拟正常用户的行为，减少被网站识别为爬虫的可能性。User-Agent：设置合适的User-Age
    
                    
    • 
                    
  • 【网络安全】Bingbot索引投毒实现储存型XSS
                        秋说
网络安全web安全漏洞挖掘
                        
    未经许可，不得转载。文章目录前言Bingbot如何运作正文漏洞步骤前言Bing是由微软开发的搜索引擎，提供网页、视频、图片和地图等多种搜索功能。其目标是通过呈现有条理且相关的搜索结果，帮助用户做出更明智的决策。Bingbot是微软开发的网络爬虫，也被称为蜘蛛或搜索引擎机器人，主要用于探索和索引Bing搜索引擎的网页。自2010年10月推出以来，Bingbot通过外部和内部链接发现新网页，并更新已存
    
                    
    • 
                    
  • 21.7K Star力荐！跨平台的开源免费可视化爬虫，让数据采集不再是难题！
                        科技Ins
实用工具爬虫
                        
    朋友们！你是否曾梦想着轻松地从网上抓取数据，却苦于编程技能的门槛？现在，有了EasySpider，这一切都变得触手可及！这不仅仅是一个工具，它是一个革命性的网络爬虫神器，让你能够像专业人士一样，无需编写一行代码，就能轻松设计和执行爬虫任务。无论是动态内容还是复杂页面，EasySpider都能帮你搞定。而且，它完全免费，开源，跨平台，还有活跃的社区支持。准备好了吗？让我们一探究竟，看看EasySpi
    
                    
    • 
                    
  • 爬虫进阶之人见人爱的Scrapy框架--Scrapy入门
                        我真的超级好

                        
    不要重复造轮子，这是学习Python以来听得最多的一句话，无非就是叫我们要灵活运用现有的库，毕竟Python的一大特点就是拥有功能强大强大而种类丰富的库。那么在爬虫领域要灵活使用哪个轮子呢？--当然是目前最火的爬虫框架Scrapy。笔者通过慕课网免费课程《Python最火爬虫框架Scrapy入门与实践》+书籍《精通Scrapy网络爬虫》+度娘+CSDN完成自学，其中遇到诸多困难（要么太深入没看懂，
    
                    
    • 
                    
  • python网络爬虫（一）——网络爬虫基本原理
                        光电的一只菜鸡
pythonpython爬虫数据库
                        
    1.使用BeautifulSoup解析网页  通过request库已经抓取到网页源码，接下来要从源码中找到并提取数据。BeautifulSoup是python的一个库，其主要功能是从网页中抓取数据。BeautifulSoup目前已经被移植到bs4库中，也就是说在导入BeautifulSoup时需要先安装bs4。安装好bs4库后，还需要安装lxml库。如果我们不安装lxml库，就会使用python默
    
                    
    • 
                    
  • Python爬虫核心面试题2
                        闲人编程
程序员面试python爬虫开发语言面试网络HTTP
                        
    网络爬虫1.什么是HTTP协议？它有哪些常见的请求方法？2.在进行网络爬虫时，如何判断一个网站是否允许被爬取？3.在使用HTTP请求时，如何处理重定向？4.解释HTTP状态码200、404、500的含义。5.什么是Session？如何在爬虫中保持Session？6.在爬虫中，如何处理Cookies？7.解释什么是SSL/TLS？如何在爬虫中处理SSL证书验证？8.如何处理请求超时？9.什么是HTT
    
                    
    • 
                    
  • 如何在Java爬虫中设置代理IP：详解与技巧
                        天启代理ip
java爬虫tcp/ip
                        
    在进行网络爬虫时，使用代理IP可以有效地避免被目标网站封禁，提升数据抓取的成功率。本文将详细介绍如何在Java爬虫中设置代理IP，并提供一些实用的技巧和示例代码。为什么需要代理IP？在进行爬虫操作时，频繁的请求可能会引起目标网站的注意，甚至导致IP被封禁。就像一只贪心的小猫不停地偷鱼吃，迟早会被发现。为了避免这种情况，我们可以使用代理IP，模拟多个用户，从而降低被封禁的风险。获取代理IP获取代理I
    
                    
    • 
                    
  • Java爬虫开发：Jsoup库在图片URL提取中的实战应用
                        小白学大数据
pythonjava爬虫开发语言测试工具前端javascript
                        
    在当今的互联网时代，数据的获取和处理变得尤为重要。对于网站内容的自动化抓取，爬虫技术扮演着不可或缺的角色。Java作为一种广泛使用的编程语言，拥有丰富的库支持网络爬虫的开发。其中，Jsoup库以其简洁、高效的特点，成为处理HTML内容和提取数据的优选工具。本文将详细介绍如何使用Jsoup库开发Java爬虫，以实现图片URL的提取。Jsoup库简介Jsoup是一个用于解析HTML文档的Java库，它
    
                    
    • 
                    
  • Scrapy添加代理IP池：自动化爬虫的秘密武器
                        天启代理ip
scrapytcp/ip自动化
                        
    在网络爬虫的世界里，IP地址的频繁更换是防止被目标网站封禁的有效手段。通过在Scrapy中添加代理IP池，你可以轻松实现自动化的IP切换，提高数据抓取的效率和稳定性。今天，我们就来详细讲解一下如何在Scrapy中添加代理IP池，让你的爬虫更加智能和高效。什么是代理IP池？代理IP池是指一组可以轮换使用的代理IP地址集合。通过在爬虫中使用代理IP池，你可以在每次请求时随机选择一个代理IP，从而避免因
    
                    
    • 
                    
  • python网络爬虫（三）——爬虫攻防
                        光电的一只菜鸡
pythonpython爬虫开发语言
                        
      爬虫是模拟人的浏览访问行为，进行数据的批量抓取，当抓取的数据量逐渐增大时，会给被访问的服务器造成很大的压力，甚至有可能崩溃。换句话说就是，服务器是不喜欢有人抓取自己的数据的，那么，网站方面就会这队这些爬虫者采取一些反爬策略。  服务器识别爬虫的一种方式是通过检查连接的User-Agent来识别到底是浏览器访问还是代码访问的。如果是代码访问的，当访问量增大时，服务器其就会直接封掉来访IP。  在
    
                    
    • 
                    
  • python网络爬虫（二）——数据的清洗与组织
                        光电的一只菜鸡
pythonpython爬虫java
                        
      学会了网络爬虫发送请求后，我们可以获得一段目标的HTML代码，但是还没有把数据提取出来，接下来需要进行数据的清洗与组织。foritemindata:result={'title':item.get_test(),'link':item.get('href')}print(result)  首先明确要提取的数据是标题和链接，标题在a标签中，提取标签的正文用get_text()方法；链接在a标签的
    
                    
    • 
                    
  • python网络爬虫的流程图_python爬虫系列（1）- 概述
                        weixin_39649965
python网络爬虫的流程图
                        
    原标题：python爬虫系列（1）-概述事由之前间断地写过一些python爬虫的一些文章，如：工具分享|在线小说一键下载Python帮你定制批量获取智联招聘的信息Python帮你定制批量获取你想要的信息用python定制网页跟踪神器，有信息更新第一时间通知你（附视频演示）把python网页跟踪神器部署到云上，彻底解放你的电脑个人认为学习python语言的话，爬虫是一个非常适合入门的方向。为了把学习
    
                    
    • 
                    
  • 【Python进阶】Python爬虫的基本概念，带你进一步了解Python爬虫！！！
                        程序员陌陌
python爬虫开发语言
                        
    一、Python爬虫基本概念网络爬虫，又称为网页蜘蛛或爬虫，是一种自动浏览万维网的程序。它按照一定的算法顺序抓取网页内容，同时将抓取到的数据存储起来，用于进一步的分析和处理。网络爬虫在信息获取、数据挖掘、搜索引擎构建等方面发挥着关键作用。二、工作流程确定目标网站：明确需要抓取数据的网站和具体页面。分析网页结构：使用开发者工具查看网页的HTML结构，确定数据存放的位置。编写爬虫代码：使用Python
    
                    
    • 
                    
  • 搜索引擎原理详解
                        风不归Alkaid
搜索引擎搜索引擎
                        
    搜索引擎是一种复杂的软件系统，旨在帮助用户找到互联网上的信息。它们通过索引大量网页并快速响应用户查询来工作。搜索引擎的核心功能包括爬虫（crawling）、索引（indexing）、查询处理（queryprocessing）和排名（ranking）。一、网络爬虫（WebCrawling）网络爬虫（WebCrawling）是搜索引擎的核心组件之一，它的主要任务是发现和获取互联网上的网页内容，以便后续
    
                    
    • 
                    
  • 网络爬虫是否存在侵权行为，合法吗？
                        Bj陈默
爬虫python网络
                        
    网络爬虫是一种按照一定规则自动抓取互联网信息的程序或脚本。其是否存在侵权行为以及是否合法不能一概而论，需要根据具体情况进行分析判断，主要从以下几个方面考量：一、合法性的判定遵守robots协议：robots协议（也称爬虫协议）是网站通过该协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取，相当于网站立在自己房间门口的一个“牌子”，告知外来者谁可以过来，谁不可以过来。如果网络爬虫在被爬取方设置的
    
                    
    • 
                                
  • HQL之投影查询
                                    归来朝歌
HQLHibernate查询语句投影查询
                                    
            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？ 
针对上面的场景，如果需要将一个对象查出来： 
HQL语句写“from 对象”即可 
Session session = HibernateUtil.openSession();
		
    
                                
    • 
                                
  • Spring整合redis
                                    bylijinnan
redis
                                    
    pom.xml 
 

<dependencies>
		<!-- Spring Data - Redis Library -->
		<dependency>
			<groupId>org.springframework.data</groupId>
			<artifactId>spring-data-redi
    
                                
    • 
                                
  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2
                                    0624chenhong
Hibernate
                                    
    参考：http://blog.csdn.net/qingfeilee/article/details/7052736 
org.hibernate.NonUniqueResultException: query did not return a unique result: 2 
        在项目中出现了org.hiber
    
                                
    • 
                                
  • android动画效果
                                    不懂事的小屁孩
android动画
                                    
    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 
 
Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。 
第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。 
 

    
                                
    • 
                                
  • js delete 删除机理以及它的内存泄露问题的解决方案
                                    换个号韩国红果果
JavaScript
                                    
    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除） 
举例： 

var person={name:{firstname:'bob'}}
var p=person.name
delete person.name
p.firstname  -->'bob'
// 依然可以访问p.firstname，存在内存泄露
    
                                
    • 
                                
  • Oracle将零干预分析加入网络即服务计划
                                    蓝儿唯美
oracle
                                    
    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
    
                                
    • 
                                
  • spring学习——springmvc（二）
                                    a-john
springMVC
                                    
    Spring MVC提供了非常方便的文件上传功能。 
1，配置Spring支持文件上传： 
DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
    
                                
    • 
                                
  • POJ-2828-Buy Tickets
                                    aijuans
ACM_POJ
                                    
    POJ-2828-Buy Tickets 
http://poj.org/problem?id=2828 
线段树，逆序插入 
 
#include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
    
                                
    • 
                                
  • Java Ant build.xml详解
                                    asia007
build.xml
                                    
    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
    
                                
    • 
                                
  • android按钮监听器的四种技术
                                    百合不是茶
androidxml配置监听器实现接口
                                    
    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方;  
  
1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似 
  
创建监听器的实例 
myLis lis = new myLis(); 
  
使用add方法给按钮添加监听器 
 
    
                                
    • 
                                
  • 软件架构师不等同于资深程序员
                                    bijian1013
程序员架构师架构设计
                                    
            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。 
        如今很多的公司
    
                                
    • 
                                
  • TeamForge Wiki Syntax & CollabNet User Information Center
                                    sunjing
TeamForgeHow doAttachementAnchorWiki Syntax
                                    
    the CollabNet user information center http://help.collab.net/ 
  
How do I create a new Wiki page? 
A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
    
                                
    • 
                                
  • 【Redis四】Redis数据类型
                                    bit1129
redis
                                    
    概述 
Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 
Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
    
                                
    • 
                                
  • SSH2整合-附源码
                                    白糖_
eclipsespringtomcatHibernateGoogle
                                    
    今天用eclipse终于整合出了struts2+hibernate+spring框架。 
我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。 
  
  
补充1：项目中部分jar包不是最新版的，可能导
    
                                
    • 
                                
  • [转]开源项目代码的学习方法
                                    braveCS
学习方法
                                    
    转自： 
http://blog.sina.com.cn/s/blog_693458530100lk5m.html 
http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html 
  
1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
    
                                
    • 
                                
  • 编程之美-子数组的最大和（二维）
                                    bylijinnan
编程之美
                                    
    package beautyOfCoding;

import java.util.Arrays;
import java.util.Random;

public class MaxSubArraySum2 {

	/**
	 * 编程之美 子数组之和的最大值（二维）
	 */
	private static final int ROW = 5;
	private stat
    
                                
    • 
                                
  • 读书笔记-3
                                    chengxuyuancsdn
jquery笔记resultMap配置ibatis一对多配置
                                    
    1、resultMap配置 
2、ibatis一对多配置 
3、jquery笔记 
 
1、resultMap配置
当<select resultMap="topic_data">
<resultMap id="topic_data">必须一一对应。
(1)<resultMap class="tblTopic&q
    
                                
    • 
                                
  • [物理与天文]物理学新进展
                                    comsci

                                    
     
 
      如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境 
 
      怎么办呢? 
 
 
    
                                
    • 
                                
  • Oracle 11g新特性:Automatic Diagnostic Repository
                                    daizj
oracleADR
                                    
    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 
FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。 
 
在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。 
这两份log文
    
                                
    • 
                                
  • 简单排序:选择排序
                                    dieslrae
选择排序
                                    
    
    public void selectSort(int[] array){
        int select;
        
        for(int i=0;i<array.length;i++){
            select = i;
            
            for(int k=i+1;k<array.leng
    
                                
    • 
                                
  • C语言学习六指针的经典程序，互换两个数字
                                    dcj3sjt126com
c
                                    
    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 
# include <stdio.h>

void swap_1(int, int);
void swap_2(int *, int *);
void swap_3(int *, int *);

int main(void)
{
	int a = 3;
	int b = 
    
                                
    • 
                                
  • php 5.4中php-fpm 的重启、终止操作命令
                                    dcj3sjt126com
PHP
                                    
    php 5.4中php-fpm 的重启、终止操作命令: 
查看php运行目录命令：which php/usr/bin/php 
查看php-fpm进程数：ps aux | grep -c php-fpm 
查看运行内存/usr/bin/php  -i|grep mem 
重启php-fpm/etc/init.d/php-fpm restart 
在phpinfo()输出内容可以看到php
    
                                
    • 
                                
  • 线程同步工具类
                                    shuizhaosi888
同步工具类
                                    
    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch） 
  
闭锁（CountDownLatch） 
public class RunMain {
	public long timeTasks(int nThreads, final Runnable task) throws InterruptedException {
		fin
    
                                
    • 
                                
  • bleeding edge是什么意思
                                    haojinghua
DI
                                    
    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。  
我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。 
  
In computer science, bleeding edge is a term that 
    
                                
    • 
                                
  • c中实现utf8和gbk的互转
                                    jimmee
ciconvutf8&gbk编码
                                    
    #include <iconv.h>
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>
#include <sys/stat.h>

int code_c
    
                                
    • 
                                
  • 大型分布式网站架构设计与实践
                                    lilin530
应用服务器搜索引擎
                                    
    1.大型网站软件系统的特点？ 
a.高并发，大流量。 
b.高可用。 
c.海量数据。 
d.用户分布广泛，网络情况复杂。 
e.安全环境恶劣。 
f.需求快速变更，发布频繁。 
g.渐进式发展。 
 
2.大型网站架构演化发展历程？ 
a.初始阶段的网站架构。 
应用程序，数据库，文件等所有的资源都在一台服务器上。 
b.应用服务器和数据服务器分离。 
c.使用缓存改善网站性能。 
d.使用应用
    
                                
    • 
                                
  • 在代码中获取Android theme中的attr属性值
                                    OliveExcel
androidtheme
                                    
    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西. 
  
在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: 
int defaultColor = 0xFF000000;
int[] attrsArray = { andorid.r.
    
                                
    • 
                                
  • 基于Zookeeper的分布式共享锁
                                    roadrunners
zookeeper分布式共享锁
                                    
    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。 
  
共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。 
  
官
    
                                
    • 
                                
  • 两个容易被忽略的MySQL知识
                                    tomcat_oracle
mysql
                                    
    1、varchar(5)可以存储多少个汉字，多少个字母数字？   　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。   　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
    
                                
    • 
                                
  • zoj 3827 Information Entropy(水题)
                                    阿尔萨斯
format
                                    
     题目链接：zoj 3827 Information Entropy 
 题目大意：三种底，计算和。 
 解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 
#include <cstdio>
#include <cstring>
#include <cmath&
    
                                
    •