柏拉图工作室
柏拉图工作室

Python爬虫进阶——Scrapy框架原理及分布式爬虫构建

1 Scrapy简介

1.1 概念

  1. Scrapy是由Python语言开发的一个快速、高层次的屏幕抓取和web信息抓取框架，用于抓取web站点并从页面中提取结构化的数据。

  2. Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试, Scrapy还使用了Twisted异步网络库来处理网络通讯。

  1. Scrapy最便捷的地方在于，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

  2. 通过scrapy框架可以实现分布式爬取。

1.2 Scrapy的优点

  1. 提供了内置的HTTP缓存,以加速本地开发。

  2. 提供了自动节演调节机制,而且具有遵守robots.txt的设置的能力。

  3. 可以定义爬行深度的限制,以避免爬虫进入死循环链接。

  4. 会自动保留会话。

  5. 执行自动HTTP基本认证。不需要明确保存状态。

  6. 可以传递登录表单。

  7. Scrapy 有一个内置的中间件,可以自动设置请求中的引用(referrer)头。

  8. 支持通过3xx响应重定向,也可以通过HTML元刷新。

  9. 避免被网站使用的

  10. 默认使用CSS选择器或XPath编写解析器。

  11. 可以通过Splash或任何其他技术(如Selenium)呈现JavaScript页面。

  12. 拥有强大的社区支持和丰富的插件和扩展来扩展其功能。

  13. 提供了通用的蜘蛛来抓取常见的格式:站点地图、CSV和XML。

  14. 内置支持以多种格式(JSON、CSV、XML、JSON-lines)导出收集的数据并将其存在多个后端(FTP、S3、本地文件系统)中

1.3 主要组件

  • Scrapy Engine(引擎):
    负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

  • Scheduler(调度器):
    它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

  • Downloader（下载器）：
    负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy
    Engine(引擎)，由引擎交给Spider来处理，

  • Spider（爬虫）：
    它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

  • Pipeline(管道)**：
    它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

  • Downloader Middlewares（下载中间件）**：
    你可以当作是一个可以自定义扩展下载功能的组件。

  • Spider Middlewares（Spider中间件）**：
    你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

2 Scrapy数据流处理流程

  1. 引擎打开一个网站(open adomain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。

  2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。

  3. 引擎向调度器请求下一个要爬取的URL。

  4. 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。

  5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。

  6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。

  7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。

  8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。

  9. (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站

3 Scrapy安装与使用

3.1 安装

安装命令: pip3 install scrapy

如果安装失败按照下面的步骤进行安装:

  1. pip3 install wheel.

  2. pip3 install scrapy.

  3. 如果安装过程中提示缺失 twisted

    • 访问http://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedc.下载对应的twisted.whl文件
    • 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whld.

  4. 下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/

3.2 基本使用

3.2.1 新建工程

创建命令: scrapy startproject xxx #创建项目

执行这条命令将创建一个新目录：包括的文件如下：

  1. zhaobiaoscrapy.cfg：项目配置文件

  2. quotes/：项目python模块，代码将从这里导入

  3. quotes/items：项目items文件

  4. quotes/pipelines.py:项目管道文件

  5. quotes/settings.py：项目配置文件

  6. quotes/spiders：放置spider的目录

3.2.2 spider

import scrapy
from quotes.items  import  QuotesItemclass 
QuotespiderSpider(scrapy.Spider):
name = 'quotespider'  # 爬虫名称
allowed_domains = ['quotes.toscrape.com']  # 允许爬虫访问的域名，可以多个
start_urls = ['http://quotes.toscrape.com/'] # 爬虫开始的url地址

def  parse(self, response):  # 爬虫返回的数据解析函数
	quotes = response.css('.quote')  # 通过css选择器选择相应的内容
	for quote in quotes:
		item = QuotesItem()  # item做数据持久化的
		text = quote.css('.text::text').extract_first()  # ::text 表示输出文本内容
		author = quote.css('.author::text').extract_first()  # ::text 表示输出文本内容
		tags = quote.css('.tags .tag::text').extract()  # extract_first() 表示找第一个，extract()表示找到所有，并返回一个列表
		item['text'] = text  # 赋值  首先要在items类中创建
		item['tags'] = tags
		item['author'] = author
		yield item  # 生成item 做数据存储
	next = response.css('.pager .next a::attr(href)').extract_first()  # 得到相对的url
	url = response.urljoin(next)  # 获取一个绝对的url，获取下一页的url
	yield scrapy.Request(url=url, callback=self.parse)  # 处理链接，将返回的response交给callback的回调函数

# scrapy shell quotes.toscrape.com  # 进入命令行调试
# scrapy crawl quotes -o quotes.json(.csv  .xml)     # 数据保存，可以保存多个类型

3.2.3 items

  • Items是将要装载抓取的数据的容器，它工作方式像python里面的字典，但它提供更多的保护，比如对未定义的字段填充以防止拼写错误。

  • 它通过创建一个scrapy.item.Item类来声明，定义它的属性为scrpy.item.Field对象，就像是一个对象关系映射(ORM).

  • 我们通过将需要的item模型化，来控制获得的站点数据，比如我们要获得站点的名字，url和网站描述，我们定义这三种属性的域。要做到这点，我们编辑在quotes目录下的items.py文件，我们的Item类将会是这样

3.2.4 pipeline


3.2.5 运行

scrapy crawl spidername

3.3 命令使用详情

3.3.1 使用范围

这里的命令分为全局的命令和项目的命令，全局的命令表示可以在任何地方使用，而项目的命令只能在项目目录下使用

全局命令 项目命令
scrapy +startproject+项目名 scrapy +crawl+ 爬虫名字
startproject crawl
genspider check
settings list
runspider edit
shell parse
fetch bench
view
version

3.3.2 startproject

这个命令没什么过多的用法，就是在创建爬虫项目的时候用

3.3.3 genspider

用于生成爬虫，这里scrapy提供给我们不同的几种模板生成spider,默认用的是basic,我们可以通过命令查看所有的模板

当我们创建的时候可以指定模板，不指定默认用的basic,如果想要指定模板则通过

scrapy genspider -t 模板名字

3.3.4 crawl

这个是用去启动spider爬虫格式为：

scrapy crawl 爬虫名字

这里需要注意这里的爬虫名字和通过scrapy genspider 生成爬虫的名字是一致的

3.3.5 check

用于检查代码是否有错误

scrapy check

3.3.6 list

列出所有可用的爬虫

scrapy list

3.3.7 fetch

scrapy+ fetch+ url地址

该命令会通过scrapy downloader 讲网页的源代码下载下来并显示出来

这里有一些参数：

–nolog 不打印日志

–headers 打印响应头信息

–no-redirect 不做跳转

3.3.8 view

scrapy view url地址

该命令会将网页document内容下载下来，并且在浏览器显示出来因为现在很多网站的数据都是通过ajax请求来加载的，这个时候直接通过requests请求是无法获取我们想要的数据，所以这个view命令可以帮助我们很好的判断所有的文件内容

3.3.9 shell

这是一个命令行交互模式

通过 scrapy shell url地址

进入交互模式

这里我们可以通过css选择器以及xpath选择器获取我们想要的内容（xpath以及css选择的用法会在下个文章中详细说明）,例如我们通过命令
scrapy shell https://www.baidu.com

3.3.10 settings

获取当前的配置信息

通过scrapy settings -h可以获取这个命令的所有帮助信息

3.3.11 runspider

这个和通过crawl启动爬虫不同，这里是

scrapy runspider 爬虫文件名称

所有的爬虫文件都是在项目目录下的spiders文件夹中

3.3.12 version

查看版本信息，并查看依赖库的信息

4 Middleware中间件

4.1 简介

  1. 中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。

  2. 中间件可以在中途劫持数据，做一些修改再把数据传递出去。

  3. Downloader Middleware的功能十分强大：可以修改User-Agent、处理重定向、设置代理、失败重试、设置Cookies等。

  4. 在Scrapy中已经提供了许多Downloader Middleware，如：负责失败重试、自动重定向等中间件

  5. 它们都被定义到DOWNLOADER_MIDDLEWARES_BASE变量中。

  6. 字典格式，其中数字为优先级，越小的优先调用。

4.2 Downloader Middleware中间件—方法详解

我们可以通过项目的DOWNLOADER_MIDDLEWARES变量设置来添加自己定义的Downloader Middleware。

4.2.1 Downloader Middleware有三个核心方法：

process_request(request,spider)

process_response(request,response，spider)

process_exception(request,exception，spider)

process_request(request,spider)

当每个request通过下载中间件时，该方法被调用，这里有一个要求，该方法必须返回以下三种中的任意一种：None,返回一个Response对象、返回一个Request对象或raise IgnoreRequest。三种返回值的作用是不同的。

  1. None:Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(downloadhandler)被调用,该request被执行(其response被下载)。

  2. Response对象：Scrapy将不会调用任何其他的process_request()或process_exception() 方法，或相应地下载函数；其将返回该response。 已安装的中间件的 process_response() 方法则会在每个response返回时被调用。

  3. Request对象：Scrapy则停止调用process_request方法并重新调度返回的request。当新返回的request被执行后，相应地中间件链将会根据下载的response被调用。

  4. raise一个IgnoreRequest异常：则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常，则request的errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常，则该异常被忽略且不记录。

process_response(request,response，spider)

  1. process_response的返回值也是有三种：response对象，request对象，或者raise一个IgnoreRequest异常

  2. 如果其返回一个Response(可以与传入的response相同，也可以是全新的对象)，
    该response会被在链中的其他中间件的 process_response() 方法处理。

  3. 如果其返回一个 Request 对象，则中间件链停止，返回的request会被重新调度下载。处理类似于process_request() 返回request所做的那样。

  4. 如果其抛出一个 IgnoreRequest 异常，则调用request的errback(Request.errback)。

  5. 如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

  6. 写一个简单的例子:

#设置返回文本的状态码为201 
def process_response(self, request, response, spider): 
    response.status = 201 
    return response

process_exception(request,exceptionspider)

  1. 下载处理器(download handler)或 process_request() (下载中间件)抛出异常(包括IgnoreRequest 异常)时，Scrapy调用 process_exception()。

  2. process_exception() 也是返回三者中的一个: 返回 None 、 一个 Response对象、或者一个 Request 对象。

  3. 如果其返回 None ，Scrapy将会继续处理该异常，接着调用已安装的其他中间件的process_exception() 方法，直到所有中间件都被调用完毕，则调用默认的异常处理。

4.如果其返回一个 Response 对象，则已安装的中间件链的 process_response()方法被调用。Scrapy将不会调用任何其他中间件的 process_exception() 方法。

4.3 代理中间件开发

Scrapy自动生成的这个文件名称为middlewares.py，名字后面的s表示复数，说明这个文件里面可以放很多个中间

在爬虫开发中，更换代理IP是非常常见的情况，有时候每一次访问都需要随机选择一个代理IP来进行。

中间件本身是一个Python的类，只要爬虫每次访问网站之前都先“经过”这个类，它就能给请求换新的代理IP，这样就能实现动态改变代理。

  1. 购买无忧代理,访问链接: http://www.data5u.com/vipip/dynamic.html

  2. 在创建一个Scrapy工程以后，工程文件夹下会有一个middlewares.py文件，打开以后其内容如下图所示。

3在middlewares.py中添加下面一段代码

# 需要注意的是,代理IP是有类型的,HTTP型的代理 HTTPS型的代理IP. 如果用错,会导致无法访问
request.meta['proxy'] = 'http://' + self.proxyPool.get_proxy() print(self.proxyPool.get_proxy())
  1. 使用redis数据库存储ip代理信息,.编写ip脚本

  1. settings.py中启动写好的中间件

在settings.py中找到下面这一段被注释的语句：

#如果遇到后一个中间件依赖前一个中间件的情况，中间件的顺序就至关重要
DOWNLOADER_MIDDLEWARES = { 'zhaobiao.middlewares.ZhaobiaoDownloaderMiddleware': 543, }

如何确定后面的数字？最简单的办法就是从543开始，逐渐加一，这样一般不会出现什么大问题。如果想把中间件做得更专业一点，那就需要知道Scrapy自带中间件的顺序，如图下图所示:

scrapy对某些内部组件进行了默认设置，这些组件通常情况下是不能被修改的，但是我们在自定义了某些组件以后，比如我们设置了自定义的middleware中间件，需要按照一定的顺序把他添加到组件之中，这个时候需要参考scrapy的默认设置，因为这个顺序会影响scrapy的执行，下面列出了scrapy的默认基础设置。

{
'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware':350, 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 400,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 500,
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 550,
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware':590, 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware': 830,
'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

  • 数字越小的中间件越先执行，例如Scrapy自带的第1个中间件RobotsTxtMiddleware，它的作用是首先查看settings.py中ROBOTSTXT_OBEY这一项的配置是True还是False。如果是True，表示要遵守Robots.txt协议，它就会检查将要访问的网址能不能被运行访问，如果不被允许访问，那么直接就取消这一次请求，接下来的和这次请求有关的各种操作全部都不需要继续了。

  • 开发者自定义的中间件，会被按顺序插入到Scrapy自带的中间件中。爬虫会按照从100～900的顺序依次运行所有的中间件。直到所有中间件全部运行完成，或者遇到某一个中间件而取消了这次请求。

  • Scrapy其实自带了UA中间件（UserAgentMiddleware）、代理中间件（HttpProxyMiddleware）和重试中间件（RetryMiddleware）。所以，从“原则上”说，要自己开发这3个中间件，需要先禁用Scrapy里面自带的这3个中间件。要禁用Scrapy的中间件，需要在settings.py里面将这个中间件的顺序设为None：

查看Scrapy自带的代理中间件的源代码，如下图所示：

从上图可以看出，如果Scrapy发现这个请求已经被设置了代理，那么这个中间件就会什么也不做，直接返回。因此虽然Scrapy自带的这个代理中间件顺序为750，比开发者自定义的代理中间件的顺序543大，但是它并不会覆盖开发者自己定义的代理信息，所以即使不禁用系统自带的这个代理中间件也没有关系。

5 ItemPipeline

5.1 简介

  • 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。

  • 每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。

  • 以下是item pipeline的一些典型应用：

    • 清理HTML数据
    • 将爬取结果保存到数据库中

5.2 方法详解

编写你自己的item pipeline很简单，每个item pipiline组件是一个独立的Python类，同时必须实现以下方法:

5.2.1 process_item(item, spider)

每个item pipeline组件都需要调用该方法，这个方法必须返回一个 Item(或任何继承类)对象， 或是抛出DropItem
异常，被丢弃的item将不会被之后的pipeline组件所处理。
参数:

  • item (Item 对象) – 被爬取的item

  • spider (Spider 对象) – 爬取该item的spider

5.2.2 open_spider(spider)

1.当spider被开启时，这个方法被调用。

2.参数: spider (Spider 对象) – 被开启的spider

5.2.3 close_spider(spider)

1.当spider被关闭时，这个方法被调用

2.参数: spider (Spider 对象) – 被关闭的spider

5.3 数据持久化储存开发

  1. 安装pymysql : pip install pymysql

  2. mysql中必须存在对应的表与表结构,

  3. 自定义pipeline 使用pymysql模块,连接mysql数据库,连接时注意,将信息替换成自己本机的mysql账号密码,数据库即可

import pymysql
class ZhaobiaoPipeline(object):
	def __init__(self):
    	self.mysql_conn = pymysql.Connection(
							host='localhost', 
							port=3306,
							user='root',
							password='123456',
							database='zhaobiao_a',
							charset='utf8',)’
	
	def process_item(self, item, spider):
		# 创建光标对象
		# sql_str = 'insert into t_zhaobiao (字段,字段) value ("值","值")'
		cs = self.mysql_conn.cursor()
		sql_column = ','.join([key for key in item.keys()])
		sql_value = ','.join(['"%s"' % item[key]for key in item.keys()])
		sql_str = 'insert into t_zhaobiao (%s) value (%s);' % (sql_column, sql_value) 			cs.execute(sql_str)
		self.mysql_conn.commit()
		return item
  1. 激活pipeline 可以同时定义多个管道文件,优先级原理和中间件的处理方式类似,
 ITEM_PIPELINES = { 'zhaobiao.pipelines.ZhaobiaoPipeline': 300, }

6 settings解析

# scrapy 的settings官方文档说明,英文版
#https://doc.scrapy.org/en/latest/topics/settings.html
#scrapy 的 Downloader Middleware 官方文档说明,英文版
#https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
# scrapy 的spider-middleware 官方文档说明,英文版
# https://doc.scrapy.org/en/latest/topics/spider-middleware.html

#使用 startproject 命令创建项目时自动添加,如果不用自己的user_agent,就用它来构造默认 User-Agent,
#USER_AGENT = scrapy'zhaobiao (+http://www.yourdomain.com)
BOT_NAME = 'zhaobiao'

#项目启动时  Scrapy从列表里寻找爬虫文件夹,顺序查找
SPIDER_MODULES = ['zhaobiao.spiders']

# 使用genspider命令在这个文件夹下创建 .py 爬虫文件
NEWSPIDER_MODULE = 'zhaobiao.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# Obey robots.txt rules
#是否遵循robot协议,就是,碰到不允许抓的网站抓不抓,肯定抓,所以一般默认True,要改成False
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32
#Scrapy下载器将执行的并发（即并发）请求的最大数量,scrapy默认的线程数为10
# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 3
#从同一网站下载连续页面之前，下载程序应等待的时间（以秒为单位）,用来限制爬取速度，以避免对服务器造成太大的冲击,支持小数

# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#将对任何单个域执行的并发,请求的最大数量
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_IP = 16
#将对任何单个IP执行的并发,请求的最大数量
# Disable cookies (enabled by default)
#COOKIES_ENABLED = True

#注释是默认开启,True是启用Cookies中间件,注意不是settings的DEFAULT_REQUEST_HEADERS的cookie, False状态才是使用DEFAULT_REQUEST_HEADERS的cookie
# Disable Telnet Console (enabled by default)
#禁用Telnet控制台（默认启用
#TELNETCONSOLE_ENABLED = False
# Override the default request headers:
#修改请求头,就是请求头没什么好说的,简单,举例
# DEFAULT_REQUEST_HEADERS = {
#     'accept': 'image/webp,*/*;q=0.8',
#     'accept-language': 'zh-CN,zh;q=0.8',
#     'referer': 'https://www.taobao.com/', 
#     'user-agent': 'Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36',# }
DEFAULT_REQUEST_HEADERS = {   
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36', 
'Cookie':'td_cookie=2885562732; __cfduid=da9eaafdfa77f326b2a6493ab987ad3181561096427; loginUser=kzl_knight; Hm_lvt_ce4aeec804d7f7ce44e7dd43acce88db=1565581565,1565664425;JSESSIONID=F831EEBBC3F4DAEFA3788033F85A5B55;Hm_lpvt_ce4aeec804d7f7ce44e7dd43acce88db=1565682498',}

#-------------------------------------------------------------------------
# Enable or disable spider middlewares
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'zhaobiao.middlewares.ZhaobiaoSpiderMiddleware': 543,#} 
# Enable or disable downloader middlewares
#Seehttps://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES ={   
'zhaobiao.middlewares.ZhaobiaoDownloaderMiddleware': 543,}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#   'zhaobiao.pipelines.ZhaobiaoPipeline': 300,# }

#-----------------------------------------------------------------------------
# Enable or disable extensions
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#启用或禁用扩展程序
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,#}
# Enable and configure the AutoThrottle extension (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/autothrottle.html

#启动自动节流设置
#AUTOTHROTTLE_ENABLED = True
# The initial download delay

#初始时 自动节流延迟设置
#AUTOTHROTTLE_START_DELAY = 5

# The maximum download delay to be set in case of high latencies
#最大自动节流延迟设置
#AUTOTHROTTLE_MAX_DELAY = 60

# The average number of requests Scrapy should be sending in parallel to# each remote server
#被并行发送的Scrapy平均请求数
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0

# Enable showing throttling stats for every response received:
#起用 AutoThrottle 调试(debug)模式，展示每个接收到的 response
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
#Seehttps://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#httpcache-middleware-settings
#是否启用HTTP缓存
#HTTPCACHE_ENABLED = True
#缓存的请求的到期时间,零,缓存的请求永不过期
#HTTPCACHE_EXPIRATION_SECS = 0
#用于存储HTTP缓存的目录
#HTTPCACHE_DIR = 'httpcache'
#默认为空,不缓存响应的http状态
#HTTPCACHE_IGNORE_HTTP_CODES = []
#http 缓存的存储方式,需要添加扩展文件才可以使用
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

#日志的地址
# LOG_FILE = 'zhaobiao.log'
#日志记录的等级,CRITICAL -严重错误 ERROR 一般错误 WARNING -警告信息  INFO 一般信息  DEBUG -调试信息
# LOG_LEVEL = 'ERROR' / 'INFO'

# 启动Scrapy-Redis去重过滤器，取消Scrapy的去重功能
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 启用Scrapy-Redis的调度器，取消Scrapy的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# Scrapy-Redis断点续爬
SCHEDULER_PERSIST = True
# 配置Redis数据库的连接
REDIS_URL = 'redis://127.0.0.1:6379'

更多详细文档可以查看官方文档:
https://doc.scrapy.org/en/latest/topics/settings.html

7 模拟请求头

使用scrpay抓取网站内容时,为了防止网站的反爬机制,也就是反反爬,我们通常会在发送请求时人为的携带上User-Agent和登录后的Cookie值,来伪造浏览器请求,一般在
settings—DEFAULT_REQUEST_HEADERS中进行设置
设置如下:

DEFAULT_REQUEST_HEADERS = {'User-Agent':’值’,'Cookie':’值’}

8 快速启动爬虫项目

1.自定义start.py,其作用是通过cmdline模块, 使用execute命令快速开启爬虫项目.

2.statr.py的位置: 与爬虫文件同级,即 在存在于spiders文件夹下.

代码如下:

from scrapy import cmdline 

cmdline.execute('scrapy crawl bilian'.split()) # scrapy crawl 爬虫name名称

9 异常请求的处理机制

  • 使用中间件的process_exception方法,自定义处理方式.

  • 使用log日志记录错误信息,方便错误勘正.

    • 格式:
LOG_FILE=’日志文件地址’ LOG_LEVEL=’日志级别’
  • 参数详解:
级别 说明
CRITICAL 严重错误
ERROR 一般错误
WARNING 警告信息
INFO 一般信息
DEBUG 调试信息
  • 实例
LOG_FILE=’zhaobiao.log’ 
LOG_LEVEL=’ERROR’

10 Redis数据库

10.1 简介

  1. Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。

  2. Redis与其他 key - value 缓存产品有以下三个特点：

  3. Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启后可以再次加载进行使用。

  4. Redis不仅仅支持简单的key-value类型(hash)的数据，同时还提供包括string(字符串)、list(链表)、set(集合)和sorted set(有序集合)。

  5. Redis支持数据的备份，即master-slave模式的数据备份。

  6. Redis是一个高性能的key-value数据库。

  7. Redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。

  8. 它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。

  9. Redis优势:

    1. 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。

    2. 支持常见的数据类型 – Redis支持二进制案例的Strings,Lists,Hashes,Sets及Ordered Sets数据类型操作。

    3. Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。

    4. Redis还支持 publish/subscribe, 通知, key 过期等等特性。

10.2 安装

  1. 官方网站：https://redis.io

  2. 官方文档：https://redis.io/documentation

  3. 中文官网：http://www.redis.cn

  4. 可视化管理工具：https://redisdesktop.com/download

  5. windows下安装：可使用课件内的msi安装包安装.

10.3 数据结构

  1. Redis数据库安装后,默认存在16个数据库,db(0)-db(15)

  2. 开始Redis后默认使用的是db(0)

  3. 切换数据库的方式: select [index]

例如: 切换到db1 select 1

10.4 数据类型

类型 简介 操作
键 查找: keys[pattern] 删除:del[key] 检查是否存在: exists[key] 查看类型: type[key]
String(字符串) 1.一个 key 对应一个 value 2. 二进制安全的,可以包含任何数据,比如jpg图片或者序列化的对象,一个键最大能存储512M 设置值: set key value 取值: get key
hash(字典) 1.键值对集合,相当于Python中的字典, 2.string 类型的 field 和 value 的映射表，hash 特别适合用于存储对象,并且可以像数据库中update一个属性一样只修改某一项属性值(Memcached中需要取出整个字符串反序列化成对象修改完再序列化存回去) 设置值: hset key field value 取值:hget key field
list(列表) 简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）。 左边插入: lpush key [value] 右边插入: rphsh key [value] 根据索引设置: lset key index value 左边出栈: lpop key 右边出栈: rpop key
Set(集合) 1. Set 是 string 类型的无序集合。 2.集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1) 添加: sadd key [member] 删除指定member: srem key [member] 查看key所有的member: smembers key 随机出栈count个member: spop key count 随机查看count个member: srandmember key count 查看key中member的个数: scard key
Zset(有序集合) 1.和set 一样也是string类型元素的集合,且不允许重复的成员。 2.每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。 3.zset的成员是唯一的,但分数(score)却可以重复。 添加member和score: zadd key [score member] 删除member: zrem key [member] 根据排序删除: zremrangebyrank key start stop 根据score范围删除: zremrangebyscore key min max

10.5 Python-Redis

  1. 安装 redis模块: pip install redis

  2. 导包: import redis

  3. 创建Redis连接

import redis 
conn=redis.StrictRedis(
	host=’localhost’,
	port=6379,
	password=’’,
	decode_responses=True
) 

#执行redis语句 
ret=conn.execute_command(‘语句’)

注: 端口号,密码以本地Redis数据库的连接信息为准.

11 Scrapy-Redis

11.1 安装

安装命令: pip install scrapy-redis

11.2 原理图


在这里插入图片描述

11.3 配置

项目的Settings.py中配置连接信息:

# 启动Scrapy-Redis去重过滤器，取消Scrapy的去重功能 
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 启用Scrapy-Redis的调度器，取消Scrapy的调度器 
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# Scrapy-Redis断点续爬 
SCHEDULER_PERSIST = True 

# 配置Redis数据库的连接 
REDIS_URL = 'redis://127.0.0.1:6379'

  1. 安装模块: pip install redis

  2. 导包: import redis

  3. 创建Redis连接

import redis conn=redis.StrictRedis(host=’localhost’,port=6379,password=’’,decode_responses=True) #执行redis语句 ret=conn.execute_command(‘语句’)

你可能感兴趣的:(Python全栈笔记)

  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • git常用命令笔记 咩酱-小羊 git笔记
    ###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"youremail@example.com"基本操作克隆远程仓库gitclone查看
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 509. 斐波那契数(每日一题) lzyprime
    lzyprime博客(github)创建时间：2021.01.04qq及邮箱：2383518170leetcode笔记题目描述斐波那契数，通常用F(n)表示，形成的序列称为斐波那契数列。该数列由0和1开始，后面的每一项数字都是前面两项数字的和。也就是：F(0)=0，F(1)=1F(n)=F(n-1)+F(n-2)，其中n>1给你n，请计算F(n)。示例1：输入：2输出：1解释：F(2)=F(1)+
  • 拥有断舍离的心态，过精简生活--《断舍离》读书笔记 爱吃丸子的小樱桃
    不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 高端密码学院笔记285 柚子_b4b4
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • Day17笔记-高阶函数 ~在杰难逃~ Python笔记python开发语言pycharm数据分析
    高阶函数【重点掌握】函数的本质：函数是一个变量，函数名是一个变量名，一个函数可以作为另一个函数的参数或返回值使用如果A函数作为B函数的参数，B函数调用完成之后，会得到一个结果，则B函数被称为高阶函数常用的高阶函数：map(),reduce(),filter(),sorted()1.map()map(func,iterable)，返回值是一个iterator【容器，迭代器】func:函数iterab
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • 数据仓库——维度表一致性 墨染丶eye 背诵数据仓库
    数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【Git】常见命令(仅笔记) 好想有猫猫 GitLinux学习笔记git笔记elasticsearchlinuxc++
    文章目录创建/初始化本地仓库添加本地仓库配置项提交文件查看仓库状态回退仓库查看日志分支删除文件暂存工作区代码远程仓库使用`.gitigore`文件让git不追踪一些文件标签创建/初始化本地仓库gitinit添加本地仓库配置项gitconfig-l#以列表形式显示配置项gitconfiguser.name"ljh"#配置user.namegitconfiguser.email"123123@qq.c
  • scala的option和some 矮蛋蛋 编程scala
    原文地址： http://blog.sina.com.cn/s/blog_68af3f090100qkt8.html 对于学习 Scala 的 Java™ 开发人员来说，对象是一个比较自然、简单的入口点。在 本系列 前几期文章中，我介绍了 Scala 中一些面向对象的编程方法，这些方法实际上与 Java 编程的区别不是很大。我还向您展示了 Scala 如何重新应用传统的面向对象概念，找到其缺点
  • NullPointerException Cb123456 androidBaseAdapter
        java.lang.NullPointerException: Attempt to invoke virtual method 'int android.view.View.getImportantForAccessibility()' on a null object reference     出现以上异常.然后就在baidu上
  • PHP使用文件和目录 天子之骄 php文件和目录读取和写入php验证文件php锁定文件
    PHP使用文件和目录 1.使用include()包含文件 (1)：使用include()从一个被包含文档返回一个值 (2)：在控制结构中使用include()   include_once()函数需要一个包含文件的路径，此外，第一次调用它的情况和include()一样，如果在脚本执行中再次对同一个文件调用，那么这个文件不会再次包含。   在php.ini文件中设置
  • SQL SELECT DISTINCT 语句 何必如此 sql
    SELECT DISTINCT 语句用于返回唯一不同的值。 SQL SELECT DISTINCT 语句 在表中，一个列可能会包含多个重复值，有时您也许希望仅仅列出不同（distinct）的值。 DISTINCT 关键词用于返回唯一不同的值。 SQL SELECT DISTINCT 语法 SELECT DISTINCT column_name,column_name F
  • java冒泡排序 3213213333332132 java冒泡排序
    package com.algorithm; /** * @Description 冒泡 * @author FuJianyong * 2015-1-22上午09:58:39 */ public class MaoPao { public static void main(String[] args) { int[] mao = {17,50,26,18,9,10
  • struts2.18 +json,struts2-json-plugin-2.1.8.1.jar配置及问题！ 7454103 DAOspringAjaxjsonqq
    struts2.18  出来有段时间了！ （貌似是 稳定版）   闲时研究下下！  貌似 sruts2 搭配 json 做 ajax 很吃香！   实践了下下！ 不当之处请绕过！ 呵呵   网上一大堆 struts2+json  不过大多的json 插件 都是 jsonplugin.34.jar   strut
  • struts2 数据标签说明 darkranger jspbeanstrutsservletScheme
    数据标签主要用于提供各种数据访问相关的功能，包括显示一个Action里的属性，以及生成国际化输出等功能 数据标签主要包括： action ：该标签用于在JSP页面中直接调用一个Action，通过指定executeResult参数，还可将该Action的处理结果包含到本页面来。 bean ：该标签用于创建一个javabean实例。如果指定了id属性，则可以将创建的javabean实例放入Sta
  • 链表.简单的链表节点构建 aijuans 编程技巧
    /*编程环境WIN-TC*/ #include "stdio.h" #include "conio.h" #define NODE(name, key_word, help) \  Node name[1]={{NULL, NULL, NULL, key_word, help}} typedef struct node {  &nbs
  • tomcat下jndi的三种配置方式 avords tomcat
    jndi(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。命名服务将名称和对象联系起来，使得我们可以用名称 访问对象。目录服务是一种命名服务，在这种服务里，对象不但有名称，还有属性。          tomcat配置
  • 关于敏捷的一些想法 houxinyou 敏捷
    从网上看到这样一句话：“敏捷开发的最重要目标就是：满足用户多变的需求，说白了就是最大程度的让客户满意。” 感觉表达的不太清楚。 感觉容易被人误解的地方主要在“用户多变的需求”上。 第一种多变，实际上就是没有从根本上了解了用户的需求。用户的需求实际是稳定的，只是比较多，也比较混乱，用户一般只能了解自己的那一小部分，所以没有用户能清楚的表达出整体需求。而由于各种条件的，用户表达自己那一部分时也有
  • 富养还是穷养，决定孩子的一生 bijian1013 教育人生
    是什么决定孩子未来物质能否丰盛？为什么说寒门很难出贵子，三代才能出贵族？真的是父母必须有钱，才能大概率保证孩子未来富有吗？-----作者：@李雪爱与自由 事实并非由物质决定，而是由心灵决定。一朋友富有而且修养气质很好，兄弟姐妹也都如此。她的童年时代，物质上大家都很贫乏，但妈妈总是保持生活中的美感，时不时给孩子们带回一些美好小玩意，从来不对孩子传递生活艰辛、金钱来之不易、要懂得珍惜
  • oracle 日期时间格式转化 征客丶 oracle
    oracle 系统时间有 SYSDATE 与 SYSTIMESTAMP； SYSDATE：不支持毫秒，取的是系统时间； SYSTIMESTAMP：支持毫秒，日期，时间是给时区转换的，秒和毫秒是取的系统的。 日期转字符窜： 一、不取毫秒： TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS') 简要说明， YYYY 年 MM   月
  • 【Scala六】分析Spark源代码总结的Scala语法四 bit1129 scala
    1. apply语法   FileShuffleBlockManager中定义的类ShuffleFileGroup，定义：   private class ShuffleFileGroup(val shuffleId: Int, val fileId: Int, val files: Array[File]) { ... def apply(bucketId
  • Erlang中有意思的bug bookjovi erlang
      代码中常有一些很搞笑的bug，如下面的一行代码被调用两次（Erlang beam） commit f667e4a47b07b07ed035073b94d699ff5fe0ba9b Author: Jovi Zhang <bookjovi@gmail.com> Date: Fri Dec 2 16:19:22 2011 +0100 erts:
  • 移位打印10进制数转16进制-2008-08-18 ljy325 java基础
    /** * Description 移位打印10进制的16进制形式 * Creation Date 15-08-2008 9:00 * @author 卢俊宇 * @version 1.0 * */ public class PrintHex { // 备选字符 static final char di
  • 读《研磨设计模式》-代码笔记-组合模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; abstract class Component { public abstract void printStruct(Str
  • 利用cmd命令将.class文件打包成jar chenyu19891124 cmdjar
    cmd命令打jar是如下实现： 在运行里输入cmd，利用cmd命令进入到本地的工作盘符。(如我的是D盘下的文件有此路径 D:\workspace\prpall\WEB-INF\classes) 现在是想把D:\workspace\prpall\WEB-INF\classes路径下所有的文件打包成prpall.jar。然后继续如下操作： cd D: 回车 cd workspace/prpal
  • [原创]JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明 comsci eclipse设计模式算法工作swing
                           JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明     &nb
  • SecureCRT右键粘贴的设置 daizj secureCRT右键粘贴
    一般都习惯鼠标右键自动粘贴的功能，对于SecureCRT6.7.5 ，这个功能也已经是默认配置了。 老版本的SecureCRT其实也有这个功能，只是不是默认设置，很多人不知道罢了。 菜单： Options->Global Options ...->Terminal 右边有个Mouse的选项块。 Copy on Select Paste on Right/Middle
  • Linux 软链接和硬链接 dongwei_6688 linux
    1.Linux链接概念Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。 【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。一般这种连
  • DIV底部自适应 dcj3sjt126com JavaScript
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • Centos6.5使用yum安装mysql——快速上手必备 dcj3sjt126com mysql
    第1步、yum安装mysql [root@stonex ~]#  yum -y install mysql-server 安装结果： Installed:     mysql-server.x86_64 0:5.1.73-3.el6_5                   &nb
  • 如何调试JDK源码 frank1234 jdk
    相信各位小伙伴们跟我一样，想通过JDK源码来学习Java，比如collections包，java.util.concurrent包。 可惜的是sun提供的jdk并不能查看运行中的局部变量，需要重新编译一下rt.jar。 下面是编译jdk的具体步骤：         1.把C:\java\jdk1.6.0_26\sr
  • Maximal Rectangle hcx2013 max
    Given a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones and return its area.   public class Solution { public int maximalRectangle(char[][] matrix)
  • Spring MVC测试框架详解——服务端测试 jinnianshilongnian spring mvc test
    随着RESTful Web Service的流行，测试对外的Service是否满足期望也变的必要的。从Spring 3.2开始Spring了Spring Web测试框架，如果版本低于3.2，请使用spring-test-mvc项目（合并到spring3.2中了）。   Spring MVC测试框架提供了对服务器端和客户端（基于RestTemplate的客户端）提供了支持。 &nbs
  • Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0 liyong0802 hadoop
    一、准备编译软件   1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。     环境变量设置如下：   （1）执行vim /etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/ho
  • StatusBar 字体白色 pangyulei status
    [[UIApplication sharedApplication] setStatusBarStyle:UIStatusBarStyleLightContent]; /*you'll also need to set UIViewControllerBasedStatusBarAppearance to NO in the plist file if you use this method
  • 如何分析Java虚拟机死锁 sesame javathreadoracle虚拟机jdbc
    英文资料： Thread Dump and Concurrency Locks   Thread dumps are very useful for diagnosing synchronization related problems such as deadlocks on object monitors. Ctrl-\ on Solaris/Linux or Ctrl-B
  • 位运算简介及实用技巧（一）：基础篇 tw_wangzhengquan 位运算
    http://www.matrix67.com/blog/archives/263    去年年底写的关于位运算的日志是这个Blog里少数大受欢迎的文章之一，很多人都希望我能不断完善那篇文章。后来我看到了不少其它的资料，学习到了更多关于位运算的知识，有了重新整理位运算技巧的想法。从今天起我就开始写这一系列位运算讲解文章，与其说是原来那篇文章的follow-up，不如说是一个r
  • jsearch的索引文件结构 yangshangchuan 搜索引擎jsearch全文检索信息检索word分词
    jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻量级。   jsearch的索引文件结构定义如下：     1、一个词的索引由=分割的三部分组成：        第一部分是词        第二部分是这个词在多少
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他