永远十八的小仙女~
永远十八的小仙女~

爬虫 — Scrapy 框架（二）

目录

  • 一、Scrapy 核心文件
    • 1、spider
    • 2、Request
    • 3、构造 post 请求
    • 4、response
  • 二、案例
  • 三、Scrapy 下载中间件
    • 1、执行顺序
    • 2、使用方法
    • 3、Download Middlewares 默认方法
    • 4、代理 IP
      • 4.1、工作原理
      • 4.2、分类
      • 4.3、查看 IP 地址
      • 4.4、常用代理
  • 四、Scrapy 爬虫中间件
  • 五、Scrapy 下载图片
  • 六、Scrapy CrawlSpider 全站爬取
    • 1、LinkExtractors 链接提取器
    • 2、Rule 规则类
    • 3、使用步骤
  • 七、Scrapy 模拟登录
  • 八、作业

一、Scrapy 核心文件

1、spider

  • 根据 url 生成 request 对象并且指定对应的方法处理 Response，第一个 request 请求，通过起始 url 产生的。
  • 解析数据，返回的 item 实例或者 request 实例。
  • 在解析方法中，通常使用 Selectors(css, lxml) 提取数据。
  • 返回管道完成数据的存储。

2、Request

爬虫 — Scrapy 框架（二）_第1张图片

url：请求 url，必须以字符串形式提供。

callback：响应返回的回调函数，默认是调用 parse 方法。

method：HTTP 请求方式，默认是 get 请求。

headers：请求头信息，一般在 settings.py 文件中设置。

body：data 可以采用 body 传递（使用较少）。

cookies：传递 cookies，单独设置 cookie。

meta：传参，字典形式的额外元数据，可以在请求之间传递数据，例如在不同回调之间传递参数。

encoding：响应的编码方式。

priority：设置调用请求的优先级，数值越大，优先级越高。

dont_filter：对该请求进行去重处理，默认为 False 是过滤，True 是不过滤。

errback：处理请求错误的回调函数，通常用于处理请求超时或其它错误情况。

flags：请求的标志位，可以通过添加标志位来修改请求的默认行为。

cb_kwargs：传参，字典形式的回调参数，可以在回调函数中访问这些参数。

meta 和 cb_kwargs 传参区别

meta

是用于在请求过程中在不同的中间件和回调函数之间传递数据。

它可以存储和传递更多的信息，并且可以在整个请求过程中的多个环节中使用。

是请求对象的属性，可以在整个请求过程中的多个中间件和回调函数之间共享和传递数据。

# meta
# 传值
yield scrapy.Request(url, callback=self.parse_page, meta={'category': 'books'})
# 取值
def parse_page(self, response):
    category = response.meta['category']
    print("Category:", category)

cb_kwargs

主要用于在请求之间传递数据给回调函数。它是通过在使用 scrapy.Request 创建请求时传递额外的参数来实现的。

是针对每个请求的回调函数的参数进行设置，它的作用范围仅限于当前请求与回调函数之间。

# cb_kwargs
# 传值
yield scrapy.Request(url, callback=self.parse_page, cb_kwargs={'title': 'Page Title'})
# 取值
def parse_page(self, response, title):
    print("Page Title:", title)

3、构造 post 请求

import scrapy # 导入 Scrapy 库，用于构建爬虫

# 定义 FanyiSpider 类，继承自 scrapy.Spider 类
class FanyiSpider(scrapy.Spider):
    # 爬虫的名称
    name = 'fanyi'
    # 允许爬取的域名
    allowed_domains = ['fanyi.so.com']
    # 起始 url
    start_urls = ['https://fanyi.so.com/index/search?eng=1&validate=&ignore_trans=0&query=hello']
    # post 请求携带参数
    data = {
        'eng': '1',
        'ignore_trans': '0',
        'query': 'hello',
    }

    # 定义 start_requests 方法，用于生成初始请求，重写的父类方法
    def start_requests(self):
        # 使用 FormRequest 发送 post 请求（FormRequest 类是继承 Request 类）
        yield scrapy.FormRequest(self.start_urls[0], callback=self.parse, formdata=self.data)

    # 解析函数，处理响应并提取数据
    def parse(self, response):
        # 打印响应数据中的翻译结果
        print(response.json()['data']['fanyi'])
        # 输入翻译内容
        query = input("请输入翻译内容")
        # post 请求携带参数
        data = {
            'eng': '1',
            'ignore_trans': '0',
            'query': query,
        }
        # 发送新的 post 请求并将响应交给 parse 方法处理
        yield scrapy.FormRequest(self.start_urls[0], callback=self.parse, formdata=data)

4、response

一般都是由 scrapy 自动构建。

response.request.headers：获取请求头的信息

response.status：获取状态码

response.body：获取字节数据

response.text：获取文本数据

response.json：获取 json 格式的数据

response.xpath/css：解析数据

response.meta.get(key)：获取传递参数

二、案例

目标网站： https://careers.tencent.com/search.html?pcid=40001
需求：翻页获取前10页数据，爬取首页的职位名字-详情页的工作职责和工作要求

# start.py
from scrapy import cmdline  # 使用 cmdline 模块来执行命令行命令

# 使用 Scrapy 执行名为 spider 的爬虫
cmdline.execute('scrapy crawl spider'.split())

# spider.py
import scrapy  # 导入 scrapy 库，用于构建爬虫
import json  # 导入 json 库，用于处理 JSON 数据
import datetime  # 导入 datetime 库，用于获取当前时间
from Tencent_Job.items import TencentJobItem  # 导入自定义的数据项类 TencentJobItem

# 定义 SpiderSpider 类，继承自 scrapy.Spider 类
class SpiderSpider(scrapy.Spider):
    # 爬虫的名称
    name = 'spider'
    # 允许爬取的域名
    allowed_domains = ['careers.tencent.com']
    # 获取当前时间
    current_time = datetime.datetime.now()
    # 将当前时间转换为时间戳字符串
    post_time = str(int(current_time.timestamp()))
    # 初始页码
    page = 1
    # 链接 url
    base_url = 'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp={}&countryId=&cityId=&bgIds=&productId=&categoryId=40001001,40001002,40001003,40001004,40001005,40001006&parentCategoryId=&attrId=&keyword=&pageIndex={}&pageSize=10&language=zh-cn&area='
    # 起始 url
    start_urls = [base_url.format(post_time,page)]

    # 定义解析函数，用于解析响应数据
    def parse(self, response):
        # 从响应中获取数据列表
        datas = json.loads(response.text)['Data']['Posts']
        # 遍历数据列表
        for data in datas:
            # 职位名字
            title = data['RecruitPostName']
            # PostId
            post_id = data['PostId']
            # 详情页 url
            post_url = 'https://careers.tencent.com/tencentcareer/api/post/ByPostId?timestamp=' + self.post_time + '&postId=' + post_id + '&language=zh-cn'
            # 发送请求并指定回调函数以及传递的参数
            yield scrapy.Request(post_url, callback=self.detail_pages, cb_kwargs={'title': title})

        # 判断页码
        if self.page < 10:
            # 页码
            self.page = self.page + 1
            # 发送请求并指定回调函数
            yield scrapy.Request(self.base_url.format(self.post_time,self.page), callback=self.parse)

    # 定义职位详情页解析函数
    def detail_pages(self, response, **title):
        # 创建爬取的数据项
        item = TencentJobItem()
        # 职位名字
        item['title'] = title['title']
        # 工作职责
        item['responsibility'] = json.loads(response.text)['Data']['Responsibility']
        # 工作要求
        item['requirement'] = json.loads(response.text)['Data']['Requirement']
        # 返回数据项
        yield item

# items.py
import scrapy  # 导入Scrapy库，用于构建爬虫

# 自定义的Item类，用于存储爬取的数据
class TencentJobItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 职位名字
    title = scrapy.Field()
    # 工作职责
    responsibility = scrapy.Field()
    # 工作要求
    requirement = scrapy.Field()

# pipelines.py
from itemadapter import ItemAdapter  # 导入 itemadapter 库，用于适配数据项
import csv  # 导入 csv 库，用于处理 CSV 文件

# 定义 TencentJobPipeline 类
class TencentJobPipeline:
    # 构造函数，初始化操作
    def __init__(self):
        # 打开 CSV 文件，以追加模式写入，指定编码为 utf-8-sig，确保中文不乱码，设置换行符为空
        self.f = open("腾讯.csv", "a", encoding='utf-8-sig', newline="")
        # 定义 CSV 文件的字段名
        self.fieldnames = ['title', 'responsibility', 'requirement']
        # 创建 DictWriter 对象，用于写入 CSV 文件
        self.writer = csv.DictWriter(self.f, fieldnames=self.fieldnames)
        # 写入表头
        self.writer.writeheader()

    # 数据处理函数，用于处理爬取到的数据项
    def process_item(self, item, spider):
        # 写入数据
        self.writer.writerow(item)
        # 返回数据项
        return item

# settings.py
# 不打印日志信息
LOG_LEVEL = 'WARNING'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'Tencent_Job.pipelines.TencentJobPipeline': 300,
}

三、Scrapy 下载中间件

在 Scrapy 中，下载中间件（Download Middleware）是一种机制，用于在发送请求和获取响应之间对请求和响应进行处理和操作。下载中间件允许在整个请求-响应周期中拦截、修改和生成请求，以及拦截、修改和生成响应。

下载中间件主要用于以下几个方面：

  • 请求处理：下载中间件可以拦截并修改将要发送的请求。可以在请求被发送到服务器之前对其进行预处理，例如添加自定义的请求头、修改请求参数或 url 等。
  • 代理和用户代理设置：通过下载中间件，可以轻松地为请求设置代理服务器，以及设置自定义的用户代理（User-Agent）。这对于处理需要使用代理或模拟不同浏览器的场景非常有用。
  • 请求过滤和调度优化：下载中间件可以用于对请求进行过滤和调度优化。可以根据特定的规则或条件过滤掉某些请求，或者对请求进行调度优化，例如动态地设置请求的优先级、延迟等。
  • 响应处理：下载中间件可以拦截并修改从服务器返回的响应。可以对响应进行预处理、提取数据、添加额外的数据等。还可以根据响应的状态码进行处理，例如重试、错误处理等。

1、执行顺序

要使用下载中间件，需要在 Scrapy 项目的设置文件（settings.py）中进行配置。

可以配置多个下载中间件，并按顺序定义它们的优先级。

Scrapy 会按照配置的顺序依次调用下载中间件，直到最后一个中间件完成处理或返回响应。

  • 中间件是多个，数字越小，越靠近引擎，数字越大，越靠近下载器。

  • 处理请求时，数字越小，优先级越高，

  • 处理响应时，数字越大，优先级越高。

2、使用方法

编写一个 Download Middlewares，定义一个类，然后在 settings 中开启。

# middlewares.py
# 自定义随机生成 UA 的中间件
class RandomUserAgentMiddewar:
    def __init__(self):
        # 初始化 user_agent 列表，包含多个浏览器的 User-Agent 字符串
        self.user_agent = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
        ]

    # 重写 process_request 方法
    # 处理请求，引擎发送 request 请求到下载器之前，会调用这个方法。
    # 启用中间件，要去 settigns.py 文件中开启。
    def process_request(self, request, spider):
        # 在请求头中设置随机选择的 User-Agent
        request.headers['user-agent'] = random.choice(self.user_agent)

# settings.py
# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
    # 'middle.middlewares.MiddleDownloaderMiddleware': 543,
    'middle.middlewares.RandomUserAgentMiddewar': 543,
}

3、Download Middlewares 默认方法

# middlewares.py
class TencentJobDownloaderMiddleware:
    
    # 对请求进行处理和修改
    # 处理请求，引擎发送 request 请求到下载器之前，会调用这个方法
    # 启用中间件，要去 settigns.py 文件中开启
    def process_request(self, request, spider):
        # request：请求对象，spider：爬虫对象
        
        # Called for each request that goes through the downloader
        # middleware.
		
        # 按照需求和处理逻辑，返回以下几种结果之一
        # Must either:
        # 会继续处理下一个请求，直到下载把 request 得到 response 才会结束
        # - return None: continue processing this request
        # 不继续处理请求，会进入到最后一个中间件，调用 process_response，直接处理响应对象
        # - or return a Response object
        # 会重新进入到第一个中间件 process_request 重新处理请求
        # - or return a Request object
        # 触发异常
        # - or raise IgnoreRequest: process_exception() methods of
        #   installed downloader middleware will be called
        return None
    
    # 对响应进行处理和修改
    # 每个响应经过下载中间件时都会调用该方法
    def process_response(self, request, response, spider):
        # request：请求对象，response：响应对象，spider：爬虫对象
        
        # Called with the response returned from the downloader.

        # 按照需求和处理逻辑，返回以下几种结果之一
        # Must either;
        # 表示对响应进行处理和修改后，将修改后的响应返回，后续的下载中间件和爬虫将使用该修改后的响应进行进一步处理
        # - return a Response object
        # 表示对响应进行处理后，生成一个新的请求对象，并将其返回，该新的请求对象将被发送到下载器进行处理
        # - return a Request object
        # 表示忽略该响应，将不再调用其它下载中间件的 process_response 方法，并继续执行已安装的其它下载中间件的 process_exception 方法。
        # - or raise IgnoreRequest
        return response
    
    # 处理请求过程中的异常
    def process_exception(self, request, exception, spider):
        # request：请求对象，exception：引发的异常对象，spider：爬虫对象
        
        # Called when a download handler or a process_request()
        # (from other downloader middleware) raises an exception.

        # 按照需求和处理逻辑，返回以下几种结果之一
        # Must either:
        # 表示继续处理当前的异常，即继续执行后续的下载中间件的 process_exception 方法
        # - return None: continue processing this exception
        # 表示停止处理异常，并将该响应对象作为最终的结果返回，后续的下载中间件和爬虫将使用该响应对象进行进一步处理
        # - return a Response object: stops process_exception() chain
        # 表示停止处理异常，并将该请求对象作为最终的结果返回，该新的请求对象将被重新发送到下载器进行处理
        # - return a Request object: stops process_exception() chain
        pass

4、代理 IP

代理 IP（Proxy IP）是一种通过中间服务器转发网络请求的方式，隐藏真实客户端的 IP 地址并代表客户端进行网络通信。使用代理 IP 可以实现一些特定的目标，例如绕过网络封锁、提高网络访问速度、隐藏真实身份等。

4.1、工作原理

客户端发送网络请求时，将请求发送给代理服务器而不是直接发送给目标服务器。

代理服务器接收到请求后，替代客户端向目标服务器发送请求，并将响应返回给客户端。

目标服务器将响应发送给代理服务器，代理服务器再将响应转发给客户端。

4.2、分类

透明代理（Transparent Proxy）

代理服务器会将客户端的真实 IP 地址传递给目标服务器，目标服务器可以直接获得客户端的真实 IP。

匿名代理（Anonymous Proxy）

代理服务器会隐藏客户端的真实 IP 地址，并使用自己的 IP 地址作为代理发送请求，但目标服务器仍然可以检测到使用了代理。

高匿代理（Elite Proxy）

代理服务器完全隐藏客户端的真实 IP 地址，并使用自己的 IP 地址作为代理发送请求，目标服务器无法检测到使用了代理。

4.3、查看 IP 地址

在终端输入 ipconfig 命令——内网 IP，私有地址

在浏览器地址栏输入 ipip.net——外网，上网的 IP

4.4、常用代理

快代理、豌豆代理

四、Scrapy 爬虫中间件

爬虫中间件（Spider Middleware）是 Scrapy 中的一种中间件，位于引擎和爬虫之间，主要处理发生给爬虫的响应和 spider 输出结果。中间件可以是多个，数字越小，越靠近引擎，数字越大，越靠近爬虫。

使用爬虫中间件，需要在 settings.py 文件里开启爬虫中间件。

# settings.py
# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
SPIDER_MIDDLEWARES = {
 'myproject.middlewares.CustomSpiderMiddleware': 543,
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}

五、Scrapy 下载图片

Scrapy 为下载 item 中包含的文件提供了一个可重用的 item pipelines，这些 pipeline 有些共同的方法和结构，常用的有 Files Pipline 和 Images Pipeline。

Images Pipeline 使用步骤

1、先创建项目。

在终端输入命令

scrapy startproject BiaoQingBao

cd BiaoQingBao

scrapy genspider images fabiaoqing.com

2、在 settings.py 文件中修改一些参数。

# settings.py
# 不打印日志信息
LOG_LEVEL = 'WARNING'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}

3、新建一个 start.py 用来运行代码。

# start.py
# 使用 cmdline 模块来执行命令行命令
from scrapy import cmdline

# 使用 Scrapy 执行名为 images 的爬虫
cmdline.execute('scrapy crawl images'.split())

4、在 items.py 定义字段。

# items.py
import scrapy # 导入 Scrapy 库，用于构建爬虫

class BiaoqingbaoItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 图片链接
    img_url = scrapy.Field()
    # 图片标题
    img_title = scrapy.Field()
    pass

5、在 images.py 里做数据解析。

# images.py
import scrapy  # 导入 Scrapy 库，用于构建爬虫
import re  # 导入 re 模块，用于进行正则表达式匹配
from BiaoQingBao.items import BiaoqingbaoItem  # 导入自定义的 Item 类，用于存储爬取的数据

class SpiderSpider(scrapy.Spider):
    # 爬虫的名称
    name = 'images'
    # 允许爬取的域名
    # allowed_domains = ['fabiaoqing.com']
    # 链接 url
    base_url = 'https://fabiaoqing.com/biaoqing/lists/page/{}.html'
    # 页码
    page = 1
    # 起始 url
    start_urls = [base_url.format(page)]

    def parse(self, response):
        # 解析数据，找所有的 img 标签
        images = response.xpath('//img[@class="ui image lazy"]')
        # 遍历获取每一个 img 标签，解析里面的图片 url 以及标题
        for img in images:
            # 创建一个 MyScrapyItem 实例，用于存储爬取的数据
            item = BiaoqingbaoItem()
            # 图片 url
            item['img_url'] = img.xpath('@data-original').get()
            # 标题
            title = img.xpath('@title').get()
            # 正则表达式替换标题特殊字符
            item['img_title'] = re.sub(r'[?/\\<>*:(), ]', '', title)
            # 返回 item，将其传递给引擎
            yield item
            
        # 进行翻页处理
        if self.page <= 10:
            self.page += 1
            # 获取数据
            yield scrapy.Request(self.base_url.format(self.page), callback=self.parse)

6、如果爬取的速度过快，会被服务器识别是一个程序，可以设置一下爬取的速度。

在 settings.py 文件里找到以下代码，取消注释。

# settings.py
# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
# 设置爬取时间
DOWNLOAD_DELAY = 0.5

7、在 pipelines.py 里做下载图片并处理相关的请求。

# pipelines.py
import scrapy  # 导入 Scrapy 库，用于构建爬虫
from itemadapter import ItemAdapter  # 导入 itemadapter 模块中的 ItemAdapter 类，用于简化和处理爬虫中的数据项
from scrapy.pipelines.images import ImagesPipeline  # 导入 scrapy.pipelines.images 模块中的 ImagesPipeline 类，用于处理爬取的图片数据

# 定义 BiaoqingbaoPipeline 类，继承自 ImagesPipeline 类
class BiaoqingbaoPipeline(ImagesPipeline):
    # def process_item(self, item, spider):
    #     return item
    # 专门下载图片的方法
    def get_media_requests(self, item, info):
        # 获取图片 url
        img_url = item['img_url']
        # 发起图片下载请求
        yield scrapy.Request(img_url)

8、在 settings.py 中指定保存的路径并开启管道。

# settings.py
# 指定保存的路径
IMAGES_STORE = 'F:\Scrapy\BiaoQingBao\images'
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'BiaoQingBao.pipelines.BiaoqingbaoPipeline': 300,
}

在 start.py 运行代码

WARNING: File (code: 403): Error downloading file from referred in

出现错误 403，说明被服务器识别出是爬虫程序了。

保存图片时出现反爬，检查图片的来源。

9、修改 pipelines.py 文件，携带请求头。

# pipelines.py
import scrapy  # 导入 Scrapy 库，用于构建爬虫
from itemadapter import ItemAdapter  # 导入 itemadapter 模块中的 ItemAdapter 类，用于简化和处理爬虫中的数据项
from scrapy.pipelines.images import ImagesPipeline  # 导入 scrapy.pipelines.images 模块中的 ImagesPipeline 类，用于处理爬取的图片数据

# 定义 BiaoqingbaoPipeline 类，继承自 ImagesPipeline 类
class BiaoqingbaoPipeline(ImagesPipeline):
    # def process_item(self, item, spider):
    #     return item
    # 请求头
    head = {
        'Referer': 'https://fabiaoqing.com/'
    }
    # 专门下载图片的方法
    def get_media_requests(self, item, info):
        # 获取图片 url
        img_url = item['img_url']
        # 发起图片下载请求
        yield scrapy.Request(img_url, headers=self.head)

10、保存图片的缺点是，文件名不方便看，需要使用 file_path 重新给图片命名。

# pipelines.py
import scrapy  # 导入 Scrapy 库，用于构建爬虫
from itemadapter import ItemAdapter  # 导入 itemadapter 模块中的 ItemAdapter 类，用于简化和处理爬虫中的数据项
from scrapy.pipelines.images import ImagesPipeline  # 导入 scrapy.pipelines.images 模块中的 ImagesPipeline 类，用于处理爬取的图片数据

# 定义 BiaoqingbaoPipeline 类，继承自 ImagesPipeline 类
class BiaoqingbaoPipeline(ImagesPipeline):
    # def process_item(self, item, spider):
    #     return item
    # 请求头
    head = {
        'Referer': 'https://fabiaoqing.com/'
    }
    # 专门下载图片的方法
    def get_media_requests(self, item, info):
        # 获取图片 url
        img_url = item['img_url']
        # 发起图片下载请求
        yield scrapy.Request(img_url, headers=self.head)

    # 重新给图片命名
    def file_path(self, request, response=None, info=None, *, item=None):
        # 名称
        img_name = item['img_title']
        # 指定保存文件夹
        return f'full/{img_name}.jpg'

注意：

错误信息：ImagesPipeline requires installing Pillow 4.0.0 or later

解决方案：pip install Pillow

六、Scrapy CrawlSpider 全站爬取

Scrapy 的 CrawlSpider 是一个高级的 Spider 类，用于处理常见的基于规则的爬取任务。CrawlSpider 扩展了 Scrapy 的 Spider 类，并提供了一些方便的功能，如自动跟进链接、规则匹配和提取等。是基于全站数据的爬取，将所有的数据爬取下来。

1、LinkExtractors 链接提取器

使用 LinkExtractors 可以不用自己提取想要的 url，然后发送请求。这些都可以交给 LinkExtractors，它会在所有页面中找到满足规则的 url，实现自动的爬取。

class scrapy.linkextractors.LinkExtractor(
 allow = (),
 deny = (),
 allow_domains = (),
 deny_domains = (),
 deny_extensions = None,
 restrict_xpaths = (),
 tags = ('a','area'),
 attrs = ('href'),
 canonicalize = True,
 unique = True,
 process_value = None
)

主要参数讲解

allow：允许的 url，所有满足这个正则表达式的 url 都会被提取。

deny：禁止的 url，所有满足这个正则表达式的 url 都不会被提取。

allow_domains：允许的域名，只有在这个里面指定的域名的 url 才会被提取。

deny_domains：禁止的域名，所有在这个里面指定的域名的 url 都不会被提取。

restrict_xpaths：严格的 xpath，和 allow 共同过滤链接。

2、Rule 规则类

定义爬虫的规则类。

class scrapy.spiders.Rule(
 link_extractor,
 callback = None,
 cb_kwargs = None,
 follow = None,
 process_links = None,
 process_request = None
)

主要参数讲解

link_extractor：一个 LinkExtractor 对象，用于定义爬取规则。

callback：满足这个规则的 url，应该要执行的回调函数。因为 CrawlSpider 使用了 parse 作为回调函数，因此不要覆盖 parse 作为回调函数自己的回调函数。

follow：指定根据该规则从 response 中提取的链接是否需要跟进。

process_links：从 link_extractor 中获取到链接后会传递给这个函数，用来过滤不需要爬取的链接。

3、使用步骤

1、创建项目。

scrapy startproject 项目名

cd 项目名

scrapy genspider -t crawl 爬虫文件名 域名

爬虫 — Scrapy 框架（二）_第2张图片

imgs_names.py 文件代码

# imgs_names.py
import scrapy  # 导入 Scrapy 库，用于构建爬虫
from scrapy.linkextractors import LinkExtractor  # 导入 scrapy.linkextractors 模块中的 LinkExtractor 类，用于从网页中提取 url 链接
from scrapy.spiders import CrawlSpider, Rule  # 导入 scrapy.spiders 模块中的 CrawlSpider 类和 Rule 类，用于实现基于规则的爬取方式和定义爬取规则

# 定义 ImgsNamesSpider 类，继承自 CrawlSpider 类
class ImgsNamesSpider(CrawlSpider):
    # 爬虫的名称
    name = 'imgs_names'
    # 允许爬取的域名
    allowed_domains = ['baidu.com']
    # 设置起始 url 列表
    start_urls = ['http://baidu.com/']

    # 创建一个规则对象
    rules = (
        # LinkExtractor：实例化了对象
        # allow：提取 url 的正则表达式
        # callback：回调函数，提取的 url 生成一个 requests 请求，请求发送给引擎，指定数据解析的方法
        # follow：指定根据规则从 requests 提取的链接是否继续提取
        Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
    )

    # 解析方法，用于处理爬取到的响应数据
    def parse_item(self, response):
        # 创建空的数据项字典
        item = {}
        # 解析数据项的域名 id
        # item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()
        # 解析数据项的名称
        # item['name'] = response.xpath('//div[@id="name"]').get()
        # 解析数据项的描述
        # item['description'] = response.xpath('//div[@id="description"]').get()
        # 返回数据项
        return item

2、在 settings.py 文件中修改一些参数。

# settings.py
# 不打印日志信息
LOG_LEVEL = 'WARNING'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}
# 设置爬取时间
DOWNLOAD_DELAY = 0.5

3、新建一个 start.py 用来运行代码。

# start.py
# 使用 cmdline 模块来执行命令行命令
from scrapy import cmdline

# 使用 Scrapy 执行名为 imgs_names 的爬虫
cmdline.execute('scrapy crawl imgs_names'.split())

4、在 imgs_names.py 中获取全站数据。

# imgs_names.py
import scrapy  # 导入 Scrapy 库，用于构建爬虫
from scrapy.linkextractors import LinkExtractor  # 导入 scrapy.linkextractors 模块中的 LinkExtractor 类，用于从网页中提取 url 链接
from scrapy.spiders import CrawlSpider, Rule  # 导入 scrapy.spiders 模块中的 CrawlSpider 类和 Rule 类，用于实现基于规则的爬取方式和定义爬取规则

# 定义 ImgsNamesSpider 类，继承自 CrawlSpider 类
class ImgsNamesSpider(CrawlSpider):
    # 爬虫的名称
    name = 'imgs_names'
    # 允许爬取的域名
    # allowed_domains = ['fabiaoqing.com']
    # 设置起始 url 列表
    start_urls = ['https://fabiaoqing.com/biaoqing/lists/page/1.html']

    # 创建一个规则对象
    rules = (
        # 定义规则列表
        Rule(LinkExtractor(allow=r'/biaoqing/lists/page/\d+.html'), callback='parse_item', follow=True),
    )

    # 解析方法，用于处理爬取到的响应数据
    def parse_item(self, response):
        # 创建空的数据项字典
        item = {}
        # 直接获取整个页面图片标题，返回的数据类型是 list
        lst = response.xpath('//img[@class="ui image lazy"]/@title').getall()
        # 打印图片标题
        print(lst)
        # 返回数据项
        return item

七、Scrapy 模拟登录

1、创建项目。

scrapy startproject login

cd login

scrapy genspider example example.com

2、新建一个 start.py 用来运行代码。

# start.py
# 使用 cmdline 模块来执行命令行命令
from scrapy import cmdline

# 使用 Scrapy 执行名为 example 的爬虫
cmdline.execute('scrapy crawl example'.split())

3、在 spiders 文件夹下的 example.py 文件中编写代码。

# spiders/example.py
import scrapy  # 导入 Scrapy 库

class ExampleSpider(scrapy.Spider):
    name = 'example'  # 爬虫的名字，用于启动爬虫时的标识
    allowed_domains = ['qq.com']  # 允许爬取的域名
    start_urls = ['https://user.qzone.qq.com/1234567890']  # 起始 URL，爬虫会从这个 URL 开始爬取数据

    def parse(self, response):  # 解析函数，用于处理响应数据
        print(response.text)  # 打印响应的 HTML 文本内容

4、设置 cookie

4.1、方式一：直接携带 cookie 登录

在 settings.py 文件中修改一些参数；

# settings.py
# 不打印日志信息
LOG_LEVEL = 'WARNING'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
    'Cookie':'_qpsvr_localtk=0.6206021496459884; uin=o1234567890; skey=@kalEm2dQT; RK=2r/cU4cJEh; ptcz=8235ccaac75bae8201f47a835b216cd97d8f530349b6865815d301b699dec7c5; p_uin=o1234567890; pt4_token=VNY2rJ1KBn7v9iHp1eFMfaRrxmzuEogpZimR20ookP4_; p_skey=C03fYXYvuuIISyOKcJeMrd6nKddc0iNkh-9p-VkMg7U_; Loading=Yes; welcomeflash=1234567890_58028; qz_screen=1707x960; 1234567890_todaycount=0; 1234567890_totalcount=711; pgv_pvid=5798017608; pgv_info=ssid=s9552383352; QZ_FE_WEBP_SUPPORT=1; scstat=18; cpu_performance_v8=2; __Q_w_s__QZN_TodoMsgCnt=1',
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.3',
}
# Disable cookies (enabled by default)
COOKIES_ENABLED = False

注意：

在 settings.py 直接携带 cookie 是不生效，还需要将 COOKIES_ENABLED = False 注释取消掉。

4.2、方式二：在中间件设置 cookie

可以直接在 proces_request 的方法上直接修改，也可以自定义⼀个中间件类，但里面的方法名称不能随便修改。

# middlewares.py
# 自定义中间件
class CookieDownloaderMiddleware:
    def process_request(self, request, spider):
        # 把 cookie 添加到请求里面，格式要求必须是字典格式的数据
        cookie_str = "_qpsvr_localtk=0.6206021496459884; uin=o1234567890; skey=@kalEm2dQT; RK=2r/cU4cJEh; ptcz=8235ccaac75bae8201f47a835b216cd97d8f530349b6865815d301b699dec7c5; p_uin=o1234567890; pt4_token=VNY2rJ1KBn7v9iHp1eFMfaRrxmzuEogpZimR20ookP4_; p_skey=C03fYXYvuuIISyOKcJeMrd6nKddc0iNkh-9p-VkMg7U_; Loading=Yes; welcomeflash=1234567890_58028; qz_screen=1707x960; 1234567890_todaycount=0; 1234567890_totalcount=711; pgv_pvid=5798017608; pgv_info=ssid=s9552383352; QZ_FE_WEBP_SUPPORT=1; scstat=18; __Q_w_s__QZN_TodoMsgCnt=1; cpu_performance_v8=25"
        cookie_dict = {i.split("=")[0]: i.split("=")[1] for i in cookie_str.split("; ")}
        request.cookies = cookie_dict
        return None

# settings.py
# 不打印日志信息
LOG_LEVEL = 'WARNING'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Disable cookies (enabled by default)
COOKIES_ENABLED = True
# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
    'login.middlewares.LoginDownloaderMiddleware': 543,
    'login.middlewares.CookieDownloaderMiddleware': 541,
}
  • 当 COOKIES_ENABLED 是注释的时候 scrapy 默认没有开启 cookie。
  • 当 COOKIES_ENABLED 没有注释，设置为 False 的时候 scrapy 默认使用了 settings 里面的 cookie。
  • 当 COOKIES_ENABLED 设置为 True 的时候 scrapy 就会把 settings 的 cookie 关掉，使用自定义 cookie。

4.3、方式三：爬虫文件中，重写 start_rquests 方法

# spiders/example.py
import scrapy  # 导入 Scrapy 库

class QzoneSpider(scrapy.Spider):
    name = 'example'  # 爬虫的名字，用于启动爬虫时的标识
    allowed_domains = ['qq.com']  # 允许爬取的域名
    start_urls = ['https://user.qzone.qq.com/1234567890']  # 起始 URL，爬虫会从这个 URL 开始爬取数据
    cookie_str = "_qpsvr_localtk=0.6206021496459884; uin=o1234567890; skey=@kalEm2dQT; RK=2r/cU4cJEh; ptcz=8235ccaac75bae8201f47a835b216cd97d8f530349b6865815d301b699dec7c5; p_uin=o1234567890; pt4_token=VNY2rJ1KBn7v9iHp1eFMfaRrxmzuEogpZimR20ookP4_; p_skey=C03fYXYvuuIISyOKcJeMrd6nKddc0iNkh-9p-VkMg7U_; Loading=Yes; welcomeflash=1234567890_58028; qz_screen=1707x960; 1234567890_todaycount=0; 1234567890_totalcount=711; pgv_pvid=5798017608; pgv_info=ssid=s9552383352; QZ_FE_WEBP_SUPPORT=1; scstat=18; __Q_w_s__QZN_TodoMsgCnt=1; cpu_performance_v8=25"

    def start_requests(self):
        # 解析 cookie 字符串，将其转换为字典形式
        cookie_dict = {i.split("=")[0]: i.split("=")[1] for i in self.cookie_str.split("; ")}
        yield scrapy.Request(
            url=self.start_urls[0],  # 使用第一个起始 URL
            callback=self.parse,  # 响应后交给 parse 方法处理
            cookies=cookie_dict  # 设置请求的 Cookie
        )

    def parse(self, response):
        print(response.text)  # 打印响应的 HTML 文本内容
        pass  # 占位符，表示这个函数暂时不做任何处理，可以根据需要添加解析逻辑

八、作业

目标网站：https://github.com/login

需求：以抓包的形式完成模拟登录

1、创建项目

scrapy startproject github_login

cd github_login

scrapy genspider github github.com

2、新建一个 start.py 用来运行代码。

# start.py
# 使用 cmdline 模块来执行命令行命令
from scrapy import cmdline

# 使用 Scrapy 执行名为 github_login 的爬虫
cmdline.execute('scrapy crawl github'.split())

3、在 settings.py 文件中修改一些参数。

# settings.py
# 不打印日志信息
LOG_LEVEL = 'WARNING'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False

4、抓包分析 POST 数据

多次输入错误的用户名和密码，看 POST 请求数据，哪些是变化的，哪些是不变的

爬虫 — Scrapy 框架（二）_第3张图片

5、在 spiders 文件夹下的 github.py 文件中编写代码。

# spiders/github.py
import scrapy  # 导入 Scrapy 库

# 定义一个名为 GithubSpider 的 Spider 类，继承自 Scrapy 的 Spider 类
class GithubSpider(scrapy.Spider):  
    name = 'github'  # 设置 Spider 的名字为'github'
    allowed_domains = ['github.com']  # 允许爬取的域名
    start_urls = ['https://github.com/login']  # 起始 URL，即登录页面的 URL

    # 定义一个名为 parse 的方法，用于处理登录页面的响应
    def parse(self, response):  
        # 提取 authenticity_token、timestamp 和 timestamp_secret 参数值
        authenticity_token = response.css('input[name="authenticity_token"]::attr(value)').get()
        timestamp = response.css('input[name="timestamp"]::attr(value)').get()
        timestamp_secret = response.css('input[name="timestamp_secret"]::attr(value)').get()

        # 构造登录请求的 POST 数据
        data_dict = {
            'commit': 'Sign in',  # 提交按钮的值
            'authenticity_token': authenticity_token,  # 登录页面中的 authenticity_token 值
            'login': 'XXX',  # GitHub 用户名
            'password': 'XXX',  # GitHub 密码
            'webauthn-support': 'supported',  # WebAuthn 支持情况
            'webauthn-iuvpaa-support': 'unsupported',  # WebAuthn 支持情况
            'return_to': 'https://github.com/login',  # 返回到登录页面
            'timestamp': timestamp,  # 时间戳
            'timestamp_secret': timestamp_secret  # 时间戳密钥
        }

        # 构造登录请求
        yield scrapy.FormRequest.from_response(
            response,
            formdata=data_dict,  # POST 数据字典
            callback=self.after_login  # 登录成功后处理响应的回调函数
        )

    # 定义一个名为 after_login 的方法，用于处理登录后的响应
    def after_login(self, response):
        if response.status == 200:  # 如果响应的状态码为200（HTTP成功），表示登录成功
            print('登录成功!')  # 打印登录成功的消息
        else:  # 如果响应状态码不是200，表示登录失败
            print('登录失败!')  # 打印登录失败的消息

记录学习过程，欢迎讨论交流，尊重原创，转载请注明出处~

你可能感兴趣的:(爬虫,爬虫,python,scrapy)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • python中的深拷贝与浅拷贝 anshejd70787 python
    深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
  • 用Python实现简单的猜数字游戏 程序媛了了 python游戏java
    猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
  • 用Python实现读取统计单词个数 程序媛了了 python游戏java
    完整实例代码：fromcollectionsimportCounterdefpythonit():danci={}withopen("pythonit.txt","r",encoding="utf-8")asf:foriinf:words=i.strip().split()forwordinwords:ifwordnotindanci:danci[word]=1else:danci[word]+=
  • Nginx负载均衡 510888780 nginx应用服务器
    Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）       每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight       指定轮询几率，weight和访问比率成正比
  • RedHat 6.4 安装 rabbitmq bylijinnan erlangrabbitmqredhat
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
  • FilenameUtils工具类 eksliang FilenameUtilscommon-io
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • xml文件解析SAX 不懂事的小屁孩 xml
    xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区 酷的飞上天空 mysql
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
  • 如何搭建数据湖架构？听听专家的意见 蓝儿唯美 架构
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据  “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
  • spring学习——控制反转与依赖注入 a-john spring
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。  
  • 用spool+unixshell生成文本文件的方法 aijuans xshell
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
  • 1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
    OOA:Object-Oriented Analysis（面向对象分析方法） 是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
  • 浅谈java转成json编码格式技术 百合不是茶 json编码java转成json编码
    json编码;是一个轻量级的数据存储和传输的语言       在java中需要引入json相关的包,引包方式在工程的lib下就可以了   JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非   常适合于服务器与 JavaScript 之间的数据的交
  • web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 javaweb.xmlSSIspring配置
    指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
  • Installing SonarQube（Fail to download libraries from server） sunjing InstallSonar
    1.  Download and unzip the SonarQube distribution 2.  Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
    一、创建复本集   假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：   mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
  • Anychart图表系列二之执行Flash和HTML5渲染 白糖_ Flash
    今天介绍Anychart的Flash和HTML5渲染功能   HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
    import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析 问题： 有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头， 能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
  • lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引lunce
    import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
  • [IT与投资]坚持独立自主的研究核心技术 comsci it
           和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....        所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
  • flashback transaction闪回事务查询 daizj oraclesql闪回事务
       闪回事务查询有别于闪回查询的特点有以下3个： （1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 （2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 （3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件 游其是你 FilenameFilter
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
    # include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
    今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again   处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 &n
  • 单例模式 shuizhaosi888 单例模式
    单例模式      懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
  • Spring Security（09）——Filter 234390216 Spring Security
    Filter 目录 1.1     Filter顺序 1.2     添加Filter到FilterChain 1.3     DelegatingFilterProxy 1.4     FilterChainProxy 1.5
  • 公司项目NODEJS实践0.1 逐行分析JS源代码 mongodbnginxubuntunodejs
      一、前言         前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。         网上有很多nod
  • java.lang.Math liuhaibo_ljf javaMathlang
    System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
  • linux下时间同步 nonobaba ntp
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
  • ZooKeeper3.4.6的集群部署 roadrunners zookeeper集群部署
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。   1、准备工作 我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。   数据存储目录
  • Java高效读取大文件 tomcat_oracle java
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
  • 微信支付api返回的xml转换为Map的方法 xu3508620 xmlmap微信api
    举例如下： <xml>    <return_code><![CDATA[SUCCESS]]></return_code>    <return_msg><![CDATA[OK]]></return_msg>    <appid><
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他