flask+scrapy

管道数据库

class SpiderBookPipeline:
    def __init__(self):
        host = 'localhost'
        user = 'root'
        password = '@hdp020820'
        db = '警察大学信息检索'
        self.conn = pymysql.connect(host=host, user=user, password=password, db=db)
        self.cursor = self.conn.cursor()

    def process_item(self, item, spider):
        if isinstance(item, SpiderBookItem):
            # Define your SQL query
            query = """
                        INSERT INTO my_table
                        (big_category, big_category_link, book_author, book_name, book_price, small_category, small_category_link)
                        VALUES
                        (%s, %s, %s, %s, %s, %s, %s)
                    """

            self.cursor.execute(query, (
                item['big_category'],
                item['big_category_link'],
                item['book_author'],
                item['book_name'],
                item['book_price'],
                item['small_category'],
                item['small_category_link']
            ))
        if isinstance(item, NewItems):
            sql = 'insert into news (id, title, link, date) VALUES (null, %s, %s, %s)'
            self.cursor.execute(sql, [item['title'], item['link'], item['date'], ])
        # Commit the transaction
        self.conn.commit()
        return item

要定义SpiderBookPipeline的数据库表结构，你可以创建两个表：my_table和news。

my_table表结构：您可以使用以下SQL语句创建my_table表：

列：

big_category（VARCHAR）：书籍的大类别。

big_category_link（VARCHAR）：与大类别相关联的链接。

book_author（VARCHAR）：书籍的作者。

book_name（VARCHAR）：书籍的名称。

book_price（VARCHAR）：书籍的价格。

small_category（VARCHAR）：书籍的小类别。

small_category_link（VARCHAR）：与小类别相关联的链接。

CREATE TABLE my_table (
    id INT AUTO_INCREMENT PRIMARY KEY,
    big_category VARCHAR(255),
    big_category_link VARCHAR(255),
    book_author VARCHAR(255),
    book_name VARCHAR(255),
    book_price VARCHAR(255),
    small_category VARCHAR(255),
    small_category_link VARCHAR(255)
);

news表结构：您可以使用以下SQL语句创建news表：

列：

id（INT）：每个新闻项的自增ID。

title（VARCHAR）：新闻的标题。

link（VARCHAR）：与新闻相关联的链接。

date（VARCHAR）：新闻的日期。

CREATE TABLE news (
    id INT AUTO_INCREMENT PRIMARY KEY,
    title VARCHAR(255),
    link VARCHAR(255),
    date VARCHAR(255)
);

根据您的需求，确保调整列的数据类型和长度。上述示例假设使用VARCHAR(255)进行简化，但您可以根据需要进行修改。

注意：在执行SQL语句之前，请确保您具有必要的权限，并在MySQL服务器中创建了数据库警察大学信息检索。

redies数据库

服务器的redies数据库配置https://www.jianshu.com/p/990cdf530a58

Redis是什么

Redis是现在最受欢迎的NoSQL数据库之一，Redis是一个使用ANSI C编写的开源、包含多种数据结构、支持网络、基于内存、可选持久性的键值对存储数据库，其具备如下特性：

• 基于内存运行，性能高效
• 支持分布式，理论上可以无限扩展
• key-value存储系统
• 开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API

相比于其他数据库类型，Redis具备的特点是：

• C/S通讯模型
• 单进程单线程模型
• 丰富的数据类型
• 操作具有原子性
• 持久化
• 高并发读写
• 支持lua脚本

哪些大厂在使用Redis？

• github
• twitter
• 微博
• Stack Overflow
• 阿里巴巴
• 百度
• 美团
• 搜狐

Redis的应用场景有哪些？

Redis 的应用场景包括：缓存系统（“热点”数据：高频读、低频写）、计数器、消息队列系统、排行榜、社交网络和实时系统。

Redis的数据类型及主要特性

Redis提供的数据类型主要分为5种自有类型和一种自定义类型，这5种自有类型包括：String类型、哈希类型、列表类型、集合类型和顺序集合类型。

String类型：

它是一个二进制安全的字符串，意味着它不仅能够存储字符串、还能存储图片、视频等多种类型, 最大长度支持512M。

对每种数据类型，Redis都提供了丰富的操作命令，如：

• GET/MGET
• SET/SETEX/MSET/MSETNX
• INCR/DECR
• GETSET
• DEL

哈希类型：

该类型是由field和关联的value组成的map。其中，field和value都是字符串类型的。

Hash的操作命令如下：

• HGET/HMGET/HGETALL
• HSET/HMSET/HSETNX
• HEXISTS/HLEN
• HKEYS/HDEL
• HVALS

列表类型：

该类型是一个插入顺序排序的字符串元素集合, 基于双链表实现。

List的操作命令如下：

• LPUSH/LPUSHX/LPOP/RPUSH/RPUSHX/RPOP/LINSERT/LSET
• LINDEX/LRANGE
• LLEN/LTRIM

集合类型：

Set类型是一种无顺序集合, 它和List类型最大的区别是：集合中的元素没有顺序, 且元素是唯一的。

Set类型的底层是通过哈希表实现的，其操作命令为：

• SADD/SPOP/SMOVE/SCARD
• SINTER/SDIFF/SDIFFSTORE/SUNION

Set类型主要应用于：在某些场景，如社交场景中，通过交集、并集和差集运算，通过Set类型可以非常方便地查找共同好友、共同关注和共同偏好等社交关系。

顺序集合类型：

ZSet是一种有序集合类型，每个元素都会关联一个double类型的分数权值，通过这个权值来为集合中的成员进行从小到大的排序。与Set类型一样，其底层也是通过哈希表实现的。

ZSet命令：

• ZADD/ZPOP/ZMOVE/ZCARD/ZCOUNT
• ZINTER/ZDIFF/ZDIFFSTORE/ZUNION

Redis的数据结构

Redis的数据结构如下图所示：

关于上表中的部分释义：

1. 压缩列表是列表键和哈希键的底层实现之一。当一个列表键只包含少量列表项，并且每个列表项要么就是小整数，要么就是长度比较短的字符串，Redis就会使用压缩列表来做列表键的底层实现
2. 整数集合是集合键的底层实现之一，当一个集合只包含整数值元素，并且这个集合的元素数量不多时，Redis就会使用整数集合作为集合键的底层实现

如下是定义一个Struct数据结构的例子：

简单动态字符串SDS (Simple Dynamic String)

基于C语言中传统字符串的缺陷，Redis自己构建了一种名为简单动态字符串的抽象类型，简称SDS，其结构如下：

SDS几乎贯穿了Redis的所有数据结构，应用十分广泛。

SDS的特点

和C字符串相比，SDS的特点如下：

1. 常数复杂度获取字符串长度

Redis中利用SDS字符串的len属性可以直接获取到所保存的字符串的长
度，直接将获取字符串长度所需的复杂度从C字符串的O(N)降低到了O(1)。

2. 减少修改字符串时导致的内存重新分配次数

通过C字符串的特性，我们知道对于一个包含了N个字符的C字符串来说，其底层实现总是N+1个字符长的数组（额外一个空字符结尾）

那么如果这个时候需要对字符串进行修改，程序就需要提前对这个C字符串数组进行一次内存重分配（可能是扩展或者释放）

而内存重分配就意味着是一个耗时的操作。

Redis巧妙的使用了SDS避免了C字符串的缺陷。在SDS中，buf数组的长度不一定就是字符串的字符数量加一，buf数组里面可以包含未使用的字节，而这些未使用的字节由free属性记录。

与此同时，SDS采用了空间预分配的策略，避免C字符串每一次修改时都需要进行内存重分配的耗时操作，将内存重分配从原来的每修改N次就分配N次——>降低到了修改N次最多分配N次。

如下是Redis对SDS的简单定义：

要设置Redis数据库，您需要按照以下步骤进行操作：

安装Redis：首先，您需要安装Redis数据库。您可以从Redis官方网站（https://redis.io/）下载适合您操作系统的安装程序或者通过包管理器进行安装。

启动Redis服务器：安装完成后，您需要启动Redis服务器。在命令行中，输入以下命令来启动Redis服务器：

redis-server

默认情况下，Redis将在本地主机上的默认端口6379上运行。

1. 连接到Redis服务器：在您的应用程序中，您需要使用Redis客户端库来连接到Redis服务器。根据您选择的编程语言和Redis客户端库，您可以使用相应的方法来建立连接。下面是Python中使用redis-py库连接到Redis服务器的示例：

import redis

# 创建Redis连接
r = redis.Redis(host='localhost', port=6379)

# 测试连接
try:
    r.ping()
    print("成功连接到Redis服务器")
except redis.ConnectionError:
    print("无法连接到Redis服务器")

在上述示例中，host和port参数指定了Redis服务器的地址和端口。根据您的实际情况进行修改。

1. 使用Redis数据库：连接到Redis服务器后，您可以使用Redis提供的各种命令和功能来操作数据。以下是一些常用的Redis命令示例：根据您的具体需求，您可以使用适当的Redis命令和功能来操作数据。

• • 存储和检索数据：
  • 设置过期时间：
  • 设置哈希数据：
  • 发布与订阅消息：

# 存储数据
r.set('key', 'value')

# 检索数据
value = r.get('key')
print(value)

# 存储带有过期时间的数据（10秒后过期）
r.setex('key', 10, 'value')

# 存储哈希数据
r.hset('hash_key', 'field', 'value')

# 获取哈希数据
value = r.hget('hash_key', 'field')
print(value)

# 发布消息
r.publish('channel', 'message')

# 订阅消息
pubsub = r.pubsub()
pubsub.subscribe('channel')
for message in pubsub.listen():
    print(message)

这些是Redis设置的基本步骤。根据您的应用程序需求，您还可以配置更高级的功能，例如设置密码、配置持久化、设置主从复制等。有关更多详细信息，请参阅Redis官方文档或适用于您所使用的Redis版本的文档。

环境安装教程

redies可视化管理工具

Redis Desktop Manager(Redis可视化工具)安装及使用教程_redisdesk_南风孤梦晓辰星的博客-CSDN博客

demo

fake_useragent是一个Python库，用于生成随机的用户代理(User-Agent)字符串。用户代理是一个HTTP请求头部的一部分，用于标识发起请求的客户端（通常是Web浏览器）的类型、版本和操作系统等信息。

fake_useragent库的主要功能是生成随机的用户代理字符串，以模拟不同类型的浏览器、设备和操作系统的请求。它可以用于以下情况：

1. 网络爬虫：在编写网络爬虫时，使用不同的用户代理字符串可以使爬虫看起来更像真实的用户请求。通过随机选择用户代理，可以降低被目标网站识别和阻止的风险。
2. 数据采集和测试：在进行数据采集、API测试或模拟用户行为时，使用随机的用户代理可以提高请求的多样性，模拟不同类型的客户端访问。
3. 匿名性和隐私保护：有时候，您可能希望隐藏自己的真实身份或IP地址。通过使用随机的用户代理，您可以增加一定程度的匿名性，使请求更难被追踪。

fake_useragent库提供了一个简单的API，使您可以轻松地生成随机的用户代理字符串。您可以使用它来获取随机的浏览器、操作系统和设备类型等信息，或者从预定义的用户代理池中选择特定类型的用户代理。

请注意，尽管使用随机的用户代理可以提高匿名性和请求多样性，但某些网站可能仍然能够检测到并限制此类行为。在使用fake_useragent或任何用户代理相关技术时，请始终遵守目标网站的规则和法律法规，并确保遵循适当的爬取道德准则。