【100天精通python】Day44:python网络爬虫开发_爬虫基础(爬虫数据存储:基本文件存储,MySQL,NoSQL:MongDB,Redis 数据库存储+实战代码)

目录

1 数据存储

1.1 爬虫存储:基本文件存储

1.2 爬虫存储:使用MySQL 数据库

1.3 爬虫 NoSQL 数据库使用

1.3.1 MongoDB 简介

1.3.2 MongoDB 使用

1.3.1 爬虫存储:使用MongoDB 数据库

1.4 Redis 数据库的使用

1.4.1 主要特点

1.4.2 常见用途

1.4.3 使用 Redis 数据库

 1.4.4 爬虫存储:使用 Redis 数据库

2 实战 网络爬虫数据存储示例

3 实战 抓取一个网页上的书籍信息


1 数据存储

1.1 爬虫存储:基本文件存储

   在爬虫中,你可以使用不同的格式将抓取到的数据存储下来,如文本文件(txt)、JSON文件、CSV文件等。

文本文件存储示例:

with open('data.txt', 'w') as file:
    file.write('Hello, World!')

JSON 文件存储示例:

import json

data = {'name': 'John', 'age': 30}
with open('data.json', 'w') as file:
    json.dump(data, file)

CSV 文件存储示例:

import csv

data = [['name', 'age'], ['John', 30], ['Alice', 25]]
with open('data.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(data)

1.2 爬虫存储:使用MySQL 数据库

        MySQL 是一种关系型数据库管理系统,你可以使用 Python 的 mysql.connector 模块连接和操作 MySQL 数据库。

        爬虫中使用 MySQL 数据库的基本步骤包括连接到数据库、创建数据表、将抓取到的数据存储到数据库中。以下是一个简单的示例,演示如何在爬虫中使用 MySQL 数据库存储抓取到的书籍信息。

实例:将抓取的书籍信息存储到 MySQL 数据库中

首先,确保你已经安装了 mysql-connector-python 库,它是 Python 连接 MySQL 数据库的库。

pip install mysql-connector-python

然后,你需要在 MySQL 数据库中创建一个名为 books 的数据库,以及一个名为 book_info 的数据表,用于存储书籍信息。

CREATE DATABASE books;
USE books;

CREATE TABLE book_info (
    id INT AUTO_INCREMENT PRIMARY KEY,
    title VARCHAR(255),
    author VARCHAR(255),
    price DECIMAL(10, 2)
);

接下来,你可以使用以下代码示例,将抓取到的书籍信息存储到 MySQL 数据库中: 

import requests
import mysql.connector
from bs4 import BeautifulSoup

# 抓取数据
url = 'https://www.example.com/books'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 连接到 MySQL 数据库
connection = mysql.connector.connect(
    host='localhost',
    user='username',
    password='password',
    database='books'
)
cursor = connection.cursor()

# 解析并存储数据到数据库
book_elements = soup.find_all('div', class_='book')
for book_element in book_elements:
    title = book_element.find('h2').text
    author = book_element.find('p', class_='author').text
    price = float(book_element.find('p', class_='price').text.replace('$', ''))
    
    # 插入数据
    insert_query = "INSERT INTO book_info (title, author, price) VALUES (%s, %s, %s)"
    values = (title, author, price)
    cursor.execute(insert_query, values)

connection.commit()

# 关闭连接
cursor.close()
connection.close()

print("Book data saved to MySQL database.")

这个实例演示了如何将抓取到的书籍信息存储到 MySQL 数据库中。在实际应用中,你需要根据实际情况修改数据库连接参数、网页解析方式以及数据表结构。同时,你还可以添加异常处理等机制以保证数据存储的稳定性。 

1.3 爬虫 NoSQL 数据库使用

        NoSQL(Not Only SQL)是一种非关系型数据库,不使用传统的表格和关系来存储数据。它适用于大规模、高性能、分布式环境下的数据存储。

1.3.1 MongoDB 简介

        MongoDB 是一个开源的 NoSQL 数据库,以文档形式存储数据。它具有灵活的模式设计、横向可扩展性和高性能的特点。

1.3.2 MongoDB 使用

from pymongo import MongoClient

# 创建数据库连接
client = MongoClient('mongodb://localhost:27017/')

# 创建或选择数据库和集合
db = client['mydb']
collection = db['mycollection']

# 插入文档
data = {'name': 'John', 'age': 30}
insert_result = collection.insert_one(data)
print(insert_result.inserted_id)

# 查询文档
query = {'name': 'John'}
result = collection.find_one(query)
print(result)

# 更新文档
update_query = {'name': 'John'}
new_values = {'$set': {'age': 31}}
collection.update_one(update_query, new_values)

# 删除文档
delete_query = {'name': 'John'}
collection.delete_one(delete_query)

# 关闭连接
client.close()

1.3.1 爬虫存储:使用MongoDB 数据库

        在爬虫中使用 MongoDB 数据库的步骤包括连接到数据库、创建集合(类似于表格)、将抓取到的数据存储到集合中。以下示例,演示如何在爬虫中使用 MongoDB 数据库存储抓取到的书籍信息。

实例:将抓取的书籍信息存储到 MongoDB 数据库中

首先,确保你已经安装了 pymongo 库,它是 Python 连接 MongoDB 数据库的库。

pip install pymongo

然后,你需要启动 MongoDB 数据库,并创建一个数据库(例如 books_db)以及一个集合(例如 book_collection)。

接下来,你可以使用以下代码示例,将抓取到的书籍信息存储到 MongoDB 数据库中:

import requests
import pymongo
from bs4 import BeautifulSoup

# 抓取数据
url = 'https://www.example.com/books'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 连接到 MongoDB 数据库
client = pymongo.MongoClient('mongodb://localhost:27017/')
db = client['books_db']
collection = db['book_collection']

# 解析并存储数据到集合
book_elements = soup.find_all('div', class_='book')
for book_element in book_elements:
    title = book_element.find('h2').text
    author = book_element.find('p', class_='author').text
    price = float(book_element.find('p', class_='price').text.replace('$', ''))
    
    # 插入数据
    book_data = {'title': title, 'author': author, 'price': price}
    collection.insert_one(book_data)

print("Book data saved to MongoDB database.")

         这个实例演示了如何将抓取到的书籍信息存储到 MongoDB 数据库中。在实际应用中,你需要根据实际情况修改数据库连接参数、网页解析方式以及集合名称。同时,你还可以添加异常处理等机制以保证数据存储的稳定性。

1.4 Redis 数据库的使用

    Redis 数据库它通常用于缓存、数据存储、消息队列等场景。下面详细解释 Redis 的用途,并提供一个基本的示例,演示如何在 Python 中使用 Redis。

1.4.1 主要特点

  1. 内存数据库: Redis 数据库将数据存储在内存中,因此访问速度非常快。
  2. 多种数据结构: Redis 支持多种数据结构,如字符串、哈希、列表、集合、有序集合等,使得它适用于不同的数据存储需求。
  3. 持久化: Redis 可以将内存中的数据持久化到磁盘,以便在重启后恢复数据。
  4. 分布式: Redis 支持分布式部署,可以设置主从复制、分片等机制。
  5. 高性能: Redis 使用高效的数据结构和存储引擎,具有出色的读写性能。
  6. 事务支持: Redis 支持事务,可以将多个操作打包成一个事务进行执行,确保原子性。
  7. 发布/订阅: Redis 提供发布/订阅机制,用于实现消息发布和订阅模式。
  8. 过期时间: 可以为键设置过期时间,过期后键将自动删除。
  9. Lua 脚本: Redis 支持执行 Lua 脚本,可以在服务器端执行复杂操作。

1.4.2 常见用途

  1. 缓存: Redis 适用于缓存常用的数据,加速数据访问。
  2. 会话管理: 在 Web 应用中,可以使用 Redis 存储用户会话信息。
  3. 实时统计: Redis 可以用于实时统计、计数器等功能。
  4. 消息队列: Redis 的发布/订阅机制可以实现轻量级的消息队列。
  5. 排行榜: Redis 的有序集合可以用于实现排行榜等功能。
  6. 分布式锁: 使用 Redis 可以实现分布式锁,控制并发访问。
  7. 缓解数据库负载: 将一部分查询结果存储在 Redis 中,减轻数据库的负载。

1.4.3 使用 Redis 数据库

Redis(Remote Dictionary Server)是一种开源的高性能键值存储系统,它被广泛用于各种应用场景,包括缓存、数据存储、消息队列、计数器、实时分析等。

 1 安装 redis 模块

pip install redis

    2 使用示例

import redis

# 创建连接
r = redis.Redis(host='localhost', port=6379, db=0)

# 存储数据
r.set('key', 'value')  # 存储字符串类型数据
r.hset('user:1', 'name', 'John')  # 存储哈希类型数据
r.hset('user:1', 'age', 30)  # 存储哈希类型数据

# 获取数据
value = r.get('key')
print("Value:", value.decode('utf-8'))

user_info = r.hgetall('user:1')
print("User Info:", user_info)

# 删除数据
r.delete('key')
r.hdel('user:1', 'age')

# 设置过期时间
r.setex('key', 3600, 'value')  # 设置键的过期时间(单位为秒)

# 发布和订阅
def subscriber():
    pubsub = r.pubsub()
    pubsub.subscribe(['channel'])  # 订阅名为 'channel' 的频道
    for message in pubsub.listen():
        print("Received:", message['data'])
        
def publisher():
    r.publish('channel', 'Hello, Subscribers!')  # 向频道发布消息

# 事务
def perform_transaction():
    with r.pipeline() as pipe:
        while True:
            try:
                pipe.watch('balance')  # 监视键 'balance'
                balance = int(pipe.get('balance'))
                if balance >= 10:
                    pipe.multi()  # 开始事务
                    pipe.decrby('balance', 10)  # 减少余额
                    pipe.incrby('expenses', 10)  # 增加支出
                    pipe.execute()  # 执行事务
                    break
                else:
                    print("Insufficient balance.")
                    break
            except redis.WatchError:
                continue

# 持久化
r.save()  # 手动触发持久化操作
r.bgsave()  # 后台进行持久化

# 关闭连接
r.close()

这些示例介绍了如何使用不同的存储方式(文本、JSON、CSV、数据库)来存储爬虫抓取到的数据,以及如何连接和操作 MySQL、MongoDB 和 Redis 数据库。具体用法会根据你的需求和环境略有不同,你可以根据这些示例进行更深入的学习和实践。

 1.4.4 爬虫存储:使用 Redis 数据库

实例:将抓取的网页链接存储到 Redis 数据库中

首先,确保你已经安装了 redis 库,它是 Python 连接 Redis 数据库的库。

然后,你需要启动 Redis 服务器。接下来,你可以使用以下代码示例,将抓取到的网页链接存储到 Redis 数据库中:

import requests
import redis
from bs4 import BeautifulSoup

# 抓取数据
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 连接到 Redis 数据库
r = redis.Redis(host='localhost', port=6379, db=0)

# 解析并存储数据到 Redis 数据库
link_elements = soup.find_all('a')
for link_element in link_elements:
    link = link_element.get('href')
    if link and link.startswith('http'):
        r.sadd('links', link)

print("Links data saved to Redis database.")

在这个示例中,我们从目标网页中抓取所有链接,然后使用 Redis 的集合数据类型(sadd 方法)将这些链接存储到 Redis 数据库中。

这个实例只是一个简单的示范,你可以根据实际需求,将更多的功能添加到爬虫中,如数据清洗、去重、持久化等。同时,你需要根据实际情况配置 Redis 数据库的连接参数。

2 实战 网络爬虫数据存储示例

        以下是一个简单示例,演示如何在爬虫中将抓取到的数据存储到文本文件、JSON 文件和 MySQL 数据库中:

import requests
import json
import mysql.connector

# 抓取数据
response = requests.get('https://api.example.com/data')
data = response.json()

# 文本文件存储
with open('data.txt', 'w') as file:
    for item in data:
        file.write(f"{item['name']} - {item['value']}\n")

# JSON 文件存储
with open('data.json', 'w') as file:
    json.dump(data, file, indent=4)

# 数据库存储
connection = mysql.connector.connect(
    host='localhost',
    user='username',
    password='password',
    database='mydatabase'
)

cursor = connection.cursor()
for item in data:
    query = "INSERT INTO data_table (name, value) VALUES (%s, %s)"
    values = (item['name'], item['value'])
    cursor.execute(query, values)

connection.commit()
cursor.close()
connection.close()

3 实战 抓取一个网页上的书籍信息

一个简单的网络爬虫实例,涵盖了使用 urllib 库、Beautiful Soup 库、代理和数据存储的方面。在这个实例中,我们将抓取一个网页上的书籍信息,并将抓取到的数据存储到 JSON 文件中。

import urllib.request
from bs4 import BeautifulSoup
import json

# 定义目标网页的 URL
url = 'https://www.example.com/books'

# 定义代理(如果需要使用代理)
proxies = {'http': 'http://proxy.example.com:8080'}

# 发起请求,使用代理
req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
response = urllib.request.urlopen(req, proxies=proxies)

# 解析网页内容
soup = BeautifulSoup(response, 'html.parser')

# 创建一个空的书籍列表
books = []

# 获取书籍信息
book_elements = soup.find_all('div', class_='book')
for book_element in book_elements:
    title = book_element.find('h2').text
    author = book_element.find('p', class_='author').text
    price = book_element.find('p', class_='price').text
    books.append({'title': title, 'author': author, 'price': price})

# 存储到 JSON 文件
with open('books.json', 'w') as file:
    json.dump(books, file, indent=4)

print("Books data saved to 'books.json'")

你可能感兴趣的:(100天精通python,python,网络爬虫从入门到精通,python,爬虫,开发语言)