爬虫——保存爬取数据

---

前言

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：
（1）不同领域、不同背景的用户往往具有不同的检索目的和需求，通过搜索引擎所返回的结果包含大量用户不关心的网页。
（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。
（3）万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫（general purpose web crawler）不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、python怎么把爬取到的数据进行保存？

可以将数据导入数据库或者excel等等

二、使用数据库步骤

1.引入库

代码如下：

import sqlite3

2.创建数据库

代码如下（示例）：

# 创建数据库
conn = sqlite3.connect("test.db")  # 打开或创建数据库文件
print("成功打开数据库")

如果数据库存在则打开，不存在则创建并打开

2.创建数据表

# 创建数据表

conn = sqlite3.connect("test.db")  # 打开或创建数据库文件
print("成功打开数据库")
c = conn.cursor()  # 获取游标

sql = '''
   create table company
       (id int primary key not null,
       name text not null,
       age int not null,
       address char (50),
       salary real);

 '''

c.execute(sql)  # 执行sql语句
conn.commit()  # 提交数据库操作
conn.close()  # 关闭数据库连接

print("成功建表")

打开数据库获取游标写sql语句，sql语句可以用三个单引号包起来避免换行问题，执行sql语句并提交数据库操作最后关闭数据库连接

3.插入数据

# 插入数据
conn = sqlite3.connect("test.db")  # 打开或创建数据库文件
print("成功打开数据库")
c = conn.cursor()  # 获取游标

sql = '''
    insert into company (id,name,age,address,salary)
        values (2,"老王",18,"深圳",123);

'''

c.execute(sql)  # 执行sql语句
conn.commit()  # 提交数据库操作
conn.close()  # 关闭数据库连接

print("插入数据完毕")

与创建数据库同理，改变为插入数据的sql语句

4.查询数据

# 查询数据

conn = sqlite3.connect("test.db")  # 打开或创建数据库文件
print("成功打开数据库")
c = conn.cursor()  # 获取游标

sql = "select * from company"

cursor = c.execute(sql)  # 执行sql语句

for i in cursor:
    for j in i:
        print(j,end=' ')
    print()
conn.close()  # 关闭数据库连接

print("查询完毕")

三、使用Excel步骤

1.引入库

import xlwt

2.创建excel表并写入数据

workbook = xlwt.Workbook(encoding="utf-8")  # 创建workbook对象
worksheet = workbook.add_sheet("sheet1")  # 创建工作表
worksheet.write(0, 0, "hello  ")  # 写入数据，第一个参数“行”，第二个参数”列“，第三个参数内容
workbook.save("test.xls")  # 保存数据表

例子中将写入的数据库保存到当前目录下的test.xls文件

workbook = xlwt.Workbook(encoding="utf-8")  # 创建workbook对象
worksheet = workbook.add_sheet("sheet1")  # 创建工作表
for i in range(1,10):
    for j in range(1,i+1):
        ride = i*j
        worksheet.write(i-1,j-1,"%d * %d = %d"%(j,i,ride))
workbook.save("test.xls")  # 保存数据表

在excel中打印九九乘法表

四、使用csv步骤

1.引入库

import pandas as pd

2.写入数据

with open('data.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['area', 'curConfirm', 'confirmedRelative', 'confirmed', 'crued', 'died'])

以utf-8编码写入csv文件

2.读取csv数据

df = pd.read_csv('data.csv',encoding='utf-8')
print(df)

打印csv中数据

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了python对数据存储方法的使用，而python提供了大量能使我们快速便捷地处理数据的函数和方法。