python 用爬虫爬取的大量数据怎么保存到本地

前言
用爬虫爬取的大量数据怎么保存到本地,本文以保存到Excel为例。

1.先导入爬虫所需的库
在这里插入图片描述说明一下,引入xlsxwriter这个库,主要是为了将数据写入Excel;我这里用到的是xpath,当然了你也可以选择bs4或者正则。

2.选取你要爬取的url地址,将地址赋值给一个变量url,别忘了添加一个请求头信息’User-Agent’。

3.对想要爬取的页面进行解析
在这里插入图片描述4.接着利用xpath方法,提起页面源代码里面想要的信息
python 用爬虫爬取的大量数据怎么保存到本地_第1张图片需要注意的是,这里在python3中用print方法输出的内容是一个隐藏的对象,后面再讲解用方法把对象转成类似字符串的形式。

5.接下来就用到xlsxwriter 这个模块的功能:
python 用爬虫爬取的大量数据怎么保存到本地_第2张图片
xlsxwriter.Workbook(‘jianshu.xlsx’)
就是创建一个excel表名的意思;
work_book.add_worksheet()
是我们熟悉的建立一个sheet,括号中不写名字,默认为’sheet’;
work_sheet.wri

你可能感兴趣的:(python,爬虫,python,excel,数据挖掘,数据分析)