课时20 爬取大规模数据的工作流分析

第一步, 观察页面特征
第二步 , 设计工作流程


课时20 爬取大规模数据的工作流分析_第1张图片
1.jpg

抓取 url,选择 好selector


课时20 爬取大规模数据的工作流分析_第2张图片
1.jpg
课时20 爬取大规模数据的工作流分析_第3张图片
1.jpg
课时20 爬取大规模数据的工作流分析_第4张图片
1.jpg

设置页面爬取 代码, 第一步创建 数据库连接。

课时20 爬取大规模数据的工作流分析_第5张图片
1.jpg

目标 要的url

http://bj.58.com/diannao/0/pn2/
课时20 爬取大规模数据的工作流分析_第6张图片
1.jpg

完整的 情况

1.jpg
课时20 爬取大规模数据的工作流分析_第7张图片
1.jpg

然后 插入数据库

url_list.insert_one({'url': item_link})

本地 pythcarm mongodb 插件 查看 配置

课时20 爬取大规模数据的工作流分析_第8张图片
1.jpg

由于 具体的 内容 页面里面有些 还是不能正常访问,那么我们就要做一个判断。 正常的那个页面是有td 标签的。

课时20 爬取大规模数据的工作流分析_第9张图片
1.jpg

下一步 我们设计spider2

课时20 爬取大规模数据的工作流分析_第10张图片
1.jpg

插入数据到 数据库中

课时20 爬取大规模数据的工作流分析_第11张图片
1.jpg
课时20 爬取大规模数据的工作流分析_第12张图片
1.jpg
课时20 爬取大规模数据的工作流分析_第13张图片
1.jpg

你可能感兴趣的:(课时20 爬取大规模数据的工作流分析)