Python实战笔记-网络爬虫

网络爬虫
定义：按照一定的规则，自动的抓取网站信息的脚本。
典型的应用：搜索引擎、今日头条、竞品分析等

A、爬虫流程
1、发送请求，向对方服务器发送抓取网站的链接URL
2、返回请求，在不发生意外的情况下（意外包括网络问题、客户端问题、服务器问题等），对方服务器将会返回请求内容（即网页源代码）
3、数据存储，利用正则表达式或解析法对源代码做清洗，并将目标数据存储到本地（txt、CSV、Excel等）或者数据库（MySQL、SQL server 、MongoDB等）

B、使用到的包及函数
import requests
import re
import bs4

requests.get – 基于URL，发送网络请求
re.findall – 基于正则表达式，搜寻目标数据
bs4.BeautifulSoup – 对HTML源代码做解析，便于目标数据的拆解

案例1-红牛公司：
http://www.redbull.com.cn/about/branch
需求：提取出分公司名称和地址

#导入requests、re、bs4包
import requests
import re
import bs4

url = ‘http://www.redbull.com.cn/about/branch’
response = requests.get(url)

#提取公司名称
company = re.findall(’

(.?)

’, response.text)
#提取公司地址
add &