听到网站爬虫，很多人都觉得很高大上，爬虫是不是黑客才能干的事啊？今天这里展示了一个简单的爬虫程序，并且对数据进行读取分析，最后写入Excel文件。
难点在于分析HTML代码上，最起码您得看得懂HTML代码。
requests库
requests库功能很强大，这里我们需要用到它都只是我们给它一个网址，然后让它将html代码获取下来：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}
r = requests.get('http://www.baidu.com', headers=headers)
print(r.text)
有些网站含有防爬虫机制，如果不设置UserAgent就无法获取准确的网站内容。那么该如何取得User-Agent到值：
如果你使用到送chrome浏览器，那么按F12，然后再刷新页面，在Network页面中选择all，再在左侧到www.baidu.com中找到Headers中找出User-Agent复制即可，其它网页也是类似操作。
运行之后将会得到baidu.com首页都全部代码：（代码太长，此处省略）
提取HTML数据：Beautiful Soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
好，现在查阅了Beautiful Soup官网都基本说明，我们可以来完成一个最简单都爬虫代码，获取到百度的title值：
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}
r = requests.get('http://www.baidu.com', headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')
pagetitle = soup.find("title")
print(pagetitle.get_text())
运行以后得到：
百度一下
进程已结束，退出代码 0
其实还是相当简单的对吧，下面我们再把难度提高一点点，去获取一个复杂点都网站，并且把它写入Excel文件里面。
爬虫实行僧网站
下面到例子是爬取实习僧网站，是一个实习生的招聘网站。
我们想爬取到是从page=1-page=4之间的所有页面，即是从：
https://www.shixiseng.com/interns?page=1&keyword=python
到
https://www.shixiseng.com/interns?page=4&keyword=python
之间的所有网页：
那么按照上面的代码，我们可以写出以下的代码：
import requests
htmls = []
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}
for page in range(1, 5):
url = f'https://www.shixiseng.com/interns?page={page}&keyword=python'
r = requests.get(url, headers=headers)
htmls.append(r.text)
print('正在读取的页面：' + url)
D:\python_pycharm\pro\venv\Scripts\python.exe D:/python_pycharm/pro/pachong2.py
正在读取的页面：https://www.shixiseng.com/interns?page=1&keyword=python
正在读取的页面：https://www.shixiseng.com/interns?page=2&keyword=python
正在读取的页面：https://www.shixiseng.com/interns?page=3&keyword=python
正在读取的页面：https://www.shixiseng.com/interns?page=4&keyword=python进程已结束，退出代码 0
看着屏幕逐渐跳出正在读取的页面的URL,其实是很有感觉的~~
接着，我们对页面到HTML代码进行分析：
根据图片我们可以看出，左侧到列表是在 但我们主要不是找列表的所有数据，我们根据需求获取其中一部分的数据即可。假设我们需要提取的是职位名称，就是上图的 开发部-Python实习生（此处有反爬虫机制，数字和字母都使用了一种特殊的字体进行简单的加密，如果需要正确读取需要进行解密，等以后再写一篇文章说明）和详细页面的链接即可。 循环获取到列表数据以后，我们再获取所需要的数据，分析代码我们看到，标题和链接的html代码是： 深度学习培训导实习 -/天 上海 | 天/周 | 个月 我们要如何查询这一段代码的需要内容呢，首先要得到链接，就要让指针指向div - class='intern-detail__job'里面，再查找a标签里面的href即可得到url，利用get_text()就可以得到名称（本例中的title也是可以的） 现在我们先不着急着把数据写入Excel，先把数据写入字典htmls=[]里面，再打印出来。如果查找不对，那么将打印出一个空的字典出来，完整代码如下： 程序输出： 正在读取的页面：https://www.shixiseng.com/interns?page=1&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend= 字典有数据，并且符合我们的要求，写入成功。 写入Excel也很简单，今天我们来安装一个新的Excel库：openpyxl。 然后在代码的文件夹中新建一个Excel文件，取名为list1.xlsx，那么要写入这个文件的代码是： 那么插入数据的方法有很多，下面我们看最简单的方法，在循环的内部插入代码： 打开list1.xlsx文件，写入成功： 可以看到，name的输出有一些打不出来，因为该网站对字母和数字和一些常用汉字做了反爬虫加密，例如A4A5,原标题是：【2020校招】。只要将加密的字符提取出来，并且做个查询就可以反向得到正确的字符，这方面的知识等以后有时间再写写。这里只是写出爬虫、并且将爬虫数据写入Excel文件的一个简单思路。对自己来说是个备忘作用，如果刚好对您有所帮助，那就再好不过了。 requests库功能很强大，下一步我希望能做出自动登录-登录以后自动完成一些工作，这才是我需要的功能！headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}
for page in range(1, 2):
url = f'https://www.shixiseng.com/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='
r = requests.get(url)
soup = BeautifulSoup(r.text, 'lxml')
offers = soup.select('.intern-wrap.intern-item')
htmls = []
for offer in offers:
htmls = []
for offer in offers:
urls = offer.find('div', class_="intern-detail__job").find("p").find("a")
name = urls.get_text()
link = urls["href"]
htmls.append(
{'name': name, 'url': link})
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}
for page in range(1, 2):
url = f'https://www.shixiseng.com/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='
r = requests.get(url)
soup = BeautifulSoup(r.text, 'lxml')
offers = soup.select('.intern-wrap.intern-item')
htmls = []
for offer in offers:
urls = offer.find('div', class_="intern-detail__job").find("p").find("a")
name = urls.get_text()
link = urls["href"]
htmls.append(
{'name': name, 'url': link})
print('正在读取的页面：' + url)
print(htmls)
[{'name': '数据科学实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_j34ozcntlsab'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5运维实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_i3dkjet1hnbn'}, {'name': '售\uf8bd实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_ghmrjov3g75r'}, {'name': '【\uedbf\uf2ae\uedbf\uf2ae校\ue5e8】后台 开发\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_ibdhjujc1r7j'}, {'name': '【\uedbf\uf2ae\uedbf\uf2ae校\ue5e8】爬虫\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_rcsmiygwdwzp'}, {'name': '服务\ued26开发实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_ok5wfm0zjaru'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发实习\ue1ba-\uf3c6\ue147团队', 'url': 'https://www.shixiseng.com/intern/inn_zo0olj4az7xo'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_otbcbdcmlfrv'}, {'name': ' 编\ueeea讲\uf34e--\uedbf\uf2ae届校\ue5e8', 'url': 'https://www.shixiseng.com/intern/inn_eogiclckforz'}, {'name': '后\ued26开发实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_njckxepejl1q'}, {'name': '深度学习培训导\uf34e实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_rgbpqean65ke'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_bfom7ajdvvsz'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5实习', 'url': 'https://www.shixiseng.com/intern/inn_kabgjlwc9tmc'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5助教实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_eewbvqvs3no1'}, {'name': '数据分析实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_ckb0bj41ti5t'}, {'name': '金融\uf31e\ueeea实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_seknmdkmqfp6'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5爬虫\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_gybdr3swa1nz'}, {'name': '数据清洗\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_110d5rowipjl'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5 后\ued26开发实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_m97hnb9uidsy'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5助教', 'url': 'https://www.shixiseng.com/intern/inn_4pbllbmzn0kx'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发实习', 'url': 'https://www.shixiseng.com/intern/inn_xp0f1iwabrzv'}]将数据写入Excel
from openpyxl import load_workbook
workbook = load_workbook(filename='list1.xlsx')
sheet = workbook.active
import requests
from bs4 import BeautifulSoup
from openpyxl import load_workbook
workbook = load_workbook(filename='list1.xlsx')
sheet = workbook.active
I = 0
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}
for page in range(1, 5):
url = f'https://www.shixiseng.com/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='
r = requests.get(url)
soup = BeautifulSoup(r.text, 'lxml')
offers = soup.select('.intern-wrap.intern-item')
for offer in offers:
I += 1
urls = offer.find('div', class_="intern-detail__job").find("p").find("a")
name = urls.get_text()
link = urls["href"]
str1 = 'A' + str(I)
str2 = 'B' + str(I)
sheet[str1].value = name
sheet[str2].value = link
print('正在读取的页面：' + url)
workbook.save(filename='list1.xlsx')