本篇文章是用requests请求，beautifulsoup进行解析；如果是找正则表达式、urllib案例的同学建议学习其它资料。
ps:如果是找案例的同学可直接看最后代码部分，如果你和我一样入门爬虫从文章开头阅读罗。
前言：自学爬虫第15天，终于成功爬取58同城月嫂招聘信息并保存至mysql数据库……写下这篇文章分享给自学爬虫的你。数据不完善之处：由于某些网页会把某些信息隐藏，导致爬取的pos_base_browser, pos_base_apply数据为空，这个问题还在解决中。
感悟：自己在学习期间心态也不稳定，会有临阵脱逃的冲动，而让自己坚持下来动力是不断解决一个又一个的问题、知识体系的不断升级。15天重复着找资料、百度、百度翻译的过程；最害怕看见代码报错；最经常看见的一个错误是**out of range。虽没人带花费了很多时间找资料，但在不断的探索中也收获了一解决问题的思路：少问人多思考—翻译—百度。
文章分为四个部分：
一、我的爬虫学习目标
二、爬虫学习升级过程：入门10点
三、学习过程中的坑
四、58同城月嫂招聘信息代码
五、我待解决问题
一、我的爬虫学习目标
1、了解html、css、javascrpt
2、掌握requests、beautifulsoup库
3、会模仿爬虫案例
二、爬虫学习升级过程：入门10点
1、了解html、css、标签
2、学习requests、beautifulsoup库；会get请求、会通过标签选择相应的文本，会通过标签选择属性
3、理解静态加载（翻页请求）、动态加载（Ajax）
4、理解函数循环
5、理解def main() :函数、name = "main()":函数
6、理解print和return的区别
7、理解索引页（列表页）、详情页，索引页在解析详情页url时返回的字典（用于循环）
8、会数据库的存储，需要在mysql数据库中创建数据库和字段类型，详情看第二部分代码。
9、建议使用pycharm
10、半自主解决学习过程中出现的任何问题
三、学习过程中的坑：
知道自己会遇见什么问题、问题的类型，在学习中即使出现问题通过百度也可解决。
自己在学习中因为不知道如何提问（因为不了解连提问都不会）走了很多弯路。
eg1:在解析索引页时不知道结果应该返回字典的格式，然后折腾整整2天才恍然大悟，字典可以遍历，将url保存为字典可以请求详情页。
eg2:群主一直建议我把爬取下来的文件保存到数据库，我也看了相关的视频。在不断删除、定义pymysql函数中勇敢尝试去解决错误，终于知道在mysql中新建数据库新建表新建表中字段。
当自己不会的时候就去模仿，当模仿过程中出现问题时就去百度。
eg3:没找到requests请求，beautifulsoup解析静态加载的案例。拼拼凑凑很多视频、代码
……回想起来中间很多迷茫，但这是毕竟之路，只有亲身体会才能收获成长。希望这篇文章能给转数据分析学爬虫的你一点点帮助。
四、58同城月嫂招聘信息代码
1、目标网点：
https://cd.58.com/yuesaoyuying/?key=月嫂
2、爬取信息：
索引页公司名称；详情页招聘标题、更新时间、浏览人数、申请人数、工资
（PS：其实我还想知道索引页的推广方式、发布地址。学了15天还不知道怎么同时保存索引页和详情页的多个内容)
3、爬虫代码
《pycharm代码》
import json
import pymysql
import requests
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
headers = {
'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"}
def get_one_page(url):
try:
respones = requests.get(url, headers=headers)
respones.encoding = 'utf-8'
if respones.status_code == 200:
return respones.text
return None
except RequestException:
print('请求错误')
return None
def parse_one_page(html):
soup = BeautifulSoup(html, 'lxml')
soup = BeautifulSoup(html, 'lxml')
list_li = soup.find_all('ul', id='list_con')[0].find_all('li', class_='job_item clearfix') # 返回一个列表需要用循环
dir = {}
for link in list_li:
list_a = link.find_all('div', class_='job_name clearfix')[0].find_all('a')[0] # 筛选出所有的a标签
address = list_a.find_all('span', class_='address')[0].text
name = list_a.find_all('span', class_='name')[0].text
comp_name = link.find_all('div', class_='comp_name')[0].find_all('a')[0].text
href = list_a['href']
t = list_a['_t']
dir[href] = comp_name
return dir
def get_two_page(url):
try:
respones = requests.get(url, 'lxml')
if respones.status_code == 200:
return respones.text
return None
except RequestException:
print('请求详情页错误')
return None
def parse_two_page(html,comp_name):
comp_name = comp_name
soup = BeautifulSoup(html, 'lxml')
#pos_base = soup.find_all('div',class_ = 'pos_base_statistics')[0]
pos_name = soup.find_all('span',class_ = 'pos_name')[0].text
pos_base_update = soup.find_all('span', class_='pos_base_num pos_base_update')[0].find_all('span')[0].text # 更新日期
pos_base_browser = soup.find_all('span', class_='pos_base_num pos_base_browser')[0].find_all('i', id='totalcount')[0].text # 浏览量
pos_base_apply = soup.find_all('span', class_='pos_base_num pos_base_apply')[0].find_all('span', id='apply_num')[0].text # 申请数
pos_salary = soup.find_all('div', class_='pos_base_info')[0].find_all('span', class_='pos_salary')[0].text # 工资水平
return comp_name,pos_name, pos_base_update,pos_base_browser, pos_base_apply, pos_salary
def save_to_mysql(comp_name,pos_name, pos_base_update,pos_base_browser, pos_base_apply, pos_salary):
cur = conn.cursor() #用来获得python执行Mysql命令的方法，操作游标。cur = conn.sursor才是真的执行
insert_data = "INSERT INTO 58yuesao(comp_name,pos_name, pos_base_update,pos_base_browser, pos_base_apply, pos_salary)" "VALUES(%s,%s,%s,%s,%s,%s)"
val = (comp_name,pos_name, pos_base_update,pos_base_browser, pos_base_apply, pos_salary)
cur.execute(insert_data, val)
conn.commit()
conn=pymysql.connect(host="localhost",user="root", password='18030823940',db='58yuesao',port=3306, charset="utf8")
def main():
urls = ['https://cd.58.com/yuesaoyuying/pn{}/?'.format(i) for i in range(1, 8)]
for url in urls:
html = get_one_page(url)
dir = parse_one_page(html)
for href, comp_name in dir.items():
html = get_two_page(href)
comp_name, pos_name, pos_base_update, pos_base_browser, pos_base_apply, pos_salary = parse_two_page(html,comp_name)
save_to_mysql(comp_name, pos_name, pos_base_update, pos_base_browser, pos_base_apply, pos_salary)
if __name__ == '__main__':
main()
《pycharm关联mysql代码》
create database 58yuesao;
use 58yuesao;
create table 58yuesao
(comp_name varchar(40) not null,
pos_name varchar(20) not null,
pos_base_update varchar(15) not null,
pos_base_browser int not null,
pos_base_apply int not null,
pos_salary varchar(20)not null);
ALTER TABLE 58yuesao CONVERT TO CHARACTER SET utf8 COLLATE utf8_unicode_ci
最后在数据库里面就可以看见自己爬取的文件了，用count（）可以看见一共爬取了239条数据
五、我待解决问题
1、同时爬取索引页和详情页多个内容
2、Ajax异步加载
3、抓取背网页屏蔽掉的信息（如： pos_base_browser, pos_base_apply）
明天继续解决问题，加油！