2019年底看完谢春花的《2020，请对我好一点》的演唱会，发现2020开头并没有那么顺利，面试终面没过，其他机会也不算靠谱，在遇上新冠，注定这一年会很艰难，目前的工作也会好好做，只不过受不了996和在你休息的时候还有铺天盖地的不正经工作要你参与，所以我想重新选择一次。在这里告诉大家猎聘和boss直聘都不靠谱，好的机会还是靠熟人内推和自己投递靠谱。
最近在单位忙于整理各种材料，各种材料线上评审，刚好刚才再弄一个项目的付款，了解完付款流程后，我无语+快奔溃了，首先线下收集材料->十多个表扫描通过OA走一遍付款申请，同样的再提一遍财务支出申请，通过后，纸质材料找领导签字，然后提交给财务。。。。。心里几万只草泥马飞过。。。
为了上班摸鱼方便，重新拾起了爬虫，并且这个银行招聘网站是静态的，于是我就想爬一爬最新的招聘信息。这里的主要难点是去到正确的tag和内容，之前用xpath取，一直不对，取出来的都是一整块，要不就是其中一段，最后好好研究了以下bs4的find_all 和find还有select方法，终于成功的取到了想要的数据，并且sqlite3数据库比较简单，就把最新的数据存储到数据表了，收取每一天最新的记录，为了避免重复，每一天收集前，我会清理当天的数据，具体代码如下，用到了以下库request用来下载html网页，lxml用来解析html标签，re用来截取日期，sqlite3用来创建数据库并存储数据，datetime用来取当前日期并格式化，time用来暂停cmd窗口看删了几条数据
`
#--utf-8--
#获取银行招聘信息汇总
import requests
from lxml import etree
from bs4 import BeautifulSoup
import re
import sqlite3
import datetime
import time
headers={'User-Agent':"Mozilla/5.0 (Windows NT 6.1;WOW64) AppleWebKit/537.36(KHTML,like Gecko) Chrome/53.0.2785.143 Safari/537.36"}
#从网络获取内容
def get_links(url):
raw_content=requests.get(url,headers=headers)
html=raw_content.text
return html
#从本地文件获取内容
def get_local(url):
fp=open(url,'r')
raw_text=fp.read()
fp.close()
return raw_text
###midder > div.ll > div > div:nth-child(4) > dl:nth-child(1) > dd:nth-child(3)
def get_zpinfo(raw_text,filename,database):
bs=BeautifulSoup(raw_text,"lxml")
cnt=0
fullcontent=""
#获取当前日期
curdate=str(datetime.date.today())
#删除当日查询记录，以便导入
delcur(database,curdate)
#延迟几秒方便看结果
time.sleep(5)
contents=bs.select("#midder > div.ll > div > div:nth-child(4) > dl")
for zplist in contents:
title=zplist.find('a').get_text() #标题
raw_date=zplist.select("dd.list")[0].text #发布日期
date=re.search(r'\d\d\d\d-\d\d-\d\d',raw_date).group()
location=zplist.select("dd")[1] #工作地点
url=zplist.find('a').get("href") #连接
print(title+" "+date+" "+location.text+" "+url)
if(date==curdate):
insertdb(database,title,location.text,date,url)
cnt=cnt+1
fullcontent=fullcontent+title+","+date+","+location.text+","+url+"\n"
print("++++++++++++++++")
print("========database insert $"+str(cnt)+"条")
save2file(filename,fullcontent)#把信息存入txt
#保存信息到文件
def save2file(filename,content):
fp=open(filename,'w')
fp.write(content)
fp.close()
#创建数据库
def createdb(database):
conn=sqlite3.connect(database)
c=conn.cursor()
crtsql='''
create table zpinfo(
titile text,
location char(50),
fbdate char(20),
url text,
summary text
);
'''
c.execute(crtsql)
conn.commit()
conn.close()
#简单的插入数据库
def insertdb(database,title,location,fbdate,url):
conn=sqlite3.connect(database)
c=conn.cursor()
#print("open database:"+database+"sucess!")
sql="insert into zpinfo values ( '"+title+"', '"+location+"','"+fbdate+"','"+url+"','');"
c.execute(sql)
conn.commit()
conn.close()
#爬行去重 去除国内外时事政治，数据库插入如何检索最新的记录进行插入，根据日期进行检索
#删除当天记录，以便重复导入，去重
def delcur(database,date):
conn=sqlite3.connect(database)
c=conn.cursor()
sql="delete from zpinfo where fbdate='"+date+"';"
c.execute(sql)
conn.commit()
print("删除总条数 :",conn.total_changes)
#selector is #midder > div.ll > div > div:nth-child(4) > dl:nth-child(1) > dt > a
if __name__ == '__main__':
url="http://www.yinhangzhaopin.com/new100.htm"
html=get_links(url)
ldir="D:/coding/new100.html"
database="D:/coding/zhaopin.db"
zhaopinfile="d:/coding/yinhangzhaopin.txt"
#html=get_local(ldir)
#createdb(database)
get_zpinfo(html,zhaopinfile,database)
`
相关代码已经上传到https://github.com/redpig315/jidandan，哈哈，这就发现python还是非常好用的，并且网站上的资料比看书方便，比如这个介绍python爬虫的https://www.w3cschool.cn/python3/python3-enbl2pw9.html