E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
51Job
tx
10月16日笔试腾讯这次笔试算是把人整惨了,
51job
竟然发错通知,9点半接到短信说参加9点的考试,紧赶慢赶赶到了武测,气喘吁吁地跑到教四302,别人都快考完了,拿到卷子头脑一
lwchw
·
2020-09-13 05:10
练手
T
t
腾讯
爬虫
importurllib,re,xlwt;defget_content():url='https://search.
51job
.com/list/000000,000000,0000,00,9,99,python
放学小卖部见0
·
2020-09-12 23:57
模板
191002一些岗位数量统计
各个中文招聘网站:前程无忧https://www.
51job
.com智联招聘https://www.zh
aimianwo1708
·
2020-09-12 02:49
java
大数据
Python学习笔记14:爬取
51job
数据,并写入excel中
因为工作需要,有时候需要了解行业公司的岗位信息和要求。以往都是通过人工查找的方式,去选取部分公司,并复制粘贴到excel中,作为一些材料的参考。了解了Python后,这项工作肯定要让Python来做了。本着“从小到大”编写程序功能的思路,我写了3个模块:1、excel操作模块:负责创建excel文档,以及把数据写入excel文档2、单页面获取数据模块:负责获取页面中岗位名称,薪资,就业信息等数据,
stones4zd
·
2020-09-11 11:31
python
python获取无忧网的招聘数据
工作前的闲聊又到了家里催找工作的时候我的天,就想窝在家多钻研一下程序都不行的然后,爬爬
51job
的招聘信息吧,主要是不想自己一页页去翻,怪麻烦的作为一个恋家的人,而且自己有台车子不开怪可惜的,鉴于广州限行
Runffycsdn
·
2020-09-11 07:21
爬虫
今天才发现,我之前写的文章还真有这么多次的浏览
今天,闲暇之时,去
51JOB
上看了看。顺便看看市场的行情。才发现自己的简历已经2年多都没有更新了。这说明:1.我很懒2.目前的公司“待你不薄”3.目前的项目或者手头上的活对你还有意义。
wisdom521
·
2020-09-10 21:24
个人生活感悟
推荐几个IT找工作的好去处
1.
51job
.com网站人气:★★★★★易用成度:★★★★☆招聘效率:★★★☆☆招聘质量:★★★☆☆简历回复率:15%使用感受:网站很大,人气很旺盛,发一份简历一周能收约20回复,但垃圾居多,大多数简历石沉大海
肥肥的飞猫
·
2020-09-10 18:23
收藏网址
爬取
51job
出现can only concatenate str (not “NoneType“) to str
目录1.bug解释2.解决方案2.1添加try/except进行包裹2.2添加if/else条件判断2.3添加时直接进行类型转换3.修改完后老哥的代码1.bug解释一个老哥在爬取
51job
的信息,但是中途遇到了这个
萌萌哒的瓤瓤
·
2020-08-26 23:00
python爬虫
Python爬虫集合,20个爬虫项目让你一次吃到撑!!!
淘宝模拟登录2、淘宝登录数据爬取3、12306模拟登陆4、斗鱼爬虫5、B站爬虫6、虎牙爬虫7、京东爬虫8、微博爬虫9、2020疫情数据可视化10、拉勾网爬虫11、爬虫IP代理教程12、BOOS直聘爬虫13、
51Job
Code皮皮虾
·
2020-08-26 23:00
Python爬虫
使用scrapy爬取前程无忧
51job
网站
讲下爬前程的思路吧:1.首先最先想到的就是在下图页面,通过response去获定位Xpath路径来得到值2.当我去获取class=‘e’对应的值发现不是我想要的,往class='t’下方的span时取不到值,返回空列表3.这时在网页上右键查看源码,发现class=‘e’得到的值在这,继续往下看发现我们想要的值在javascript中4.我尝试的点击了第二页获取请求的地址,想尝试的能否获取一个纯js
晴时初遇雨
·
2020-08-25 06:40
爬虫
python
[面试指导]看看面试过来人的经验(上)
刑毅(来自
51job
)面试总是有人欢喜有人愁,不管是榜上有名还是被斩落马下,他们的经历总会对大家有所帮助,这也正是我们刊登这个谈话录的目的所在。
小呆
·
2020-08-24 16:48
Flume开发 -- 故障转移和负载均衡
二、流程分析三、实现步骤3.1准备工作在/opt/module/flume/job目录下创建group2文件夹[test@hadoop1
51job
]$mkdirgroup23.2创建flume-netcat-flume.conf
火成哥哥
·
2020-08-24 13:47
flume
scrapy中的各个模块的作用
a
51job
.py,是爬虫,主要是进行请求,把请求发送给中间件middlewares.py,middlewares.py通过classJobMiddleware(object):definit(self
weixin_44274975
·
2020-08-24 11:21
python
scrapy中的各个模块的作用
python网络爬虫案例
python爬取
51Job
招聘信息#-*-coding:utf-8-*-importrequestsimportpandasaspdfrompprintimportpprintfromlxmlimportetreeimporttimeimportwarningsimportjsonwarnings.filterwarnings
DayThinking
·
2020-08-24 07:19
程序开发
小白入门 | 网络安全工程师的职业前景如何?
给各位宝宝们依次分点解答网络安全行业的职业前景主要有以下几点:(1)薪资待遇高宝宝们先来看看各地给的“渗透测试工程师”的薪资情况(
51job
截图)可以看到,基本上在1-3年的工作经验的工程师,薪
东塔安全学院
·
2020-08-24 01:48
热点资讯
安全
51job
网页编码问题
51job
网页编码问题请求
51job
页面时,在pychram显示的中文为乱码,因此初步判断为编码问题问题展示初步解决转换编码请求
51job
页面时,在pychram显示的中文为乱码,因此初步判断为编码问题问题展示
ᴍaya.
·
2020-08-23 08:25
Python
英伟达ASIC实习生面试 [IC]
目录前情提要5.26一轮面试(视频1h)5.27二轮面试(视频1h)5.28三轮面试(视频40min)补充:2020英伟达校招流程前情提要投递时间:5.12投递链接:官网(http://campus.
51job
.com
Ingrid_学习博
·
2020-08-23 04:57
面试
小白入门 | 网络安全工程师的职业前景如何?
给各位宝宝们依次分点解答网络安全行业的职业前景主要有以下几点:(1)薪资待遇高宝宝们先来看看各地给的“***测试工程师”的薪资情况(
51job
截图)可以看到,基本上在1-3年的工作经验的工程师,
东塔安全
·
2020-08-22 16:06
网络安全
小白入门
ElasticSearch第十篇:multi_match多字段查询以及wildcard模糊查询
比如使用同一个查询关键字同时在company和place中查询:GET
51job
/_doc/_search{"query":{"multi_
xr不经意
·
2020-08-22 11:06
ElasticSearch第九篇:match和term查询的区别,match_phrase短语查询,bool联合查询
本博客以
51job
数据作为数据支持1.match查询match查询会先对搜索词进行分词,分词完毕后再逐个对分词结果进行匹配,因此相比于term的精确搜索,match是分词匹配搜索,match搜索还有两个相似功能的变种
xr不经意
·
2020-08-22 11:06
应届毕业生面试失败之谈
即将毕业,学校里也不断的施加压力找工作,找单位实习.身边的同学也一个接一个的实习了.压力就更大了.每天都形成了一个习惯,一开机就打开
51job
看看有没适合自己的单位.经过好几周挑选.发了10多份简历,却没一份回信
空逸云
·
2020-08-22 02:27
应届
面试失败
小城故事年前的面试经历
抱着投石问路的想法,国庆长假期间,网上投递了一些企业的简历-博客园上投了2份,
51job
上投了6份。一、盛大总部没
小城故事
·
2020-08-22 02:30
求职经历
2010IT人要做“跳跳虎”
——2009年无忧指数年终盘点IT篇
51job
小薇编前语:向来以高科技示人的微软一改风格,其新产品的推广竟也走起了娱乐化路线。
[收藏]
·
2020-08-22 02:43
职场
2020年!为什么掌握数据爬虫的程序员更受欢迎?
通过爬虫,可以从知乎、微博爬取热门话题,筛选优质答案,分析用户偏好;从淘宝、京东爬取商品、评论及销量数据,分析用户消费场景;从
51job
、智联招聘爬取职位信息,分析
Python大本营
·
2020-08-20 02:45
Python爬虫实现模拟自动刷新
51job
简历
#!/usr/bin/python#Filename:实战自动刷新简历.py#Data:2020/07/01#Author:--king--#ctrl+alt+L自动加空格格式化#反爬策略#1.伪装U-A#2.使用代理ip#3.图片识别验证码#4.抓包分析突破异步加载-ajax#5.降低访问频率#6.添加cookiesfromseleniumimportwebdriverimporttime#fr
kingx3
·
2020-08-19 18:34
PYTHON爬虫
使用Selenium爬取前程无忧网站最新发布的前五页招聘信息
本文主要使用Selenium调用谷歌浏览器,爬取前程无忧(https://mkt.
51job
.com)网站最近发布的招聘信息的前五页内容(本文以数据分析师为例子进行爬取),完整代码如下。
千与千寻.i
·
2020-08-18 23:22
Python爬虫
Python
Python爬虫实战示例-
51job
和豆瓣电影
2018年7月16日笔记1.conda常用命令1.1列出当前环境的所有库命令:condalist在cmd中运行命令如下图所示:图片.png-36.6kB1.2管理环境创建环境命令:condacreate-n{}python={}第一对大括号替换为环境的命名,第二对大括号替换为python的版本号例如:condacreate-npython27python=2.7这个命令就是创建一个python版本
xiaosakun
·
2020-08-18 18:11
Java爬虫项目(三 爬虫)(岗位爬取并展示)WebMagic+MySQL+Echarts+IDEA
三:使用webmagic爬取
51job
网站的招聘信息这篇博文是和我一起做这个项目的另一位成员做的,他主要是负责数据的爬取,这里使用的是WebMagic(java的轻量型爬虫框架),我的第一篇文章写的是Jsoup
星夜欢宇
·
2020-08-18 18:59
项目经验(后端)
python爬取前程无忧宁波职位薪酬进行初步分析
一、用Scrapy爬取数据并存入MongoDBspider.pyimportscrapyfromwww
51job
.itemsimportWww
51Job
Itemclassnbcaiwu(scrapy.Spider
野人出山
·
2020-08-18 14:14
笔记
爬虫抓取
51job
软件测试页面上 某公司名称 python实现
#需求:抓取
51job
软件测试页面上某公司名称主要用来学习调用父类spider1.pyimportrequestsclassspider():def__init__(self):self.headers
菜小饼
·
2020-08-18 14:42
爬虫
爬虫基础练习: 基于 java + Jsoup + xpath 爬取
51job
网站
最基本的网页爬虫练习爬取51jb网站,并将数据写入Excel中需要导入jsoup包和POI相关包JSoup简介jsoup是一款Java的HTML解析器,主要用来对HTML解析,可通过DOM,CSS以及类似于jQuery的操作方法取出和操作数据。主要功能从一个URL,文件或字符串中解析HTML使用DOM或CSS选择器来查找、取出数据使用DOM或CSS选择器来查找、取出数据可操作HTML元素、属性、文
anmian123hyl
·
2020-08-18 14:59
java
Python 爬取前程无忧最新招聘数据 matplotlib数据分析与可视化
1.爬取数据目标url:https://www.
51job
.com/在
叶庭云
·
2020-08-18 13:03
python数据可视化
python
数据分析
数据可视化
matplotlib
前程无忧
Selenium自动登录
51job
实例
这里利用的是此前
51job
的一个便捷登录方式,并且如果执行速度过快的话是很可能无法正常执行的。现在,这个脚本实例已经无法顺利实现自动登录了,文章后面添加了最新的自动登录脚本(2019年07月05日)。
number1killer
·
2020-08-17 05:59
测试
脚本
软件测试技术分享
enlightened by 挖掘机小王子
scrapystartprojectjobSpidercdjobSpiderscrapygenspiderjobeditthisjob.pyscrapycrawljob我们以这个起始页面开始start_urls=[‘https://search.
51job
.com
stick to initial
·
2020-08-17 02:37
python
python
mongodb
Python 处理GBK编码转UTF-8读写乱码问题
今日写了个爬虫,爬取前程无忧的招聘信息老套路,首先获取网页源代码#-*-coding:utf-8-*-importrequestsurl='http://search.
51job
.com/jobsearch
静妍
·
2020-08-15 17:37
Python
Scrapy抓取前程无忧招聘信息(静态页面)
1.创建Scrapy项目:scrapystartprojectcounter2.生成Spider:cdcounterscrapygenspidercqtesterwww.
51job
.com3.组织需要的数据
zljun8210
·
2020-08-14 22:37
Python
Scrapy
[Python] scrapy + selenium 抓取
51job
职位信息(实现 传参 控制抓取 页数+职位名称+城市)
目录一、目标二、
51job
网页分析:1.网页构成观察2.网页分析三、代码实现1.踩过的坑-----实现城市选择2.代码实现3.代码优化1)存放格式优化2)在爬虫中去掉\xa0\xa03)用normalize-space
霞露
·
2020-08-14 19:36
数据挖掘
数据分析
爬虫
Python
Scrapy爬取前程无忧(
51job
)相关职位信息
Scrapy爬取前程无忧(
51job
)python职位信息开始是想做数据分析的,上网上找教程,看到相关博客我就跟着做,但是没数据就只能开始自己爬呗。
Code_st
·
2020-08-14 19:17
Python3爬虫
Scrapy
Python3爬虫技术专栏
一个简单Python爬虫实例(爬取的是前程无忧网的部分招聘信息)
希望对大家有一些帮助importurllib,reimporturllib.requestimportxlwt#打开网页,获取源码defget_content():url='https://search.
51job
.com
小白学习之路
·
2020-08-14 19:02
爬虫_抓取
51job
招聘数据
#https://search.
51job
.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%
Happy丶lazy
·
2020-08-14 19:25
爬虫
scrapy 爬取前程无忧让找工作变得轻而易举
#-*-coding:utf-8-*-importscrapyfromqcwy.itemsimportQcwyItemfromurllibimportparseimportreclassA
51job
Spider
小东升职记
·
2020-08-14 19:16
python
python爬取网页信息心得
pipinstalllxmlpipinstallbeautifulsoup4pipinstallhtml5libpipinstallrequests然后是python代码,爬取前程无忧网的,importcsvimportrequestsfrombs4importBeautifulSoupurl="https://search.
51job
.com
mtnhm123
·
2020-08-14 18:55
scrapy框架下爬取
51job
网站信息,并存储到表格中
1.通过命令创建项目scrapystartprojectJobSpider2.用pycharm打开项目3.通过命令创建爬虫scrapygenspiderjobbaidu.com4.配置settingsrobots_obey=FalseDownload_delay=0.5Cookie_enable=FalseDOWNLOADER_MIDDLEWARES={'JobSpider.middlewares
心月流云
·
2020-08-14 17:05
数据采集:利用Scrapy采集前程无忧招聘信息
需求分析:1.采集目标网站:前程无忧https://www.
51job
.com/2.可根据工作关键字采集不同的工作类别。
Alfredou
·
2020-08-14 17:56
python
mysql
scrapy
scrapy 爬取前程无忧
importscrapyfromJobs.itemsimportJobsItemclassJob51spiderSpider(scrapy.Spider):name='Job51Spider'allowed_domains=['www.
51job
.com
dianbaodi6510
·
2020-08-14 17:27
爬取
51job
数据
import这个就可以,pycharm安装教程网上搜)2.代码如下importrequestsimportjsonfromlxmlimportetreeBASE_DOMAIN='https://search.
51job
.com'HEADERS
weixin_44995829
·
2020-08-12 13:57
爬取
51job
网页中的信息
importrequestsfromlxmlimporthtmlfrompandasimportDataFrame#网址url="https://search.
51job
.com/list/000000,000000,0000,32,9,99
云飞扬°
·
2020-08-12 13:22
Python爬虫
分分钟爬取
51job
url上的内容3.对获取的内容进行解析4.对解析后的内容进行存储步骤:1.解析url首先,明确我们的目的:爬取51上所有的python岗位的相关职位信息这是我们的原始url:https://search.
51job
.com
sir.shao
·
2020-08-12 13:44
爬虫
python爬虫实战之爬取
51job
前程无忧简历
首先F12对搜索的网页进行分析,
51job
网址我们可以观察到,其网页结构比较简单,基本信息都在p标签下这种情况利用正则表达式可以很容易的把信息提取出来代码如下:importurllib.requestimportre
王大阳_
·
2020-08-12 13:28
#
爬虫项目
[Python] Python爬虫 抓取
51job
职位信息存储到excel和mysql 的代码编写及首次优化始末
目录需求:初版:初版代码review:优化:首次优化后代码:需求:编写函数,可以指明抓取某职位以及页数实现抓不同职位时(用正则和request),存到同一个excel中的不同sheet中,并将数据存到mysql中初版:以下是第一次编写代码时的思路#编写正则defgetjobname(jobname,startnum,endnum):allresult=[]jobname1=request.quot
霞露
·
2020-08-12 12:23
Python
编程语言
数据挖掘
爬虫
Python
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他