ruby抓取猎聘网某一地区的招聘信息

通过nokogiri模块实现抓取猎聘网指定地区的某一岗位的招聘信息数据。地区数据暂时有一些问题还没有解决。

class LiePin
  attr(:site_url)
  def initialize(site_url)
    @site_url = site_url
  end

  require 'open-uri' # 打开http网络中的地址
  require 'nokogiri' # 解析html代码
  require 'uri' # 编码url参数

  require 'json'
  def get_areas
    # 读取地址数据有问题 暂时没解决
    areas = JSON.parse open('https://concat.lietou-static.com/core/pc/revs/js/common/plugins/localdata/city_86e117e1.js').read.to_s.gsub('var __LocalDataCities=','').gsub(';','').gsub("\n","").gsub("\r","")
    # areas =  JSON.parse open('./area.json').read.to_s.gsub("\n","")
    p areas
    # 把数据写入文件 读取依然有问题
    #f = open('./area.json','w')
    #f.print areas.gsub("\n","")
    #f.close
    #p JSON.parse areas
 end

  # 执行数据抓取
  # params @area  [搜索的地区编码,可以从数据文件中提取,暂时没有实现此功能(由于数据文件中存在问题)]
  # params @key   [查询的关键字]
  def spider_html(area,key)
    urls = []
    page_count = 1 # 总页数
    page = 0 # 开始页码
    #area = '090040' # 搜索的地址信息 地址编码暂时只能手动进行获取
    #key = '前端' # 搜索关键字
    all_data = [] # 所有的数据


    # 获取总的查询记录页数
    first_page =URI.escape("#{site_url}dqs=#{area}&key=#{key}")
    first_page_doc = Nokogiri::HTML(open(first_page))
    page_count = first_page_doc.css('.pager .last').attr('href').content.split('=').last.to_i
    # 读取分页页码数据结束

    while page<=page_count do
      page += 1
      urls.push URI.escape("#{@site_url}dqs=#{area}&key=#{key}&curPage=#{page-1}") # 编码中文参数
    end
    p '请求的地址数据为:'
    p urls

    # 遍历所有的分页数据 获取招聘信息
    urls.each do |url|
      doc_html = Nokogiri::HTML(open(url))
      doc_html.css('.sojob-item-main').each do |job|
        job_info = job.css('.job-info')
        company_info = job.css('.company-info')
        data = {}
        data["name"] = job_info.css('.job-name')[0].attr("title") # 岗位名字
        data["link"] = job_info.css('a[data-promid]')[0].attr("href") # 详情链接
        detail_doc = Nokogiri::HTML(open(data["link"])) # 读取岗位的详细信息
        data["description"] = detail_doc.css('.main-message').first.css('.content').first.content.to_s.gsub(/\t|\n|\r|\s*/,"") # 描述信息
        data["p"] = job_info.css('.text-warning')[0].content # 薪水
        data["company"] = company_info.css('.company-name a')[0].content.gsub(/\t|\n|\r|\s*/,"") # 公司信息 正则替换 去除空格换行等字符
        all_data.push data
        p data
      end
    end

    p all_data.count
  end
end
# https://www.liepin.com/zhaopin/?industries=&dqs=090040&salary=&jobKind=&pubTime=&compkind=&compscale=&industryType=&searchType=1&clean_condition=&isAnalysis=&init=1&sortFlag=15&fromSearchBtn=1&headckid=null&key=%E5%89%8D%E7%AB%AF
# 初始化抓取信息 查找所有招聘地区为厦门的前端开发岗位
z = LiePin.new('https://www.liepin.com/zhaopin/?')
# p z.site_url
# p z.get_areas
# 获取厦门地区的前端招聘岗位信息
z.spider_html('090040','前端')