基于Python的模拟登陆获取脉脉好友信息

代码已经上传到github上

简介：

这是一个基于python3而写的爬虫，爬取的网站的脉脉网(https://maimai.cn/)，在搜索框中搜索“CHO”，并切换到“人脉”选项卡，点击姓名，进入详情页，爬取其详细信息

获取的具体信息有：

基本信息、工作经历、教育经历、职业标签及其认可数、点评信息

几度关系：一度、二度、三度等

写给用户的

注意：如果你只是想使用这个项目，那么你可以看这里

如何使用：

使用之前，你要已经保证安装好相关的库和软件：

re
requests
selenium
logging
pymysql
chrome
mysql

使用：

从github上复制代码
填写自己的脉脉手机号和密码（你可以在login.py文件中找到他）

建表（详细建表见下）
运行程序login.py

详细建表

需要5张表，下面附上代码：

表1：basic_info(脉脉好友基本信息)

CREATE TABLE `basic_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `name` varchar(56) NOT NULL COMMENT '名字',
  `mmid` int(11) NOT NULL COMMENT 'mmid',
  `rank` int(11) DEFAULT NULL COMMENT '影响力',
  `company` varchar(128) DEFAULT NULL COMMENT '目前公司简称',
  `stdname` varchar(128) DEFAULT NULL COMMENT '目前公司全称',
  `position` varchar(128) DEFAULT NULL COMMENT '目前职位',
  `headline` text COMMENT '自我介绍',
  `ht_province` varchar(128) DEFAULT NULL COMMENT '家乡-省',
  `ht_city` varchar(128) DEFAULT NULL COMMENT '家乡-城市',
  `email` varchar(128) DEFAULT NULL COMMENT '邮箱',
  `mobile` varchar(128) DEFAULT NULL COMMENT '手机',
  `dist` tinyint(1) DEFAULT NULL COMMENT '几度关系',
  PRIMARY KEY (`id`),
  UNIQUE KEY `mmid` (`mmid`)
) ENGINE=InnoDB AUTO_INCREMENT=873 DEFAULT CHARSET=gbk ROW_FORMAT=DYNAMIC COMMENT='脉脉好友基本信息'
]

表2：education_exp(脉脉好友教育经历)

CREATE TABLE `education_exp` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `mmid` int(11) NOT NULL COMMENT 'mmid',
  `school_name` varchar(128) DEFAULT NULL COMMENT '学校名称',
  `department` varchar(128) DEFAULT NULL COMMENT '专业',
  `education` int(5) DEFAULT NULL COMMENT '学历（0：专科，1：本科，2：硕士，3：博士，255：其他）',
  `start_year` int(11) DEFAULT NULL COMMENT '开始时间（年）默认为0000',
  `start_mon` int(11) DEFAULT NULL COMMENT '开始时间（月）默认为0000',
  `end_year` int(11) DEFAULT NULL COMMENT '结束时间（年）默认为0000',
  `end_mon` int(11) DEFAULT NULL COMMENT '结束时间（月）默认为0000',
  PRIMARY KEY (`id`),
  UNIQUE KEY `mmid` (`mmid`,`school_name`,`education`,`start_year`)
) ENGINE=InnoDB AUTO_INCREMENT=1064 DEFAULT CHARSET=gbk ROW_FORMAT=DYNAMIC COMMENT='脉脉好友教育经历'

表3：review_info(脉脉好友点评信息)

CREATE TABLE `review_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `mmid` int(11) NOT NULL COMMENT 'mmid',
  `reviewer` varchar(128) DEFAULT NULL COMMENT '点评人',
  `relationship` varchar(128) DEFAULT NULL COMMENT '关系',
  `position` varchar(128) DEFAULT NULL COMMENT '点评人职位',
  `eva_info` text COMMENT '评价信息',
  PRIMARY KEY (`id`),
  UNIQUE KEY `mmid` (`mmid`,`reviewer`)
) ENGINE=InnoDB AUTO_INCREMENT=400 DEFAULT CHARSET=gbk ROW_FORMAT=DYNAMIC COMMENT='脉脉好友点评信息'

表4：tag_info(脉脉好友点评信息)

CREATE TABLE `tag_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `mmid` int(11) NOT NULL COMMENT 'mmid',
  `tag` varchar(128) DEFAULT NULL COMMENT '标签',
  `rec_num` varchar(128) DEFAULT NULL COMMENT '认可度',
  PRIMARY KEY (`id`),
  UNIQUE KEY `UNIQUE` (`mmid`,`tag`,`rec_num`)
) ENGINE=InnoDB AUTO_INCREMENT=5881 DEFAULT CHARSET=gbk ROW_FORMAT=DYNAMIC COMMENT='脉脉好友点评信息'

表5：work_exp(脉脉好友工作经历)

CREATE TABLE `work_exp` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `mmid` int(11) NOT NULL COMMENT 'mmid',
  `company` varchar(128) DEFAULT NULL COMMENT '公司简称',
  `stdname` varchar(128) DEFAULT NULL COMMENT '公司全称',
  `et_url` varchar(244) DEFAULT NULL COMMENT '公司页面url',
  `description` text COMMENT '描述',
  `start_year` int(11) DEFAULT NULL COMMENT '开始时间（年）默认0000',
  `start_mon` int(11) DEFAULT NULL COMMENT '开始时间（月）默认0000',
  `end_year` int(11) DEFAULT NULL COMMENT '结束时间（年）默认0000',
  `end_mon` int(11) DEFAULT NULL COMMENT '结束时间（月）默认0000',
  `position` varchar(128) DEFAULT NULL COMMENT '职位',
  PRIMARY KEY (`id`),
  UNIQUE KEY `UNIQUE` (`mmid`,`company`,`start_year`,`position`)
) ENGINE=InnoDB AUTO_INCREMENT=2582 DEFAULT CHARSET=gbk ROW_FORMAT=DYNAMIC COMMENT='脉脉好友工作经历'

写给开发者的

如果你是一个开发者，那么请看这里

具体的每个函数的作用，就不细说了，代码中有注释，可以自行查看

请求：

在这里我们主要说说请求这一块：

请求需要解决2个问题：

第一个是使用cookies模拟登陆
第二个是数据获取

模拟登陆

这是使用selenium驱动浏览器登录脉脉，然后获取cookie这样来就省去了自己去拼接cookie的麻烦，获取到cookie之后，在利用cookie来进行requests请求数据，这里不再使用selenium是因为selenium太慢，而且比较容易出错

看一下代码，思路是：

设置selenium参数
使用selenium打开到登录网址
输入手机号和密码，进行登录
获取cookies，并存到json文件中

这样就获取cookies成功了，之后将cookies添加到requests请求中，进行数据获取

def get_cookies():
    """
    使用selenium获取cookies的值，将其存在文件中
    :return:
    """
    logger.info("使用selenium获取cookies")
    chrome_options = Options()
    chrome_options.add_argument('--no-sandbox')  # 解决DevToolsActivePort文件不存在的报错
    chrome_options.add_argument('--disable-gpu')  # 谷歌文件提到需要加这个属性来规避bug
    chrome_options.add_argument('--headless')  # 无界面设置
    chrome = webdriver.Chrome(chrome_options=chrome_options)
    login_url = "https://acc.maimai.cn/login"
    chrome.get(login_url)
    wait = WebDriverWait(chrome, 10)
    wait.until(EC.element_to_be_clickable(('xpath', "//input[@class='loginBtn']")))
    time.sleep(1)
    user_name = "***"  # 你的手机号
    password = "***"  # 你的密码
    chrome.find_element("xpath", "//input[@class='loginPhoneInput']").send_keys(user_name)
    time.sleep(1)
    chrome.find_element("xpath", "//input[@id='login_pw']").send_keys(password)
    chrome.find_element('xpath', "//input[@class='loginBtn']").click()
    cookies = chrome.get_cookies()
    with open("cookie.json", "w+")as f:
        f.write(json.dumps(cookies))
        f.close()
    logger.info("cookies获取成功")
    chrome.close()

数据获取

这里面主要有2个问题：

第一个网站使用了ajax加载，我们需要找到我们需要的url
第二个是获取的html需要进行处理，才能被我们所利用

ajax加载

直接去请求https://maimai.cn/web/search_center?type=contact&query=cho&highlight=true这里，获取的信息是不全的，这里使用了ajax加载，我们打开google看一下，按F12打开开发者模式看一下

如图，我们可以在这里找我们需要的数据，这个是url：https://maimai.cn/search/cont...，这里获取的是json格式的数据，非常好解析，再进一步去获取详细信息的页面的时候，其方法也是一样的，这里就不多做说明了

html页面数据处理的问题

有一部分的数据是以json的形式返回给我们的，但是还有一些数据是在原网页中一起返回的，虽然也是json的形式，但是处理起来还是有一定的麻烦，看一下原网页的数据

这个JSON.parse后面的数据也是我们需要的，可以发现这里有一些像"u0022"的数据，这个其实是双引号的utf8编码，还有一些其他的字符，会以utf8编码的形式返回的，直接处理很不好处理，我们先将这些字符编码替换为对应的字符，之后转成json的格式进行解析，这样就方便多了，看一下代码：

def json_info(html):
    """
    处理获取的html，转换为json格式
    :param html:
    :return:
    """
    print(html.text)
    c = re.search('JSON\.parse\("(.*?)"\);

 
 思路是很简单的： 
  
  先是将用正则匹配所需要的数据 
  拿下来之后将一些utf8编码的字符替换掉 
  转换为json的格式进行解析 
  
  
 主要需要解决的问题就只有这些，其他的一些数据处理，存储都是很简单和常见的，就不多做说明了