python招聘数据分析与岗位推荐系统大数据可视化大屏

随着社会经济的快速发展，人们的生活水平得到了显著提高，但随之而来的社会问题也越来越多。其中最为显著的就是就业问题。为此，招聘信息的展示也变得越来越为重要。但是在大量的招聘信息中，人们在提取自己最想要的信息时变得不那么容易，对于应聘者也是如此。本系统通过对网络爬虫的分析，研究智通人才网站数据，尝试使用Python技术进行开发，将智通人才网招聘信息尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于DJANGO框架的面向IT行业的求职推荐系统旨在提高数据挖掘的效率，便于科学的管理和分析招聘数据。
本文先分析基于DJANGO框架的面向IT行业的求职推荐系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了招聘的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对招聘数据结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。
爬虫功能需求分析
在目前计算机信息化快速发展过程中，招聘和求职逐渐转移到网络中来，本题目来源于求职招聘系统研发项目的子项目，该项目主要完成一个招聘数据系统的设计和开发，该系统用于收集当前地方招聘数据，然后通过爬取、清理、存储、统计招聘数据，并进行招聘数据，是现代化招聘管理不可缺少的部分，为热门岗位的推荐提供便捷的模式。本文旨在对智通人才网上的招聘信息、岗位信息进行爬取，收集各种类型的招聘数据信息。然后对招聘数据的内容进行分析，整理招聘数据信息。本系统首先分析智通人才网站的网站结构，查看网站网页的排版，然后读取其包含的招聘信息。具体分为以下几个步骤，指定智通人才网url，爬取网页信息，获取特定的智通人才网url存入队列中，提取招聘数据的信息，将信息存入数据库，然后对岗位和薪资等进行分析，得出招聘数据的可视化视图。
图3-1所示数据清洗和加工用例。
 
图3-1  数据清洗和加工用例
在本需求分析阶段，不需要关注如何爬取，只需要关注爬取什么样的信息，进行怎样的操作即可，所以先分析智通人才网网站的数据，确定满足系统要求后，然后查看目标网站，将智通人才网内的有关招聘数据进行提取，最后将信息存储到数据库。
3.2.2数据可视化功能需求分析
爬取完招聘数据后，需要对数据进行分析，根据评分和K-means聚类算法分析出招聘数据趋势，并可视化查询处理。本系统使用Python进行编程，通过HTML、JS等方法显示数据。具体包括：招聘数据数据展示、招聘数据分类、用户注册登录、用户管理和爬虫数据管理。其中可视化功能用例图如图3-2所示。
  
图3-2  数据分析展示用例
基于DJANGO框架的面向IT行业的求职推荐系统用户登录，先验证信息、成功启动系统后进行登录。登录验证成功后，获取到登录权限，跳转到系统首页。
进入到基于DJANGO框架的面向IT行业的求职推荐系统大屏界面，通过图形化显示出工作地点统计、学历统计、职位统计、公司类型统计、薪资统计。如果查询失败，返回基于DJANGO框架的面向IT行业的求职推荐系统的错误页面。
3.3 非功能需求分析
    本基于DJANGO框架的面向IT行业的求职推荐系统的性能需求分析从可维护性、可移植性、稳定性等方面进行分析。
    系统的可维护性：一个系统完成之后，难免会遇到一些问题，比如界面的调整、功能逻辑的错误、算法的问题等等，这些错误都会造成软件的正常运行。因此在设计系统时。应提前预料到对应的错误，设计出具备容错的处理机制，对可能存在的问题进行处理，并考虑到出现问题带来的后果，对异常的流程进行有效的管理，确保异常的流程不会影响其他的操作，造成整个系统的崩溃。本系统使用Python技术进行开发，其分层的理念适应可维护性的特征，即出现某个功能问题，不会对其他层次造成影响，所以本系统具有可维护性。
    系统的可移植性要求系统可以更换不同的平台以及不同的服务器版本。本系统使用Python开发，具有跨平台特征，可以从不同的平台进行切换，不会影响系统的正常运行和系统的性能，所以本系统的开发具有可移植性。
    系统的稳定性：为了确保系统可以正常稳定的运行，需要在测试环节通过不同的测试手段对系统进行全方位的测试，比如模拟不同情况下的用户来访问系统，以及通过不同的平台部署系统，确保系统可靠稳定。另外，对系统的设计时需要通过多方面的印证，和多次设计来全面评估和检查，维护系统的稳定性。

[关键词] 爬虫，python，大数据，关键字，招聘数据
目  录
摘 要    I
Abstract    II
1 绪论    3
1.1 课题背景    3
1.2 课题意义    3
1.3 研究内容    4
2 相关技术介绍    6
2.1 系统开发环境    6
2.2 网络爬虫概述    6
2.3 Python技术    7
2.4 MySQL数据库    8
3 系统需求分析    9
3.1 可行性分析    9
3.1.1操作可行性    9
3.1.2经济可行性    9
3.1.3技术可行性    9
3.2 功能需求分析    9
3.2.1爬虫功能需求分析    9
3.2.2数据可视化功能需求分析    11
3.3 非功能需求分析    11
4 系统设计    13
4.1 系统架构设计    13
4.2 系统功能设计    14
4.2.1数据采集功能设计    14
4.2.2数据分析功能设计    15
4.3 系统流程设计    16
4.3.1爬虫流程设计    16
4.3.2数据分析可视化流程    17
4.4 数据库设计    19
5 系统实现    21
5.1数据采集的实现    21
5.2数据库操作的实现    22
5.3系统首页的实现    22
5.4招聘数据大屏显示    23
6 系统测试    25
6.1测试目的    25
6.2功能测试    25
6.3测试总结    26
结    论    27
参 考 文 献    28
致 谢    29