建筑资质爬虫抓取-全国建筑市场监管公共服务平台(一)入门篇

最近在关注全国建筑市场监管公共服务平台（http://jzsc.mohurd.gov.cn）；主要是想抓取全国具有建筑资质证书的企业，和个人。

主要网址：

1、http://jzsc.mohurd.gov.cn/data/company    企业数据

2、http://jzsc.mohurd.gov.cn/data/person        个人数据

3、http://jzsc.mohurd.gov.cn/data/project        项目数据


我们打开 企业数据数据连接 http://jzsc.mohurd.gov.cn/data/company

1572421513297005617.jpg

1572421463708006157.jpg

可以看到可以根据行业和地区搜索企业；但最多只能显示450条数据。因此我们如果要全部抓取的话，还是不可能的，比如单独一个四川省都有7万多数据。

于是通过接口找到先关的分页连接 http://jzsc.mohurd.gov.cn/api/webApi/dataservice/query/comp/list?qy_region=D5D5D4D5D4D4&pg=1&pgsz=15&total=450  其中pg=1代表1页，pgsz=15代表每页显示15条数据，total=450代码最多显示多少条数据。这里我们调整相关的页数，发现数据是在变化。

请求结果

1572422038768355225.jpg

发现数据是加密的；然后看网页代码，发现是vue做的加密/解密技术对接口进行处理。由于js都是浏览器运行，这样我们就找寻vue中的解密方法。

解密过后：
{“code”:200,“data”:{“list”:[{“RN”:16,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D5DDDCDDD7DD”,“QY_ORG_CODE”:“91110108102070763C”,“QY_NAME”:“北京高屋工程咨询监理有限公司”,“QY_FR_NAME”:“姜中义”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“102070763”,“COLLECT_TIME”:1477106424000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:17,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D5DDDCDDD0D6”,“QY_ORG_CODE”:“91110000717828497Y”,“QY_NAME”:“中咨工程有限公司”,“QY_FR_NAME”:“刘作斌”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“717828497”,“COLLECT_TIME”:1477106412000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:18,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D5DDDDD6D2D1”,“QY_ORG_CODE”:“9111010675822215XD”,“QY_NAME”:“北京中鼎立天电子科技发展有限公司”,“QY_FR_NAME”:“常建岭”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“75822215X”,“COLLECT_TIME”:1477106473000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:19,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D5DDDDD7D5D1”,“QY_ORG_CODE”:“91110102633780959H”,“QY_NAME”:“北京双圆工程咨询监理有限公司”,“QY_FR_NAME”:“高玉亭”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“633780959”,“COLLECT_TIME”:1477106411000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:20,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D5DDDDD0D4D1”,“QY_ORG_CODE”:“911101158028665350”,“QY_NAME”:“宝都国际工程技术有限公司”,“QY_FR_NAME”:“多奇志”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“802866535”,“COLLECT_TIME”:1477108021000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:21,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D4D6D0D6”,“QY_ORG_CODE”:“9111010810194166X8”,“QY_NAME”:“北京兴油工程项目管理有限公司”,“QY_FR_NAME”:“刘玉梅”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“10194166X”,“COLLECT_TIME”:1477106414000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:22,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D4D0DCDD”,“QY_ORG_CODE”:“91110102101427708Y”,“QY_NAME”:“中广国际建筑设计有限公司”,“QY_FR_NAME”:“朱兢”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“101427708”,“COLLECT_TIME”:1477106409000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:23,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D5D4D7D1”,“QY_ORG_CODE”:“91110229788616045H”,“QY_NAME”:“北京冰洁畅达道路养护有限公司”,“QY_FR_NAME”:“刘兵”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“788616045”,“COLLECT_TIME”:1477110972000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:24,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D6D6D6D0”,“QY_ORG_CODE”:“91110000101360785M”,“QY_NAME”:“北京城建设计发展集团股份有限公司”,“QY_FR_NAME”:“史育斌”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“101360785”,“COLLECT_TIME”:1477106406000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:25,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D6D6DDDC”,“QY_ORG_CODE”:“9111010810203608XK”,“QY_NAME”:“北京鸿厦基建工程监理有限公司”,“QY_FR_NAME”:“孙吉圣”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“10203608X”,“COLLECT_TIME”:1477106413000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:26,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D7D5D0D4”,“QY_ORG_CODE”:“911101081020941598”,“QY_NAME”:“鑫诚建设监理咨询有限公司”,“QY_FR_NAME”:“张国明”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“102094159”,“COLLECT_TIME”:1477106422000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:27,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D7D6D4DD”,“QY_ORG_CODE”:“91110114721443047F”,“QY_NAME”:“北京路鹏达市政建设有限责任公司”,“QY_FR_NAME”:“何华”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“721443047”,“COLLECT_TIME”:1477106476000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:28,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D7D3D7D3”,“QY_ORG_CODE”:“91110000700261383B”,“QY_NAME”:“北京政华建业建设投资有限公司”,“QY_FR_NAME”:“邸朝群”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“700261383”,“COLLECT_TIME”:1477106492000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:29,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D7D3D1D1”,“QY_ORG_CODE”:“911100006723503023”,“QY_NAME”:“北京市政路桥管理养护集团有限公司”,“QY_FR_NAME”:“李青林”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“672350302”,“COLLECT_TIME”:1477106496000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0},{“RN”:30,“QY_ID”:“D4D4D5D2D4D3D6D6D4D4D1D3D6D4D7D3D2D5”,“QY_ORG_CODE”:“91110000694981041H”,“QY_NAME”:“中交三公局第一工程有限公司”,“QY_FR_NAME”:“赵斌”,“QY_REGION”:“110100”,“QY_REGION_NAME”:“北京市-市辖区”,“OLD_CODE”:“694981041”,“COLLECT_TIME”:1477109935000,“QY_SRC_TYPE”:“0”,“IS_FAKE”:0}],“pageNum”:1,“pageSize”:15,“total”:450},“message”:"",“success”:true}

这里解密方式就不在这里说明；如果需要解密方式，可以联系作者（QQ:397713472 电话：13880334484[微信同号]）。