【python】批量获取企业公司的统一社会代码

目录

1.任务需求

输入

输出

2.解决办法 

3.运行结果

4.特殊情况

4.1 公司统一社会代码为0?

4.2 搜索次数过多,会弹出验证码或者登陆界面?

4.3 安装selenium包,提示没有find_element_by_id用法?


1.任务需求

输入

 给定一个公司企业的列表,用excel存放,如下图所示: 

【python】批量获取企业公司的统一社会代码_第1张图片

输出

通过企查查(或者天眼查等)获取企业的18位统一社会代码,最终存放在excel中,如下所示:

【python】批量获取企业公司的统一社会代码_第2张图片

2.解决办法 

使用python中的web自动化测试包selenium可以解决。

代码如下:

import openpyxl
from time import sleep

#获取查询名单
list_name = []
path = r'C:\Users\Aiken\Desktop\data.xlsx'
wb = openpyxl.load_workbook(path)
wb_sheet = wb['Sheet2']
maxrows = wb_sheet.max_row
for i in range(maxrows-1):
    name = wb_sheet.cell(i+2,1).value
    list_name.append(name)


from selenium import webdriver
# #进入企查查
driver = webdriver.Chrome()
url = 'https://www.qcc.com/?utm_source=baidu1&utm_medium=cpc&utm_term=pzsy'
driver.get(url)
driver.refresh()

sleep(15)
cnt = 0
for j in list_name:
    cnt += 1
    # 如果发生需要验证码或者登陆的情况,可以用if判断在上一次中断的地方继续
    # if(cnt >= 353) :
    # sleep(1)
    driver.find_element_by_id('searchKey').clear() #定位到搜索框
    driver.find_element_by_id('searchKey').send_keys(j) #在搜索框中输入查询企业名单
    try:
        driver.find_element_by_xpath('/html/body/div[1]/div[2]/section[1]/div/div/div/div[1]/div/div/span/button').click()
    except:
        driver.find_element_by_xpath('/html/body/div[1]/div[1]/div/div/div/div/div/div/span/button').click()
    try:
        name_id = driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div[3]/div/div[2]/div/table/tr[1]/td[3]/div/div[4]/div[1]/span[4]/span/div/span[1]').text
    except:
        name_id = "0000"
    print(cnt, j, name_id)

    wb_sheet.cell(list_name.index(j)+2,2,value = name_id)

wb.save(path)
wb.close()
driver.close()




3.运行结果

终端会输出相关信息,同时如果不报错的话,会直接写入到excel中。

【python】批量获取企业公司的统一社会代码_第3张图片

4.特殊情况

4.1 公司统一社会代码为0?

部分公司数据可能为0,这是因为有的公司的企查查信息布局不一样,导致使用html语法定位时候没找到数据。如果数据量少,可以直接手动修改。如果数据量多,可以修改代码。

4.2 搜索次数过多,会弹出验证码或者登陆界面?

可以设置好睡眠时间sleep(10),手动扫码登陆,然后通过断点的方式继续输出,然后把输出的数据放到txt中,再转化一下就行。 (更好的办法肯定是解决反爬虫机制!)

【python】批量获取企业公司的统一社会代码_第4张图片

 

4.3 安装selenium包,提示没有find_element_by_id用法?

这是因为高版本的selenium更改了语法方式。可以把selenium版本更改为3.3.1(亲测可行)

你可能感兴趣的:(爬虫,pytorch,python,开发语言,统一社会代码,企查查,selenium)