Pyhton爬取TIOBE编程语言信息

简介

百度百科

TIOBE排行榜是根据互联网上有经验的程序员、课程和第三方厂商的数量，并使用搜索引擎（如Google、Bing、Yahoo!）以及Wikipedia、Amazon、YouTube统计出排名数据，只是反映某个编程语言的热门程度，并不能说明一门编程语言好不好，或者一门语言所编写的代码数量多少。

了解了什么是TIOBE，接下来让我们爬取一下TIOBE里面的编程语言排行榜的信息。

爬取过程

1、打开TIOBE官网https://www.tiobe.com/tiobe-index/，检查分析页面信息

2、根据这些数据信息内容，利用python可以把这些信息给爬取下来，这里要使用python的requests库，具体使用方法可参考requests文档

import requests #导入re库

#Tiobe网站链接
url = 'https://www.tiobe.com/tiobe-index/' 
#请求头
headers = {
     
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36 Edg/83.0.478.54'
    }

#获取页面的html文本
response = requests.get(url,headers=headers)
htmlText = response.text

这样就可以获取页面的html文本信息，通过分析html元素，找到需要爬取的数据信息

3、获取数据信息，通过正则表达式来获取相关的数据信息，这里要使用python的re库，具体使用方法可参考re文档

import re #导入re库

#提取数据内容
tiobeData = re.findall(r'series:([\s\S]*)\}\);',html)[0]
context = re.findall(r'\{name(.*?)\}',tiobeData)

for j in range(len(context)):
    dataAll = context[j]
    name = re.findall(r"'(.*?)'",text)[0]	#获取编程语言名称
    data = re.findall(r'\[Date.UTC(.*?)\]',text)	#获取所有编程语言的数据信息
    #分别获取每种编程语言的信息
    for i in range(len(data)):
        #处理日期信息
        s = data[i].replace(' ','').replace('(','').replace(')','').split(',')
        year = s[:1][0]
        month = s[1:2][0]
        #将日期处理为yyyy-MM-dd格式
        if int(month)<10:
           if int(month)==0:
               year = int(year)-1
               month = '12'
           else:
              month = '0'+month
                            
        day = s[2:3][0]
        if int(day)<10:
           day = '0'+day
        time = str(year)+'-'+month+'-'+day
        #获取相应的值
        value = s[3:][0]
     
        temp={
     
            'Programming':name,	#编程语言名称
            'Value':value,	#编程语言受欢迎的值
            'Date':time	#日期
        }
        print(temp)	#输出数据信息

通过对数据进行分析和处理，最后将爬取的数据信息进行格式化整理如下（部分数据）：

4、将处理好的数据保存到本地csv文件

import csv #导入csv库

#创建本地保存文件
file = open('TiobeProgramming.csv','w',newline='')
writer = csv.writer(file)
writer.writerow(['Programming','Value','Date'])	#表头信息

#接着就把上面代码中的注释
 '''
        temp={
            'Programming':name,
            'Value':value,
            'Date':time
        }
        print(temp)
'''
#加上一下代码
writer.writerow([name,value,time])

#最后关闭文件
file.close()

这时在py文件同一目录下生成了csv文件，用excel即可打开

全部代码

import requests
import re
import csv

#Tiobe网站链接
url = 'https://www.tiobe.com/tiobe-index/'

#请求头
headers = {
     
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36 Edg/83.0.478.54'
    }

#创建本地保存文件
file = open('TiobeProgramming.csv','w',newline='')
writer = csv.writer(file)
writer.writerow(['Programming','Value','Date'])


#获取html文本
def getHtml(url,headers):
    response = requests.get(url,headers=headers)
    return response.text

#获取数据
def dealData(text):
    name = re.findall(r"'(.*?)'",text)[0]
    data = re.findall(r'\[Date.UTC(.*?)\]',text)

    for i in range(len(data)):
        s = data[i].replace(' ','').replace('(','').replace(')','').split(',')
        year = s[:1][0]
        month = s[1:2][0]
        if int(month)<10:
           if int(month)==0:
               year = int(year)-1
               month = '12'
           else:
              month = '0'+month
                            
        day = s[2:3][0]
        if int(day)<10:
           day = '0'+day

        time = str(year)+'-'+month+'-'+day        
        value = s[3:][0]
        '''
        temp={
            'Programming':name,
            'Value':value,
            'Date':time
        }
        print(temp)
        '''
        writer.writerow([name,value,time])

html = getHtml(url,headers)
#提取数据信息
tiobeData = re.findall(r'series:([\s\S]*)\}\);',html)[0]
context = re.findall(r'\{name(.*?)\}',tiobeData)

for j in range(len(context)):
    text = context[j]
    dealData(text)
    
file.close()

利用处理后的数据，可以进一步对数据进行可视化分析。