一个简单的关于python爬虫获取数据并使用Numpy分析的案例

前言

目标：获取成都近十年的人口以及房价数据并分析其相关性和趋势。
目标网站：国家统计局
使用工具：selenium+numpy
IDE：spyder

代码部分

from selenium import webdriver
import matplotlib.pyplot as plt#导入绘图库pyplot
import matplotlib as mat
from numpy import array,cov,corrcoef
import numpy as np
global priceurllis
global purllis
global price1
global price2
global url1
global url2
yearslis=[2008,2009,2010,2011,2012,2013,2014,2015,2016,2017]
priceurllis=[]
purllis=[]
priced1=[]
priced2=[]

#爬取数据部分
def geteaceprice(url1): #定义获取房价数据的函数
    browser = webdriver.Chrome()
    browser.get(url1)
    price1 = browser.find_elements_by_css_selector("td[align^='right']")
    for q1 in range(len(price1)):
        if q1 ==1:#只获得第一个数据
            txt1 = price1[q1].text
            priced1.append(txt1)
            browser.close()

def geteachperson(url2):#定义获得人口数据的函数
    browser = webdriver.Chrome()
    browser.get(url2)
    price2 = browser.find_elements_by_css_selector("td[align^='right']")
    for q2 in range(len(price2)):
        if q2 ==1:#只获得第一个数据
            txt2 = price2[q2].text
            priced2.append(txt2)
            browser.close()
def main():#定义主函数
    for i in range(10):#产生循环，产生链接，并获得每年的人口与房价数据
        url1 = ('http://data.stats.gov.cn/search.htm?s='+str(yearslis[i])+'%20成都%20住宅商品房平均销售价格(元/平方米)')
        priceurllis.append(url1)
        url2 = ('http://data.stats.gov.cn/search.htm?s='+str(yearslis[i])+'%20成都%20居住人口')                
        purllis.append(url2)
        print(url1,url2)
        geteaceprice(url1)
        geteachperson(url2)
main()

#数据分析部分，为了简便，直接将获取的数据写出。
y=[4857.00, 4925.00, 5937.00, 6716.71, 7288.24, 7197.00, 7032.00, 6875.00, 7504.00, 8733.00]
y2=[1124.96, 1139.63, 1149.07, 1163.28, 1173.30, 1187.99, 1210.74, 1228.05, 1398.90,1435.33]


plt.plot(yearslis,y2,'b',yearslis,y,'g')


data = array(y)
data2 = array(y2)
x = np.vstack((data,data2))
np.corrcoef(data, data2)
np.corrcoef(x)

总结

由于自己的熟练度限制，代码很多地方很繁琐需要改进，但是总体思路是清晰的，如果有好的建议或者问题请提出来。
另：在爬取数据的时候遇到的许多问题，但是解决后的乐趣是真的爽的一笔，可能这就是编程的乐趣吧