[python3]nba球员数据爬虫

爬取的数据为新浪nba数据库

方法是先爬取球员列表页面然后进入每个球员页面进行爬取，结果生成为csv

由于个人需求只爬取了16-17赛季数据，可通过修改正则表达式进行定制

代码如下：

import urllib.request
import re
import csv
myUrl ="http://nba.sports.sina.com.cn/players.php?dpc=1"
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
headers = { 'User-Agent' : user_agent } 
req = urllib.request.Request(myUrl, headers = headers) 
myResponse = urllib.request.urlopen(req)
myPage = myResponse.read()  
        #encode的作用是将unicode编码转换成其他编码的字符串  
        #decode的作用是将其他编码的字符串转换成unicode编码  
unicodePage = myPage.decode("GB2312")
#print(unicodePage)
myItems = re.findall(' (.*?)',unicodePage,re.S)  
items = []  
for item in myItems:
            # item 中第一个是url 
            # item 中第二个是球员姓名
    try:
        memUrl="http://nba.sports.sina.com.cn/"+item[0]
        memName=item[1]
        newReq=urllib.request.Request(memUrl, headers = headers)
        newResponse = urllib.request.urlopen(newReq)
        newPage = newResponse.read()
        unicodeNewPage = newPage.decode("GB2312")
        memItems = re.findall('(.*?)',unicodeNewPage,re.S)
        j=[]
       # print(memItem[0].)
        j=re.findall("(.*?)",memItems[0],re.S)
        with open("nba.csv","a",newline="") as datacsv:
            csvwriter = csv.writer(datacsv,dialect = ("excel"))
            #csv文件插入一行数据，把下面列表中的每一项放入一个单元格（可以用循环插入多行）
            csvwriter.writerow([memName,j[0],j[1],j[2],j[3],j[4],j[5],j[6],j[7],j[8],j[9],j[10],j[11],j[12],j[13],j[14]])
    except Exception as err:
        print(err)
        print(item[1])