利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分

想法来源：虎扑体育app中有个游戏叫做“每日范特西”，此游戏给于NBA每位球员一个与他能力（数据）相符的身价，玩家的任务是给定金额120，根据每位球员的身价以及位置组建一个自己的阵容（阵容总价不能大于120），之后根据当天每位球员的数据表现，来得出当天的真实评分。每位玩家的任务就是组建一套120以下的阵容，以达到阵容的真实评分最大值。真实评分公式如下：

使用工具：最近接触了python比较多，也算是重拾了1年多前的知识，主要是利用了bs4模版。

实现目标：把NBA每天比赛的球员数据按文件夹放在本地，并计算出他的范特西球员评分。

步骤：

1. 抓取的NBA数据来源于http://sports.yahoo.com/nba/scoreboard/ 这个网站，网址后面加入日期，就是为当天的比赛场次信息，如（http://sports.yahoo.com/nba/scoreboard/?dateRange=2017-02-27）
2. 利用requests.get函数得到网址的html代码，再利用bs4对代码进行解析。

    data = requests.get(allurl)
    bsdata = BeautifulSoup(data.text, 'lxml')`

3.之后在浏览器中对原网址按下F12，得到当天的每场的子网页，如图：
可知整个比赛场次的板块是在class名为’Mb(0px)’的div标签下，之后在此标签下找到所有a标签，因为超链接和文本都存在a标签中。

game_list = bsdata.find('ul', class_='Mb(0px)').find_all('a')

4.得到game_list后，对每个a标签里的内容进行筛选，因为里面的a标签还可能是回放的链接：

    for game in gamelist:
        tarurl = game['href']   
        if tarurl.find('/nba') == -1:
            gamelist.remove(game)

5.筛选之后，得到场次的链接和标题，之后再利用requests和bs4，对每场的链接进行同样的方法，之后再对所要的数据进行分析：

为class名为match-stats的div标签下
6.之后我分析出名字是位于a标签下的文本中（因为球员是可以再点进去一个链接为该球员的详细资料），其他数据是位于td标签下。但是a标签包含的是所有出现的球员名字，td标签是包含了出现了所有数据（包含了球队数据），因此为了完全对应，需要对数据进行处理：

        player_name = bsdata.find('div', class_='match-stats').find_all('a')
        player_stat = bsdata.find('div', class_='match-stats').find_all('td')
        stat_list = ['Min','FG','3pt','FT','Off','Def','Reb','Ast','TO','Stl','Blk','PF','+/-','Pts']
        with open(title+".txt",'w') as nbawrite:
            count = 0
            for p in player_name:
                if(player_stat[count].get_text()==''):#对应的是球队数据，删去
                    count=count+20
                if(count>=len(player_stat)):#数据已经读完了，但是之后还有球员名字，应该忽略退出
                    break
                nbawrite.write('Name: '+ p.get_text()+'\n')
                nba_list=[]
                for i in range(0,14):
                    nba_list.append(str(player_stat[count].get_text()))
                    nbawrite.write(stat_list[i]+': '+str(player_stat[count].get_text())+'\n')
                    count=count+1
                nbawrite.write('评分：')
                nbawrite.write(str(getfantasy(nba_list)))
                nbawrite.write('\n\n')

7.得到数据之后就可以加入范特西评分函数，这里就不赘述了。
8.对这些数据建立相对应当天的文件夹，以及对每场再建立一个txt文本。
9.为了可以直接抓到当天的数据,不用手动输入日期,可以利用datetime函数,得到当天时间作为参数传入进去。
效果截图如下：



完整代码如下：

# -*- coding: utf-8 -*-

import requests
import datetime
from bs4 import BeautifulSoup
import os

def getDate(date):
    baseurl = "http://sports.yahoo.com/nba/scoreboard/?dateRange="
    allurl = baseurl+date
    try:
        data = requests.get(allurl)
        bsdata = BeautifulSoup(data.text, 'lxml')
        if os.path.exists(os.path.join("D:\\nba",date)) is not True:
            os.makedirs(os.path.join("D:\\nba", date))
        os.chdir(os.path.join("D:\\nba", date))
        game_list = bsdata.find('ul', class_='Mb(0px)').find_all('a')
        return game_list
    except:
        print(u'网络错误')

def getfantasy(stat_list):
    if(stat_list[0]=='-'):
        return 0
    else:
        total = 0.0

        FG = stat_list[1]
        number = FG.find('-')
        FG_succ = FG[:number]
        total += int(FG_succ)*0.4
        FG_miss = int(FG[number+1:]) - int(FG_succ)
        total += FG_miss*(-1)

        threept = stat_list[2]
        number = threept.find('-')
        three_suc = threept[:number]
        total += int(three_suc)*0.5

        total += int(stat_list[4])
        total += int(stat_list[5])*0.7
        total += int(stat_list[7])*1.5
        total += int(stat_list[8])*(-1)
        total += int(stat_list[9])*(2)
        total += int(stat_list[10])*1.8
        total += int(stat_list[13])*1

        return round(total,1)

def handle_single(gamelist):
    for game in gamelist:
        tarurl = game['href']   
        if tarurl.find('/nba') == -1:
            gamelist.remove(game)
    for game in gamelist:
        title = game.get_text()
        baseurl = "http://sports.yahoo.com"
        atturl = game['href']
        print(str(atturl))
        data = requests.get(baseurl+atturl)
        bsdata = BeautifulSoup(data.text, 'lxml')
        player_name = bsdata.find('div', class_='match-stats').find_all('a')
        player_stat = bsdata.find('div', class_='match-stats').find_all('td')
        stat_list = ['Min','FG','3pt','FT','Off','Def','Reb','Ast','TO','Stl','Blk','PF','+/-','Pts']
        with open(title+".txt",'w') as nbawrite:
            count = 0
            for p in player_name:
                if(player_stat[count].get_text()==''):#对应的是球队数据，删去
                    count=count+20
                if(count>=len(player_stat)):#数据已经读完了，但是之后还有球员名字，应该忽略退出
                    break
                nbawrite.write('Name: '+ p.get_text()+'\n')
                nba_list=[]
                for i in range(0,14):
                    nba_list.append(str(player_stat[count].get_text()))
                    nbawrite.write(stat_list[i]+': '+str(player_stat[count].get_text())+'\n')
                    count=count+1
                nbawrite.write('评分：')
                nbawrite.write(str(getfantasy(nba_list)))
                nbawrite.write('\n\n')

    print(u'抓取成功')    

i = datetime.datetime.now()
today = str(i)[:10]
print(u'今天是%s,将抓取今天的NBA信息'%(today))
game = getDate(today)
handle_single(game)