python爬虫加强版!!!!想爬哪个队伍就爬那个

前言

一、爬虫是什么?

网络爬虫,又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

二、使用步骤

1.引入库

代码如下(示例):

import xlwt
import requests
import re
from bs4 import BeautifulSoup
import time

2.实代码

代码如下(示例):

import xlwt
import requests
import re
from bs4 import BeautifulSoup
import time
def main():
    teamname = input('请输入你想要查询的球队名称:')
    url = 'https://nba.hupu.com/players/' + str(teamname)#获取网页的链接
    datalist = get_data(url)
    saveData(datalist,teamname)
def get_data(url):                 #抓取网页数据
    datalist = []
    datatitle = []
    headers = {
     
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'
    }
    html = requests.get(url,headers).text #
    bs = BeautifulSoup(html,'html.parser')           #利用BeautifulSoup解析网页
    for item in bs.find_all('tr'):
        data = []
        i = 0
        for items in item.find_all('td'):
            i += 1
            data.append(items.string)
            if i == 2:
                for itemss in items.find_all('b'):
                    for itemsss in itemss.find_all('a'):
                        data.append(itemsss.string)
        datalist.append(data)                        #将数据以列表的形式返回
    return datalist
def saveData(datalist,teamname):
    workbook = xlwt.Workbook(encoding='utf-8')          #将数据以excel的文件保存
    worksheet = workbook.add_sheet('sheet1')
    for i in range(0,len(datalist[0])-2):
        worksheet.write(0,i,datalist[0][i+1])
    for k in range(0,len(datalist)-1):
        for j in range(0,6):
            worksheet.write(k+1,j,datalist[k+1][j+2])
    workbook.save(str(teamname) + '.xls')
if __name__ == "__main__":
    main()
    print('爬虫完毕!')

总结

以上内容就是今天的爬虫内容啦!
这个是我加强版的爬虫!欢迎大家来观赏

你可能感兴趣的:(python爬虫加强版!!!!想爬哪个队伍就爬那个)