爬取数据入门指南

世界杯来了，想分析一下各个球员的比赛数据，然后预测今年的世界杯金靴奖，根据经验大家肯定普遍认为梅西，C罗，内马尔等球星概率大些；但经验毕竟是经验，数据才是最靠谱的，通过分析数据，可以评估一个球员的价值（当然，球员的各方面的表现（特征），都会有一个权重，最终衡量权重*特征值之和最高者的金靴概率胜算大些）。那么，如何获取这些数据呢？写段简单的爬取数据的代码就是最好的获取工具。本文以2014年的巴西世界杯球员为基础进行实践操作；

一、什么是爬数据？
网络爬虫(网页蜘蛛),是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本;

学习一些爬数据的知识有什么用呢？
比如：大到大家经常使用的搜索引擎（Google, 搜狗）;
当用户在Google搜索引擎上检索相应关键词时，谷歌将对关键词进行分析，从已“收录”的网页中找出可能的最符合用户的条目呈现给用户;那么,如何获取这些网页就是爬虫需要做的，当然如何推送给用户最有价值的网页，也是需要结合相应算法的，这就涉及到数据挖掘的的知识了;
比较小一些的应用，比如我们统计测试工作的工作量，这就需要统计一周/一月的修改单数量,jira记的缺陷数以及具体内容；
还有就是最近火热进行的世界杯，如果你想统计一下各个球员/国家的数据，并存储这些数据以供其他用处；
还有就是根据自己的兴趣爱好通过一些数据做一些分析等（统计一本书/一部电影的好评度），这就需要爬取已有网页的数据了，然后通过获取的数据做一些具体的分析/统计工作等。

二、学习简单的爬虫需要具备哪些基础知识？

我把基础知识分为两部分：
1、前端基础知识
HTML/JSON，CSS; Ajax
参考资料：http://www.w3school.com.cn/h.asp
http://www.w3school.com.cn/ajax/
http://www.w3school.com.cn/json/

2. python编程相关知识

（1）Python基础知识
基本语法知识，字典，列表，函数，正则表达式，JSON等
参考资料：http://www.runoob.com/python3/python3-tutorial.html
（2）Python常用库：
Python的urllib库的用法 （此模块我用的urlretrieve函数多一些，主要用它保存一些获取的资源（文档/图片/mp3/视频等））
Python的pyMysql库 （数据库连接以及增删改查）
python模块bs4（需要具备css选择器，html的树形结构domTree知识等，根据css选择器/html标签/属性定位我们需要的内容）
python的requests（顾名思义，此模块用于发送request请求的/POST/Get等，获取一个Response 对象）
python的os模块 （此模块提供了非常丰富的方法用来处理文件和目录。os.path.join/exists函数用的较多一些）
参考资料：这部分可以参考相关模块的接口API文档

三、简单小项目上手实践（附源码）

（1）.爬取Kugou网站音乐，以歌手id为输入，下载歌手所有的专辑歌曲并以专辑名为文件夹存放下载的歌曲；

具体实现过程如下：

1.酷狗首页搜索歌手，进入歌手主页，获取url中的singId,例如朴树主页：http://www.kugou.com/singer/3520.html,其中3520即为singId;
2.根据歌手singerId可以获得歌手的所有专辑的albumId,例如 这是专辑的页面,http://www.kugou.com/yy/album/single/962593.html,其中962593为albumId
3.酷狗播放歌曲的实现方式，是通过ajax请求获取的服务器资源,点击播放某歌曲,播放页面打开F12,切至netWork,观察Request URL请求,如下 例如http://www.kugou.com/yy/index.php?r=play/getdata&hash=89AB193EC33E2AE6AF04BD408F8F1083&album_id=962593&_=1529057140131
经过测试发现(建议使用截包工具截获url请求),只需要(get请求)http://www.kugou.com/yy/index.php?r=play/getdata&hash=89AB193EC33E2AE6AF04BD408F8F1083
而每首歌有一个单独的hash,只要找到每首歌的hash,即可获取每首歌的ajax请求url,而这个hash存在于专辑页面中,bs4提取专辑内所有歌曲的hash.
4.可以发现其ajax请求的response信息中存在该歌曲的MP3资源url,那么通过urllib.request.urlretrieve()函数即可保存该歌曲.

图例过程：

 

# -*- coding: utf-8 -*-
# @Time    : 2018/6/8
# @Author  : Torre
# @Email   : [email protected]
# 免费下载酷狗音乐：通过歌手singerId即可以专辑下载歌手的所有歌曲。
# 具体过程：1.酷狗首页搜索歌手，进入歌手主页，获取url中的singId,例如朴树主页：http://www.kugou.com/singer/3520.html,其中3520即为singId;
# 2.根据歌手singerId可以获得歌手的所有专辑的albumId,例如 这是专辑的页面,http://www.kugou.com/yy/album/single/962593.html,其中962593为albumId
# 3.酷狗播放歌曲的实现方式，是通过ajax请求获取的服务器资源,点击播放某歌曲,播放页面打开F12,切至netWork,观察Request URL请求,如下
# 例如http://www.kugou.com/yy/index.php?r=play/getdata&hash=89AB193EC33E2AE6AF04BD408F8F1083&album_id=962593&_=1529057140131
# 经过测试发现(建议使用截包工具截获url请求),只需要(get请求)http://www.kugou.com/yy/index.php?r=play/getdata&hash=89AB193EC33E2AE6AF04BD408F8F1083
# 而每首歌有一个单独的hash,只要找到每首歌的hash,即可获取每首歌的ajax请求url,而这个hash存在于专辑页面中,bs4提取专辑内所有歌曲的hash.
# 4.可以发现其ajax请求的response信息中存在该歌曲的MP3资源url,那么通过urllib.request.urlretrieve()函数即可保存该歌曲.


import os
import urllib.request
import requests
import re
import json
import getSoup
# from urllib.request import urlretrieve

headers = {
    'origin': "http://www.kugou.com",
    'x-devtools-emulate-network-conditions-client-id': "97C9BAA42BE5A8449EC4283F764B4D9E",
    'user-agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
    'content-type': "application/x-www-form-urlencoded",
    'accept': "*/*",
    'referer': "http://www.kugou.com/singer/3520.html",
    'accept-encoding': "gzip, deflate",
    'accept-language': "zh-CN,zh;q=0.9",
    'cookie': "kg_mid=88665d81b7959ab3787c4976831a30f9; Hm_lvt_aedee6983d4cfc62f509129360d6bb3d=1528705681; Hm_lpvt_aedee6983d4cfc62f509129360d6bb3d=1528707581",
    'cache-control': "no-cache",
    'postman-token': "c717ef07-2b91-06f1-1d22-abcb47b0bce2"
}

# 获取歌手的所有album信息
def getAlbumid(singerID):
    # 获取歌单albumid
    url = "http://www.kugou.com/yy/"
    querystring = {"r": "singer/album", "sid": singerID}
    # headers = {
    #     'origin': "http://www.kugou.com",
    #     'x-devtools-emulate-network-conditions-client-id': "97C9BAA42BE5A8449EC4283F764B4D9E",
    #     'user-agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
    #     'content-type': "application/x-www-form-urlencoded",
    #     'accept': "*/*",
    #     'referer': "http://www.kugou.com/singer/3520.html",
    #     'accept-encoding': "gzip, deflate",
    #     'accept-language': "zh-CN,zh;q=0.9",
    #     'cookie': "kg_mid=88665d81b7959ab3787c4976831a30f9; Hm_lvt_aedee6983d4cfc62f509129360d6bb3d=1528705681; Hm_lpvt_aedee6983d4cfc62f509129360d6bb3d=1528707581",
    #     'cache-control': "no-cache",
    #     'postman-token': "c717ef07-2b91-06f1-1d22-abcb47b0bce2"
    # }
    response = requests.request("POST", url, headers=headers, params=querystring)
    res = response.text
    # print(type(res))
    jsonRes = json.loads(res)
    loadAlbumids = []  # 保存albumids到list
    loadAlbumname = []
    albumids = jsonRes['data']
    for albumid in albumids:
        albumid = albumid['albumid']
        # print(albumid)
        loadAlbumids.append(albumid)
        # print(albumid)
    for albumname in albumids:
        albumname = albumname['albumname']
        albumname = albumname[0]
        loadAlbumname.append(albumname)
        # print(albumname)
    return loadAlbumname, loadAlbumids

# getAlbumid(2303)

# 获取该专辑内的所有歌曲的hash
def getMp3Info(albumid):
    url = 'http://www.kugou.com/yy/album/single/'+str(albumid)+'.html'
    soup = getSoup.getSoup(url)
    hashs = soup.select('.songList a')
    loadMp3Hash = []
    for hashss in hashs:
        hash = hashss.get('data')
        # 通过spilt('|')分割字符串,获取hash
        mp3Hash = hash.split('|')[0]
        # print(hash.split('|')[0])
        # hash = hash.spilt('|')
        loadMp3Hash.append(mp3Hash)
        # print(mp3Hash)
    return loadMp3Hash

# mp3 = getMp3Info(1645030)
# for i in range(len(mp3)):
#     print(mp3[i])


# 通过ajax请求获取歌曲的PlayerUrl
def getPlayUrl(hash, albumId):
    url = "http://www.kugou.com/yy/index.php"
    querystring = {"r": "play/getdata", "hash": hash, "album_id": albumId}
    response = requests.request("GET", url, headers=headers, params=querystring)
    response.raise_for_status()
    res = response.text
    # print(type(res))
    jsonRes = json.loads(res)
    playUrl = jsonRes['data']

    audioName = playUrl['audio_name']
    playUrl = playUrl['play_url']
    music = (audioName, playUrl)
    print('-'.join(music))
    return audioName, playUrl

# @test
# mp3 = getMp3Info(1645030)
# for i in range(len(mp3)):
#     print(mp3[i])
#     getPlayUrl(mp3[i], '1645030')


# 文件/文件夹的创建是不允许一些非法字符存在的,此函数过滤掉非法字符
def validateName(name):
    rstr = r"[\/\\\:\*\?\"\<\>\|]"  # '/ \ : * ? " < > |'
    new_name = re.sub(rstr, "", name)
    return new_name

# 进度信息
def cbk(a,b,c):
    per=100.0*a*b/c
    if per>100:
        per=100
    print('%.2f%%' % per)


# # 保存为MP3, 保存到特定文件夹下面：文件夹以专辑名字命名; 注意,在代码的根目录下创建mp3文件夹
def saveAudio(url, album, filename):
    filepath = os.getcwd()+'\\mp3\\'+album
    if os.path.exists(filepath):
        mp3 = os.path.join(filepath + '\\', '' + filename + '.mp3')
        if url == '':
            print('the url is NUll, pass')
        else:
            urllib.request.urlretrieve(url, mp3, cbk)
    else:
        os.makedirs(filepath)
        mp3 = os.path.join(filepath + '\\', '' + filename + '.mp3')
        if url == '':
            print('the url is NUll, pass')
        else:
            urllib.request.urlretrieve(url, mp3, cbk)


# 运行主程序, 只需要填入 歌手ID即可(http://www.kugou.com/yy/html/singer.html,
# 点击任一歌手即可获得其ID), 可以自动下载其所有专辑 : 比如3043 代表 许巍; 61874代表Sophia zelmani;朴树2303;34450 Taylor Swift
def downloadMp3(singerId):
    albumname, albumids = getAlbumid(singerId)
    # length = len(albumids)
    # print(albumids)
    for i in range(len(albumids)):
        hashs = getMp3Info(albumids[i])
        for ii in range(len(hashs)):
            audioName, playUrl = getPlayUrl(hashs[ii], albumids[i])
            saveAudio(playUrl, validateName(albumname[i]), validateName(audioName))


# 调用函数 ,下载歌曲
downloadMp3(34450)

 

（2）.爬取2014年世界杯各个球员的参赛数据。
1.数据库连接以及sql语句格式化
数据库连接及其操作,我单独封装成一个类ConnectDatabase;

1.读取本地的配置文件(Json文件：数据库的连接地址、账号、密码、数据库名等信息)
2.主要函数有数据库连接、获取数据库的所有表、执行sql并提交、关闭数据库连接等

2.数据爬取并存储
1.通过requests.get()获取response对象；
2.bs4.BeautifulSoup()获取bs4对象;
3.通过select()方法，获取bs4对象的表格数据并存储到list中
4.执行sql并提交数据

 

-- 建表语句
CREATE TABLE `playertechsum` (
  `id` int(255) NOT NULL AUTO_INCREMENT,
  `player` varchar(20) DEFAULT '' COMMENT '球员',
  `team` varchar(20) DEFAULT NULL COMMENT '球队',
  `games` int(255) DEFAULT NULL COMMENT '出场',
  `minsPlayed` int(255) DEFAULT NULL COMMENT '出场时间',
  `goals` int(10) DEFAULT NULL COMMENT '进球数',
  `attPenGoal` int(10) DEFAULT NULL COMMENT '点球',
  `goalAssist` int(10) DEFAULT NULL COMMENT '助攻',
  `ontargetScoringAtt` int(20) DEFAULT NULL COMMENT '射正',
  `totalScoringAtt` int(20) DEFAULT NULL COMMENT '射门',
  `totalPass` int(10) DEFAULT NULL COMMENT '传球',
  `totalCross` int(10) DEFAULT NULL COMMENT '传中',
  `wonCorners` int(10) DEFAULT NULL COMMENT '角球',
  `totalOffside` int(10) DEFAULT NULL COMMENT '越位',
  `touchBall` int(10) DEFAULT NULL COMMENT '触球',
  `fouls` int(10) DEFAULT NULL COMMENT '犯规',
  `outfielderBlock` int(10) DEFAULT NULL COMMENT '封堵',
  `yellowCard` int(10) DEFAULT NULL COMMENT '黄牌',
  `redCard` int(10) DEFAULT NULL COMMENT '红牌',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 

-- 数据库连接以及操作函数
# -*- coding: utf-8 -*-
# @Time    : 2018/5/24 20:02
# @Author  : Torre
# @Email   : [email protected]
# Description ：connect to database, return cursor and conn

import json
import pymysql
import random
import string
import os
import logging


class ConnectDatabase:
    # def __init__(self, cur):
    #     self.cur = cur

    # def get_conf(self, file='databases_conf.json'):读取本地json文件
    def get_conf(self, file):
        with open(file, "r", encoding="utf-8") as f:
            conf = json.load(f)
        return conf


    # 数据库连接
    def connect_db(self, host, user, password, db, port):
        conn = pymysql.connect(host, user, password, db, port, charset="utf8")  # 最好加上utf-8
        cur = conn.cursor()
        return conn, cur

    # 获取列
    def get_cols(self, table, cur):
        sql = 'desc ' + str(table) + ''
        cur.execute(sql)
        res = cur.fetchall()
        return res

    # 执行sql,获取查询结果
    def get_res(self, cur, sql):
        cur.execute(sql)
        res = cur.fetchall()
        return res

    # 执行并提交
    def get_fetch(self, conn, cur, sql):
        cur.execute(sql)
        conn.commit()

    # 关闭数据库连接
    def disconnect_db(self, conn, cur):
        cur.close()
        conn.close()

-- 获取bs4对象
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : Torre Yang Edit with Python3.6
# @Email  : [email protected]
# @Time   : 2018/6/5 16:19
import requests
from bs4 import BeautifulSoup as bs


def getSoup(url):
    response = requests.get(url)
    response.raise_for_status()
    res = response.content
    soup = bs(res, 'html.parser')
    return soup

-- 爬取的数据插入到mariadb
# -*- coding: utf-8 -*-
# @Time    : 2018/6/18 18:59
# @Author  : Torre
# @Email   : [email protected]
import getSoup
import connect_dataBase
import os
import re
from bs4 import BeautifulSoup as bs

# db连接
connectDB = connect_dataBase.ConnectDatabase()
get_conf = connectDB.get_conf('databases_conf.json')
conn, cur = connectDB.connect_db(get_conf["brazilCup"]["host"], get_conf["brazilCup"]["user"],
                     get_conf["brazilCup"]["password"], get_conf["brazilCup"]["database"], get_conf["brazilCup"]["port"])


url = 'http://worldcup.2014.163.com/playerrank/avg/attPenGoal/'  

soup = getSoup.getSoup(url)
trs = soup.select('tbody tr')
# print(tds)
length = len(trs)
# print(length)
players = []
for tr in trs:
    # print(row)
    player = []
    # print(len(tr))
    for td in tr:
        tds = '\''+str(td.string.strip())+'\''
        # print(tds)
        # player.append(str(td.string.strip()))
        player.append(tds)
        if "''" in player:
            player.remove("''")
    # print(player)
    # print(tuple(player))
    # 球员排行榜
    sql = 'insert into playertechsum(id,player,team,games,minsPlayed,goals,attPenGoal,goalAssist,ontargetScoringAtt,totalScoringAtt,totalPass,totalCross,wonCorners,totalOffside,touchBall,fouls,outfielderBlock,yellowCard,redCard) values('+\
          ','.join(player)+')'
 
    connectDB.get_fetch(conn, cur, sql)

 

四、结后语

当然，想深入学习爬虫，最好还是要学习一个爬虫框架。常见python爬虫框架参考如下：

  (1)Scrapy:很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。
  (2)Crawley: 高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等
  (3)Portia:可视化爬取网页内容
  (4)newspaper:提取新闻、文章以及内容分析
  (5)python-goose:java写的文章提取工具
  (6)mechanize:优点：可以加载JS。缺点：文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

附件：资料下载地址  链接：https://pan.baidu.com/s/179RtOxk4CsnjqjChW0nljw 密码：lczh

转载于:https://www.cnblogs.com/iloverain/p/9198217.html