Python爬虫练习:爬数字货币行情网站CoinMarketCap历史记录里TOP100数字货币数据并保存至excel/MongoDB数据库中

这周除了备战二级口译之外,阅读并实践了下崔神的《Python3网络爬虫开发实战》,试了下猫眼的排行榜数据和头条街拍图片的抓取和保存,充分感受到了python大法的强悍之处。作为一名python小小白和入坑区块链两年半的小韭菜,出于好奇心爬了下CoinMarketCap上的历史记录,代码虽短,情深可长,保存在csdn上,说不定以后的以后用得上哈哈哈~之后如果学了数据分析,会把爬出来的数据拿来练习练习!

提醒,要导入的包如下(要记得安装连接MongoDB吼吼):

import random #用于生成随机数
import time #用于打印系统时间
from pyquery import PyQuery as pq #用于解析提取所需数据
import requests #用于获取网页源码
from fake_useragent import UserAgent #用于随机生成user-agent
from openpyxl import workbook  # 写入Excel表所用
from openpyxl import load_workbook  # 读取Excel表所用
import os #用于指定保存路径
import re #用于提取信息
import pymongo #用于保存数据到mongodb中

第一步:抓“历史记录”主页的核心内容——日期

每页数据的url规律是https://coinmarketcap.com/zh/historical/+日期,比如2019年3月3日的数据页url是https://coinmarketcap.com/zh/historical

你可能感兴趣的:(爱敲python的小咕凉,python,爬虫,coinmarketcap,数字货币,区块链)