研究了一下午，刚刚成功爬出了B站的视频数据以及超链接（虽然方法很笨）。但是还是非常有意思的，这里记录一下过程
程序用的scrapy，安装方法详见 https://www.jianshu.com/p/d2c8b1496949， 这里可以直接用的CMD创建scrapy项目，只需要输入 scrapy startproject 项目名 即可，会在当前目录下创建一个新文件夹，cd到该文件夹下后，输入scrapy genspider 爬虫名 目标网址来创建你的爬虫文件(如: scrapy genspider sample https://www.bilibili.com/v/douga)
创建爬虫项目
创建爬虫成功后就可以编辑了，打开的爬虫文件（此处为sample.py）可以看到
import scrapy
class SampleSpider(scrapy.Spider):
# def start_requests(self):
# yield Request("https://", headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"})
name = 'sample' #爬虫名称
allowed_domains = ['bilibili.com'] #爬取的范围
start_urls = ['https://www.bilibili.com/v/douga']#URL地址
def parse(self, response):
接下来要定义parse()函数，要用到Xpath选择器来提取网页内标签内容，这里用到Xpath helper可以提高效率https://blog.csdn.net/xiaobai_IT_learn/article/details/100977653(要打开chrome的开发者模式)，或者手动F12筛选元素也可以。
以动画分区顶端推荐视频为例，在页面元素中可以看到它属于