爬虫

scrapy startproject xxxx

dos进入爬虫项目 ，创建单个爬虫

scrapy genspider xxx xxx.com

启动
scrapy crawl name

添加cookies 访问网站
scrapy 需要的cookies格式
{a:b,c:d }

scrapy添加一个start_request函数，在请求http时每次都会执行

        cookies = 'SINAGLOBAL=2365626625392.585.1570796110890; 
        UM_distinctid=16dc2c7f446236-0c0; 
        _s_tentry=www.baidu.com; '
        cookies = {i.split('=')[0] :i.split('=')[1] for i in cookies.split(';')}
        yield scrapy.Request(self.start_urls[0],cookies=cookies)

.extract_first()
去除标签，提取标签的文本内容

mongdb 转csv文件：
进入mongdo 客户端

mongoexport -d 数据库名称 -c 集合 -f _id,1号表头,2号表头,3号表头 --csv -o ./文件名称.csv