pychon抓取pc端接口，俗称爬数据

抓取接口，python写的代码，以豆瓣为例 https://book.douban.com/tag/?view=type&icn=index-sorttags-all

1、代码

from selenium import webdriver

import time

d = webdriver.Chrome()

time.sleep( 2)

d.get( ' https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4' ;)

time.sleep( 20)

d.maximize_window()

var = 1

while var == 1 :

target = d.find_element_by_xpath( "//*[@class ='prev']/following-sibling::span/a")

d.execute_script( "arguments[0].scrollIntoView();", target)

target.click()

2、需要结合Charles，那就要浏览器安装证书了，

网页安装证书参考： https://www.cnblogs.com/ceshijiagoushi/p/6812493.htm

Charles安装，浏览器安装证书，网页版的 help->ssl proxying ->instal Charles(从上往下第二个)

点击安装，一直下一步，chrom浏览器导入证书，点击[中间证书颁发机构]先是导出Charles path...，选择一个地点，之后点击[受信任的根证书].导入，选择刚才导出的证书，

3.之后重启浏览器

3、在本地创建个文件夹，命个名字，Charles->tools->mirror..->勾选，选择刚创建的文件夹，add添加url，把无用的删除

具体可以参考另一篇文章【Charles抓取客户端接口，并保存到文档里】

3.编写python代码，就是上边代码（我用的编译器pycharm），先要装selenium（file ->seting->project：qiandai->project interpreter），然后装上chromedriver，下载好chromedriver，对应电脑的多少位，复制到chrome->application,配置环境变量path     C:\Program Files (x86)\Google\Chrome\Application
4.运行代码，