python爬虫之无界面模式操作/scrapy框架

前情回顾

cookie模拟登陆

1、适用网站类型: 爬取网站页面时需要登录后才能访问，否则获取不到页面的实际响应数据
2、方法1（利用cookie）
   1、先登录成功1次,获取到携带登陆信息的Cookie（处理headers） 
   2、利用处理的headers向URL地址发请求
3、方法2(利用requests.get()中cookies参数)
   1、先登录成功1次,获取到cookie,处理为字典
   2、res=requests.get(xxx,cookies=cookies)
4、方法3（利用session会话保持）
   1、实例化session对象
      session = requests.session()
   2、先post : session.post(post_url,data=post_data,headers=headers)
      1、登陆，找到POST地址: form -> action对应地址
      2、定义字典，创建session实例发送请求
         # 字典key ：标签中name的值(email,password)
         # post_data = {'email':'','password':''}
   3、再get : session.get(url,headers=headers)

三个池子

1、User-Agent池
2、代理IP池
3、cookie池(网上购买账号)

selenium+phantomjs/chrome/firefox

• 特点

1、简单，无需去详细抓取分析网络数据包，使用真实浏览器
2、需要等待页面元素加载，需要时间，效率低

• 安装

1、下载、解压
2、添加到系统环境变量
   # windows: 拷贝到Python安装目录的Scripts目录中
   # Linux :  拷贝到/usr/bin目录中
3、Linux中修改权限
   # sudo -i
   # cd /usr/bin/
   # chmod +x phantomjs　　加权限
     改权限前: rwxr--r--
     改权限后: rwxr-xr-x

• 使用流程

from selenium import webdriver
phantomjs chromedriver firefoxdriver
# 1、创建浏览器对象
browser = webdriver.Firefox(executable_path='/xxx/geckodriver')
# 2、输入网址
browser.get('URL')
# 3、查找节点
brower.find_xxxx
# 4、做对应操作
element.send_keys('')
element.click()
# 5、关闭浏览器
browser.quit()

• 重要知识点

# 页面所有元素
1、browser.page_source
# 获取字符串位置(没有就返回-1)
2、browser.page_source.find('')
3、node.send_keys('')
4、node.click()
5、find_element AND find_elements
6、browser.execute_script('javascript')
#常用的：self.browser.execute_script(
            'window.scrollTo(0,document.body.scrollHeight)'
        )
7、browser.quit()

今日笔记

chromedriver设置无界面模式

from selenium import webdriver

options = webdriver.ChromeOptions()
# 添加无界面参数
options.add_argument('--headless')
browser = webdriver.Chrome(options=options)
browser.get('http://www.baidu.com/')
#保存屏幕截图
browser.save_screenshot('baidu.png')

selenium - 键盘操作

from selenium.webdriver.common.keys import Keys
#构建浏览器对象
browser = webdriver.Chrome()
#打开浏览器
browser.get('http://www.baidu.com/')
# 1、在搜索框中输入"selenium"
browser.find_element_by_id('kw').send_keys('赵丽颖')
# 2、输入空格
browser.find_element_by_id('kw').send_keys(Keys.SPACE)
# 3、Ctrl+a 模拟全选
browser.find_element_by_id('kw').send_keys(Keys.CONTROL, 'a')
# 4、Ctrl+c 模拟复制
browser.find_element_by_id('kw').send_keys(Keys.CONTROL, 'c')
# 5、Ctrl+v 模拟粘贴
browser.find_element_by_id('kw').send_keys(Keys.CONTROL, 'v')
# 6、输入回车,代替 搜索 按钮
browser.find_element_by_id('kw').send_keys(Keys.ENTER)

selenium - 鼠标操作

from selenium import webdriver
# 导入鼠标事件类
from selenium.webdriver import ActionChains

driver = webdriver.Chrome()
driver.get('http://www.baidu.com/')

#移动到 设置，perform()是真正执行操作，必须有
element = driver.find_element_by_xpath('//*[@id="u1"]/a[8]')
ActionChains(driver).move_to_element(element).perform()

#单击，弹出的Ajax元素，根据链接节点的文本内容查找
driver.find_element_by_link_text('高级搜索').click()

selenium - 切换页面

• 适用网站

页面中点开链接出现新的页面，但是浏览器对象browser还是之前页面的对象

• 应对方案

# 获取当前所有句柄（窗口）
all_handles = browser.window_handles
# 切换browser到新的窗口，获取新窗口的对象
browser.switch_to.window(all_handles[1])

页面打开顺序:1 2 3 4 5
下标打开顺序:0 4 3 2 1
下表为1为打开的最新页面,下表为0为打开的原始页面

民政部网站案例

• 目标

将民政区划代码爬取到数据库中，按照层级关系（分表 -- 省表、市表、县表）

• 数据库中建表

# 建库
create database govdb charset utf8;
use govdb;
create table province(
p_name varchar(20),
p_code varchar(20)
)charset=utf8;
create table city(
c_name varchar(20),
c_code varchar(20),
c_father_code varchar(20)
)charset=utf8;
create table county(
x_name varchar(20),
x_code varchar(20),
x_father_code varchar(20)
)charset=utf8;

• 思路

1、selenium+Chrome打开一级页面，并提取二级页面最新链接
2、增量爬取: 和数据库version表中进行比对，确定之前是否爬过（是否有更新）
3、如果没有更新，直接提示用户，无须继续爬取
4、如果有更新，则删除之前表中数据，重新爬取并插入数据库表
5、最终完成后: 断开数据库连接，关闭浏览器

• 代码实现

import pymysql
from selenium import webdriver


class MinZheng:
    def __init__(self):
        self.url = 'http://www.mca.gov.cn/article/sj/xzqh/2019/'

        # 设置无界面模式
        self.options = webdriver.ChromeOptions()
        self.options.add_argument("--headless")
        self.browser = webdriver.Chrome(options=self.options)
        self.db = pymysql.connect(
            "127.0.0.1", "root", "123456",
            "govdb", charset="utf8"
        )
        self.cursor = self.db.cursor()

        # 用于executemany[(),(),()]
        self.province = []
        self.city = []
        self.county = []

    # 提取数据

    def get_data(self):
        self.browser.get(self.url)
        node = self.browser.find_element_by_partial_link_text('县以上行政区划代码')
        # 判断此链接之前是否抓取过
        link = node.get_attribute("href")  # 提取该属性的值
        sel = "select url from version where url=%s"
        result = self.cursor.execute(sel, [link])
        if not result:
            # 1.抓取
            self.get_code(node)
            # 2.将此链接存入数据库version
            ins = "insert into version values(%s)"
            self.cursor.execute(ins, [link])
            self.db.commit()
        else:
            print("链接未更新!")

    # 抓取数据
    def get_code(self, node):
        node.click()
        # 切换句柄
        all = self.browser.window_handles
        self.browser.switch_to_window(all[1])
        # 提取数据  //tr[@height="19"]
        tr_list = self.browser.find_elements_by_xpath('//tr[@height="19"]')
        for tr in tr_list:
            name = tr.text.split()[1]
            code = tr.text.split()[0]
            print(name, code)
            # 上海市  上海市    浦东新区
            if code[-4:] == "0000":
                self.province.append((name, code))
                # 把4个直辖市弄进city表
                if code[:2] in ["11", "12", "31", "50"]:
                    self.city.append((name, code, code))
            elif code[-2:] == "00":
                pcode = code[:2] + "0000"
                self.city.append((name, code, pcode))
                # 记录最近一次的市的编号
                last_city = code
            else:
                if code[:2] in ["11", "12", "31", "50"]:
                    ccode = code[:2] + "0000"
                else:
                    # ccode = code[:4] + "00"
                    ccode=last_city
                self.county.append((name, code, ccode))

        # 存入数据库
        self.insert_mysql()

    def insert_mysql(self):
        # 1.先清除原有数据
        del1 = "delete from province"
        del2 = "delete from city"
        del3 = "delete from county"
        self.cursor.execute(del1)
        self.cursor.execute(del2)
        self.cursor.execute(del3)
        self.db.commit()
        # 2.插入新的数据
        ins1 = "insert into province values(%s,%s)"
        ins2 = "insert into city values(%s,%s,%s)"
        ins3 = "insert into county values(%s,%s,%s)"
        self.cursor.executemany(ins1, self.province)
        self.cursor.executemany(ins2, self.city)
        self.cursor.executemany(ins3, self.county)
        self.db.commit()

    def run(self):
        self.get_data()


if __name__ == '__main__':
    m = MinZheng()
    m.run()

SQL命令练习

 1. 查询所有省市县信息（多表查询实现）
 select province.p_name,city.c_name,county.x_name from province,city,county where province.p_code=city.c_father_code and city.c_code=county.x_father_code; 
 2. 查询所有省市县信息（连接查询实现）
select province.p_name,city.c_name,county.c_name from province inner join city on province.p_code=city.c_father_code inner join county on city.c_code=county.x_father_code

selenium - iframe子框架

• 特点

网页中嵌套了网页，先切换到iframe子框架，然后再执行其他操作

• 方法

browser.switch_to.frame(iframe_element)

• 示例 - 登录qq邮箱

from selenium import webdriver
import time

driver = webdriver.Chrome()
driver.get('https://mail.qq.com/')

# 切换到iframe子框架
login_frame = driver.find_element_by_id('login_frame')
driver.switch_to.frame(login_frame)

# 用户名+密码+登录
driver.find_element_by_id('u').send_keys('qq账号')
driver.find_element_by_id('p').send_keys('qq密码')
driver.find_element_by_id('login_button').click()

百度翻译破解案例

• 目标

破解百度翻译接口，抓取翻译结果数据

• 实现步骤

1、F12抓包,找到json的地址,观察查询参数

1、POST地址: https://fanyi.baidu.com/v2transapi
2、Form表单数据（多次抓取在变的字段）
   from: zh
   to: en
   sign: 54706.276099  #这个是如何生成的？
   token: a927248ae7146c842bb4a94457ca35ee # 基本固定,但也想办法获取

2、抓取相关JS文件

右上角 - 搜索 - sign: - 找到具体JS文件(index_c8a141d.js) - 格式化输出

3、在JS中寻找sign的生成代码

1、在格式化输出的JS代码中搜索: sign: 找到如下JS代码：sign: m(a),
2、通过设置断点，找到m(a)函数的位置，即生成sign的具体函数
   # 1. a 为要翻译的单词
   # 2. 鼠标移动到 m(a) 位置处，点击可进入具体m(a)函数代码块

4、生成sign的m(a)函数具体代码如下(在一个大的define中)

function a(r) {
        if (Array.isArray(r)) {
            for (var o = 0, t = Array(r.length); o < r.length; o++)
                t[o] = r[o];
            return t
        }
        return Array.from(r)
    }
function n(r, o) {
    for (var t = 0; t < o.length - 2; t += 3) {
        var a = o.charAt(t + 2);
        a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
            a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
            r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
    }
    return r
}
function e(r) {
    var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === o) {
        var t = r.length;
        t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
    } else {
        for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
            "" !== e[C] && f.push.apply(f, a(e[C].split(""))),
                C !== h - 1 && f.push(o[C]);
        var g = f.length;
        g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
    }
//    var u = void 0
//    , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
//    u = null !== i ? i : (i = window[l] || "") || "";
//  断点调试,然后从网页源码中找到 window.gtk的值    
    var u = '320305.131321201'
    
    for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
        var A = r.charCodeAt(v);
        128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
            S[c++] = A >> 18 | 240,
            S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
                                                                    S[c++] = A >> 6 & 63 | 128),
                                S[c++] = 63 & A | 128)
    }
    for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
        p += S[b],
            p = n(p, F);
    return p = n(p, D),
        p ^= s,
        0 > p && (p = (2147483647 & p) + 2147483648),
        p %= 1e6,
        p.toString() + "." + (p ^ m)
}

5、直接将代码写入本地js文件,利用pyexecjs模块执行js代码进行调试

# 安装pyexecjs模块
sudo pip3 install pyexecjs

# 使用
import execjs

with open('translate.js','r') as f:
    js_data = f.read()
    
# 创建对象
exec_object = execjs.compile(js_data)
sign = exec_object.eval('e("hello")')
print(sign)

获取token

# 在js中
token: window.common.token
# 在响应中想办法获取此值
token_url = 'https://fanyi.baidu.com/?aldtype=16047'
#正则:
regex:  "token: '(.*?)'"
    	"gtk":window\.gtk = '(.*?)'

具体代码实现

import requests,execjs,re

class BaiDuTranslate:
    def __init__(self):
        self.post_url='https://fanyi.baidu.com/v2transapi?from=zh&to=en'
        self.get_url='https://fanyi.baidu.com/'
        self.headers={
            # "accept": "*/*",
            # "accept-encoding": "gzip, deflate, br",
            # "accept-language": "zh-CN,zh;q=0.9,en;q=0.8",
            # "content-length": "143",
            # "content-type": "application/x-www-form-urlencoded; charset=UTF-8",
            "cookie": "BAIDUID=8F8E496A0627BCB65155484DA9B08BF6:FG=1; BIDUPSID=8F8E496A0627BCB65155484DA9B08BF6; PSTM=1568717324; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; BDSFRCVID=P8POJeC629IatZOwmDesb7qSbm20KcrTH6aIwNdayAZxzkHb8Do8EG0Pef8g0Ku-8Uu8ogKKBeOTHn0F_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=fRPD_Dt5f-5_jJ7kqtbSMttfqx6betJyaR33WlTvWJ5TMC_wytQMWx4WhH5Oh4Df-G7aWC_MWbOKShPC-frbX40_2tQzhnTWWIuOKnAy3l02Vb5Ie-t2ynQDebotqPRMW23G0l7mWnu2sxA45J7cM4IseboJLfT-0bc4KKJxbnLWeIJEjjCBj5oBDats-460aK_L3bRVKbk_jR-k-PnVep81qtnZKxtqtJ5A34buB-3VhlOq-6Ja0PDDDG3i5bjnWncKa43k5njBEfc924R1-6kvhN7405OT5CFO0KJcb6CWStK9hPJvyUD8XnO72jOlXbrtXp7_2J0WStbKy4oTjxL1Db3JKjvMtgDtVDI2tCL2MIvGh4rohCuShMr2aK6B5Po2WbCQ5P5O8pcNLTDKefF_5b69--uHMeca_-jRKJCKhhvnKlO1j4_P5PTb5RcCyjbEBhntfpbobh5jDh3qb6ksD-Rte6vPbRby0hvc0J5cShnkDMjrDRLbXU6BK5vPbNcZ0l8K3l02V-bIe-t2XjQheH8Dtj8ff5TXBR78HROSjJOcq46fq4tehHRTqpO9WDTm_D_XWRjMol76hfOqKPjWKJba26DjWK7H-pPKKlTb8Rbp2fQA2bIfyMKO0P4O3mkjbn5Dfn02OPKzehohe-4syPRGKxRnWI_jKfA-b4ncjRcTehoM3xI8LNj405OTbIFO0KJzJCcjqR8Zj5_BjTbP; H_PS_PSSID=; BDRCVFR[VXHUG3ZuJnT]=mk3SLVN4HKm; delPer=0; PSINO=1; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; locale=zh; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1571381239,1571381490,1571385429,1571385697; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1571385708; __yjsv5_shitong=1.0_7_dc282fb0b220fe9f8aea1524913c1b55034e_300_1571385707958_123.160.225.97_1b1fb0b7; yjs_js_security_passport=06cc30877a1ec54e66d39dd126f9c2ddb24c2c7f_1571385711_js; to_lang_often=%5B%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%2C%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%5D; from_lang_often=%5B%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%5D",
            # "origin": "https://fanyi.baidu.com",
            # "referer": "https://fanyi.baidu.com/",
            "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36",
            "x-requested-with": "XMLHttpRequest",
        }

    #获取gtk和token
    def get_gtk_token(self):
        html=requests.get(url=self.get_url,headers=self.headers).text
        # print(html)
        # print(88888)
        #正则匹配gtk和token
        token=re.compile("token: '(.*?)'",re.S).findall(html)
        gtk=re.compile("window\.gtk = '(.*?)'",re.S).findall(html)
        print(gtk)
        return gtk,token


    #获取sign
    def get_sign(self,word,gtk):
        with open("translation_js.js","r") as f:
            data=f.read()
        #执行js
        jsobj=execjs.compile(data)
        sign=jsobj.eval('e("{}","{}")'.format(word,gtk))
        return sign

    def run(self):
        word=input("输入要翻译的单词:")
        gtk,token=self.get_gtk_token()
        sign=self.get_sign(word,gtk)
        formdata={
            "from": "auto",
            "to": "auto",
            "query": word,
            "transtype": "enter",
            "simple_means_flag": "3",
            "sign": sign,
            "token": token,
        }
        #携带表单数据发送请求
        html=requests.post(
            url=self.post_url,
            data=formdata,
            headers=self.headers
        ).json()
        print(html)
        result=html['trans_result']['data'][0]['dst']
        print(result)


if __name__ == '__main__':
    b=BaiDuTranslate()
    b.run()

scrapy框

• 定义

异步处理框架,可配置和可扩展程度非常高,Python中使用最广泛的爬虫框架

• 安装

# Ubuntu安装
1、安装依赖包
	1、sudo apt-get install libffi-dev
	2、sudo apt-get install libssl-dev
	3、sudo apt-get install libxml2-dev
	4、sudo apt-get install python3-dev
	5、sudo apt-get install libxslt1-dev
	6、sudo apt-get install zlib1g-dev
	7、sudo pip3 install -I -U service_identity
2、安装scrapy框架
	1、sudo pip3 install Scrapy

# Windows安装
cmd命令行(管理员): python -m pip install Scrapy
# Error: Microsoft Visual C++ 14.0 is required xxx

• Scrapy框架五大组件

1、引擎(Engine)      ：整个框架核心
2、调度器(Scheduler) ：维护请求队列
3、下载器(Downloader)：获取响应对象(基于多线程)
4、爬虫文件(Spider)  ：数据解析提取
5、项目管道(Pipeline)：数据入库处理
***********************************************************
# 下载器中间件(Downloader Middlewares) : 引擎->下载器,包装请求(随机代理等)(token等在此写入)
# 蜘蛛中间件(Spider Middlewares) : 引擎->爬虫文件,可修改响应对象属性(修改响应码等)

• scrapy爬虫工作流程

# 爬虫项目启动
1、由引擎向爬虫程序索要第一个要爬取的URL,交给调度器去入队列
2、调度器处理请求后出队列,通过下载器中间件交给下载器去下载
3、下载器得到响应对象后,通过蜘蛛中间件交给爬虫程序
4、爬虫程序进行数据提取：
   1、数据交给管道文件去入库处理
   2、对于需要继续跟进的URL,再次交给调度器入队列，依次循环

常用爬虫命令:
    1.创建项目:
        scrapy startproject 项目名  #首字母大写
    2.创建爬虫文件
    	cd 项目名
        scrapy genspider 爬虫文件名 域名
    3.运行爬虫
    	scrapy crawl 

执行流程图示:

今日任务

1、熟练使用 execjs 模块
2、熟记scrapy框架的组件及工作流程 - 要求能口头描述清楚