python爬虫刷博客访问量教程一:直接请求

前言

爬虫还有一个很好玩的地方就是可以刷访问量/浏览量。对于不同的网站有不同的统计访问量的方法。有的会限制同一个IP的统计,有的是条件触发的统计(如视频播放网站,点击播放算一次)。这个系列教程会结合web技术尝试解决这些问题,实现稳定刷访问量。

分析原理

一些小型网站会把统计代码写进php里面,每次访问都会执行一遍增加访问量。那就可以直接用爬虫抓取相关的页面,让它执行一遍统计代码。

测试环境

爬虫环境

Windows 10

python 3.6.2

服务器测试环境

自己动手写了个模拟的网站环境,每次访问该页面,浏览次数就会+1 .

/**

* Created by PhpStorm.

* User: http://pingxonline.com

* Date: 2018/2/19 0019

* Time: 18:44

*/

include_once 'connect.php';

$db = new connectDataBase();

// 初始化

$visit = 0;

$time = null;

// 获取当前的时间

$mtime = date("Y-m-d h:i:s");

// 对ID为1 的文章进行访问量+1

$sql = "UPDATE `original` SET `visit`=`visit`+1, `mtime` = '{$mtime}' WHERE `article_id` = 1";

if (mysqli_query($db->link, $sql)){

    // 获取ID为1 的文章最新数据,输出到前端

    $sql = 'SELECT * FROM `original` WHERE `article_id` = 1';

    $result = mysqli_query($db->link, $sql);

    while($row = mysqli_fetch_assoc($result)){

        $visit = $row['visit'];

        $time = $row['mtime'];

    }

}else{

    echo mysqli_error($db->link);

    die('执行失败');

}

?>

   

   

          content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">

   

    访问量测试

   

        访问量:

   

   

        最后访问时间:

   


python 代码

首先需要安装python的一个Requests扩展插件。

Requests 是用 Python 语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。

通过 pip 安装

pip install requests

或者,下载代码后安装:

$ git clone git://github.com/kennethreitz/requests.git

$ cd requests

$ python setup.py install

源代码

import requests

import time

#  目标url地址

url = 'http://localhost/TrafficGenerator/original.php'

while 1:

    response = requests.get(url)

    response.close()

    print(response.text)

    # 间隔1秒

    time.sleep(1)


这就是比较简单的方法。但是实际的应用可能并不会这么简单。很多网站往往会过滤想通IP的访问,这个时候就需要IP代理。


使用代理

requests对代理的设置方法非常的简单。深入学习可以参考这里:https://www.cnblogs.com/zhaof/p/6915127.html

注意:本篇文章是在本地测试,本地测试使用的是本地地址,使用代理是无效的。

import requests

import time

import random

# 随机获取浏览器标识

def get_UA():

    UA_list = [

        "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",

        "Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",

        "Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",

        "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",

        "Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",

        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"

    ]

    randnum = random.randint(0, len(UA_list)-1)

    h_list = {

        'user-agent': UA_list[randnum]

    }

    return h_list

# 获取代理IP

def get_ip():

    # 这里填写大象代理api地址,num参数必须为1,每次只请求一个IP地址

    url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2'

    response = requests.get(url)

    response.close()

    proxy = {

        "http":"http://"+response.text

    }

    print(proxy['http'])

    return proxy

if __name__ == '__main__':

    #  目标url地址

    url = 'http://localhost/TrafficGenerator/original.php'

    while 1:

        try:

            # 开启一个会话

            s = requests.session()

            # 调用函数获取浏览器标识

            headers = get_UA()

            # 调用函数获取IP代理地址

            proxy = get_ip()

            # 开始请求, 注意本地测试使用的是本地地址,使用代理是无效的

            web_data = s.get(url, headers=headers, proxies=proxy)

            # 输出网页内容

            print(web_data.content)

            # 间隔1秒

            time.sleep(1)

        finally:

            print('error')



系列教程:

python爬虫刷博客访问量教程三:使用Selenium让Chrome浏览器自动化

python爬虫刷博客访问量教程二:欺骗第三方统计服务

你可能感兴趣的:(python爬虫刷博客访问量教程一:直接请求)