一个全世界最大成人网站的爬虫

声明:本项目旨在学习Scrapy爬虫框架MongoDB数据库,不可使用于商业和个人其他意图。若使用不当,均由个人承担。


一个全世界最大成人网站的爬虫_第1张图片

首先科普下PornHub是个啥东东?

PornHub是全球最大的成人网站,这个网站是07年搞起来的。在10年的时候被一个神秘组织 - MindGeek 收购。该组织据说收购了多个色情网站,可谓是全球最大的色情联盟。具体坐标未知。

并且PornHub是据我所知,成人网站中第一个上 Https 协议的,而且是全链路 Https 。还有一个牛逼的数据:Pornhub的日访客数量达到了7500万以上。根据Alexa的网站排名,Pornhub在所有网站中排在第38位,紧随eBay之后。 

同时PornHub也是一个极其创新的网站,从之前的联系多名歌手打造具有PornHub特色的音乐平台到前短时间的“熊猫事件”,各种天马行空的创新也是不少公司应该学习的地方。

以上的数据也就足以证明PornHub是全球最大的、安全的成人网站。


PornHubBot

PornHubBot是基于Scrapy框架爬取PornHub.com数据的项目,并将数据存储在MongoDB。

  • 项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接

  • 项目爬的是PornHub.com,结构简单,速度飞快

  • 爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。

  • 10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]

具体的源代码,点击《阅读全文》

环境、架构

开发语言: Python2.7

开发环境: MacOS系统、4G内存

数据库: MongoDB

1、主要使用 scrapy 爬虫框架

2、从Cookie池和UA池中随机抽取一个加入到Spider

3、start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。

4、支持分页爬取数据,并加入到待爬队列。


使用说明

启动前配置

  • 安装MongoDB,并启动,不需要配置

  • 安装Scrapy

  • 安装Python的依赖模块:pymongo、json、requests

  • 根据自己需要修改 Scrapy 中关于间隔时间、启动Requests线程数等的配置

启动

  • python PornHub/quickstart.py


运行截图

一个全世界最大成人网站的爬虫_第2张图片

一个全世界最大成人网站的爬虫_第3张图片


数据库说明

数据库中保存数据的表是 PhRes。

以下是字段说明:

video_title:视频的标题,并作为唯一标识.    

link_url:视频调转到PornHub的链接

image_url:视频的封面链接

video_duration:视频的时长,以 s 为单位

quality_480p: 视频480p的 mp4 下载地址


到这里就下载了部分信息,至于后续可以做什么呢,当然是做分析了。


总结

如“声明”,本项目旨在介绍Scrapy爬虫框架和MongoDB数据库,项目简单、易懂。

切勿使用在商业、个人其他意图中。若使用不当,均由个人承担责任。

GitHub 库地址:https://github.com/xiyouMc/WebHubBot

你可能感兴趣的:(一个全世界最大成人网站的爬虫)