爬虫学习资料

爬虫学习过程中收集的资料
理性使用技术，远离非法业务。

Crawler

无头浏览器异闻录 | 岚光

Burp Suite

Python网页信息采集：使用PhantomJS采集淘宝天猫商品内容 - 华天清 - 博客园

Selenium WebDriver 处理cookie - to be crazy - 博客园

Selenium WebDriver Tutorial WebElement commands

py爬虫 - 专题 - 简书

SeimiCrawler首页、文档和下载 - Java爬虫框架 - 开源中国社区

初窥Scrapy — Scrapy 0.24.1 文档

找高手破解用Encrypt HTML Pro加密的JS文件。急！

WebKit on Windows | WebKit

使用httpclient模拟登录京东帐户并抓取帐户信息 - lonter的爬虫博客 - 博客频道 - CSDN.NET

Detecting PhantomJS Based Visitors

Amazon.com: webkit - Amazon Device Accessories: Kindle Store

全网代理IP_免费代理IP_代理服务器IP_代理IP测试_API接口_高匿代理IP

/packer/

接口测试-browsermob-proxy - D.Q的专栏 - 博客频道 - CSDN.NET

GitHub - lightbody/browsermob-proxy: A free utility to help web developers watch and manipulate network traffic from their AJAX applications.

SeimiCrawler一个敏捷强大的Java爬虫框架 — SeimiCrawler 1.1.0 文档

Sikuli Script - Home

Scrapy入门教程 — Scrapy 0.24.1 文档

Scrapyd — Scrapy 1.0.5 documentation

Python爬虫入门（1）：综述 - Python - 伯乐在线

Python 爬虫的工具列表 附Github代码下载链接 | 36大数据

scrapy与scrapyd安装_Java123社区

JRex Releases

爬虫 js,flash,ajax网页（JREX） - - ITeye技术网站

loadrunuer破解验证码 - - 博客频道 - CSDN.NET

介绍 JDesktop Integration Components

用python分布式地爬虫豆瓣/Twitter - - 博客频道 - CSDN.NET

PhantomJS | PhantomJS

支付宝钱宝、QQ等Android应用手势密码可被SwipeBack滑动取消_安全_cnBeta.COM

Appium小试 - oscarxie - 博客园

Apifier - Documentation

《知网》中文版

爬虫

Bloom Filters by Example

查询利器-bloom-filter详解 | 我自然

Bloom Filter 原理和源码讲解 - hadooper - 博客园

走进搜索引擎（第2版） - 图书 - 当当网

HTML　Parser　2.0　API　文档--JavaEE开源博客－阿Q

互联网信息自动获取与智能分析技术在新媒体..._百度文库

Java网页数据采集器[上篇-数据采集] - SilverSky(SoFlash) - 博客园

单例模式_百度百科

开源网络爬虫介绍及其比较_h4ckseven的空间_百度空间

Heritrix: Internet Archive Web Crawler - Browse /archive-crawler (heritrix 1.x)/1.14.4 at SourceForge.net

heritrix 下载、安装、配置、以及简单开发 - Tonny - ITeye技术网站

Heritrix的安装与配置 （最新版 已测试通过）_刘启元_百度空间

33款可用来抓数据的开源爬虫软件工具 | 36大数据

amir20/phantomjs-node: PhantomJS integration module for NodeJS

Java Socket 编写的 HTTP 服务器应用_逍遥乡--过儿的空间_百度空间

deduplication-detecting - 文档去重功能是为了解决搜索引擎的文档语义重复的问题，方法是多重哈希下的语义指纹算法。 - Google Project Hosting

httpclient的cookie问题-CSDN论坛-CSDN.NET-中国最大的IT技术社区

Cola：一个分布式爬虫框架 - 残阳似血的博客

HttpClient的基础应用 - Red Star of Sleep's Blog - ITeye技术网站

HttpClient模拟登陆的简单例子 - NealCai - ITeye技术网站

使用httpclient模拟登录 - 开源中国社区

如何使用HttpClient认证机制 - 浙林龙哥 - 博客园

Java 实现程序运行状态监控 之我的思路（守护进程） - 编程小记 - BlogJava

网络爬虫类HttpHelper-苏飞工作室作品专区-苏飞论坛

花瓣网_发现、采集你喜欢的一切

HttpClient的基础应用 - Red Star of Sleep's Blog - ITeye技术网站

利用httpclient 模拟登录，获取登录后信息数据 - chenzenan的专栏 - 博客频道 - CSDN.NET

Beautiful Soup: We called him Tortoise because he taught us.

服务器中shell调用java类 - arsenic的专栏 - 博客频道 - CSDN.NET

Majestic-12 : Projects : C# HTML parser (.NET)

Installation — CasperJS 1.1.0-DEV documentation

htmlunit入门 - liangtee的个人页面 - 开源中国社区

和我一起学 Selenium WebDriver（1）——入门篇 - zTree Blog - ITeye技术网站

CyberNeko HTML Parser download | SourceForge.net

在http上遇到了些问题，对于下拉框的内容该怎么设置访问参数才能模拟登陆？ - 开源中国社区

hadoop使用（三） - skyme - 博客园

HttpWebRequest通过代理如何下载没有后缀的图片-CSDN论坛-CSDN.NET-中国最大的IT技术社区

Related Projects | PhantomJS

如何让 htmlunit 执行 javascript 时，不下载整个页面，而只返回url - YiQiang Zhang's BLOG - 博客频道 - CSDN.NET

JAVA中几种读取文件字符串的效率哪个比较高？-CSDN论坛-CSDN

python之scrapy入门教程 - 南宁-小六子 - 博客园

专栏：Python爬虫入门教程 - 博客频道 - CSDN.NET

Training Kit (Exam 70-462) Administering Microsoft SQL Server 2012 Databases - Free Download eBook - pdf

Source Checkout - deduplication-detecting - 文档去重功能是为了解决搜索引擎的文档语义重复的问题，方法是多重哈希下的语义指纹算法。 - Google Project Hosting

如何利用socket进行HTTP访问 - wbczyh的专栏 - 博客频道 - CSDN

Consulting | ScraperWiki

相似文档查找算法之 simHash 简介及其 java 实现 - leejun_2005的个人页面 - 开源中国社区

模拟ajax实现网络爬虫——HtmlUnit - MiniBu - 开源中国社区

83款网络爬虫开源软件 - 好工具站长分享平台

WebMagic

海量数据相似度计算之simhash短文本查找 - Lanceyan - 博客频道 - CSDN.NET

Elasticsearch.org Overview | Elasticsearch

83款 网络爬虫开源软件 - cy163 - 博客园

Java网络爬虫多线程实现_非标准IT女_新浪博客

多正则表达式匹配的应用 | 奇简软件（北京）有限公司

HTTP协议详解（真的很经典） - Hundre - 博客园

如何设计一个定向Web爬虫？ - 知乎

Heritrix1.14源码分析（12） Heritrix的控制中心(大脑)CrawlController - 梁江江 - 博客频道 - CSDN.NET

htmlcleaner使用及xpath语法初探 - reesun的专栏 - 博客频道 - CSDN.NET

Majestic-12 : Projects : C# HTML parser (.NET)

01_爬虫_crawler - 随笔分类 - cphmvp - 博客园

net爬虫

WebBrowser控件使用详解 - 柠檬隐士 - 博客园

WebBrowser控件使用技巧分享 - 斯克迪亚 - 博客园

C# WinForm WebBrowser 资料_百度文库

WebBrowser页面与WinForm交互技巧 - wonsoft的专栏 - 博客频道 - CSDN.NET

c# WebBrowser获取cookie - 宁静.致远 - 博客园

Socket

TCP-IP、Http、Socket的区别_百度经验

网页解析

HTMLParser使用 - loveyakamoz - 博客园

使用HTMLParser提取新闻的例子 - 开源中国社区

The NTLM Authentication Protocol and Security Support Provider

spray | Introduction » What is spray?

附件：