苏克1900
苏克1900

50 种最棒的开源爬虫框架/项目

作者：Prowebscraper 博客

摘要： 说起爬虫框架，你可能会马上脱口而出：「 Scrapy 或者 Pyspider」，甚至你可能认为只有 Python 才能爬虫。其实还有很多好用的开源爬虫框架，也绝不仅仅只有 Python 才能写爬虫，大多数热门语言都可以做。

总之，开源Web爬虫纷繁多样，下面按照所用程语言，罗列五十种最好的开源爬虫框架，每一个各具特长，适用于不同场景和用户需求。下面来一睹为快。

点击查看大图

Python编写的开源Web爬虫

1. Scrapy

  • 实现语言：Python
  • GitHub Star 数：28660
  • 官方支持链接
img

简介：

  • Scrapy是一种高速的高层Web爬取和Web采集框架，可用于爬取网站页面，并从页面中抽取结构化数据。
  • Scrapy的用途广泛，适用于从数据挖掘、监控到自动化测试。
  • Scrapy设计上考虑了从网站抽取特定的信息，它支持使用CSS选择器和XPath表达式，使开发人员可以聚焦于实现数据抽取。
  • 对于熟悉Python的开发人员，只需几分钟就能建立并运行Scrapy。
  • 支持运行在Linux、Mac OS和Windows系统上。

特性：

  • 内置支持从HTML和XML抽取数据、使用扩展的CSS选择器（Selector）和XPath表达式等特性。
  • 支持以多种格式（JSON、CSV、XML）生成输出。
  • 基于Twisted构建。
  • 稳健的支持，自动检测编码方式。
  • 快速，功能强大。

– 官方文档：https://docs.scrapy.org/en/latest/

– 官方网站：https://scrapy.org/

2. Cola

  • 实现语言：Python
  • GitHub Star 数：1274
  • 官方支持链接

简介：

  • Cola是一种高层分布式爬取框架，实现从网站爬取网页，并从中抽取结构化数据。
  • 它提供了一种实现目标数据获取的简单且灵活的方式。
  • 用户只需要编写其中一部分代码，就可在本地和分布式环境下运行。

特性：

  • 高层分布式爬取框架。
  • 简单且高速。
  • 灵活。

– 官方文档：https://github.com/chineking/cola

– 官方网站：https://pypi.org/project/Cola/

3. Crawley

  • 实现语言 Python
  • GitHub Star 数： 144
  • 官方支持链接

简介：

  • Crawley是一种Python爬取和采集框架，意在简化开发人员从Web网页抽取数据到数据库等结构化存储中。

特性：

  • 基于Eventlet构建的高速Web爬虫。
  • 支持MySQL、PostgreSQL、Oracle、Sqlite等关系数据库引擎。
  • 支持MongoDB、CouchDB等NoSQL数据库（最新特性！）。
  • 支持导出数据为JSON、XML和CSV格式（最新特性！）。
  • 命令行工具。
  • 支持开发人员使用自己喜好的工具，例如XPath或Pyquery（一种类似于JQuery的Python软件库）等。
  • 支持Cookie处理器（Handler）。

– 官方文档：https://pythonhosted.org/crawley/

– 官方网站：http://project.crawley-cloud.com/

4. MechanicalSoup

  • 实现语言： Python
  • GitHub Star 数： 2803
  • 官方支持链接

简介：

  • MechanicalSoup是一种设计模拟人类使用Web浏览器行为的Python软件库，它基于解析软件库BeautifulSoup构建。
  • 如果开发人员需要从单个站点采集数据，或是不需要大量数据采集，那么使用MechanicalSoup是一种简单高效的方法。
  • MechanicalSoup自动存储和发送Cookie、跟踪重定向、支持链接跟随和提交表单。

特性：

  • 轻量级。
  • 支持Cookie处理器。

– 官方文档： https://mechanicalsoup.readthedocs.io/en/stable/

– 官方网站：https://mechanicalsoup.readthedocs.io/

5. PySpider

  • 实现语言： Python
  • GitHub Star 数： 11803
  • 官方支持链接

简介：

  • PySpider是一种Python编写的强大Web爬虫。
  • 它支持JavaScript网页，并具有分布式架构。
  • PySpider支持将爬取数据存储在用户选定的后台数据库，包括MySQL, MongoDB, Redis, SQLite, Elasticsearch等。
  • 支持开发人员使用RabbitMQ、Beanstalk和Redis等作为消息队列。

特性：

  • 提供强大Web界面，具有脚本编辑器、任务监控、项目管理器和结果查看器。
  • 支持对重度Ajax网站的爬取。
  • 易于实现适用、快速的爬取。

– 官方文档： http://docs.pyspider.org/

– 官方网站：https://github.com/binux/pyspider

6. Portia

  • 实现语言： Python
  • GitHub Star 数： 6250
  • 官方支持链接
img

简介：

  • Portia是由Scrapinghub创建的一种可视化爬取工具，它不需要用户具有任何程序开发知识。
  • 如果用户并非开发人员，最好直接使用Portia实现Web爬取需求。
  • 用户无需任何安装就可免费试用Portia，只需要在Scrapinghub注册一个账户，就可使用托管版本。
  • 即便用户没有编程技能，在Portia中创建爬虫并抽取Web内容也是非常易于实现的。
  • 用户无需安装任何程序，因为Portia是运行在Web页面上的。
  • 用户可以使用Portia的基本点击工具标注需要爬取的数据，然后Portia就会根据这些标注理解如何爬取类似页面中的数据。
  • 一旦检测到需要爬取的页面，Portia会形成一个用户已创建结构的实例。

特性：

  • 通过记录并回放用户在页面上的操作，实现点击、拖动和等待等动作。
  • Portia可以很好地爬取基于Ajax构建的网站（基于Splash），也适用于爬取Backbone、Angular和Ember等重度JavsScript框架。

– 官方文档：https://portia.readthedocs.io/en/latest/index.html

– 官方网站： https://github.com/scrapinghub/portia

7. Beautifulsoup

  • 实现语言： Python
  • 官方支持链接
img

简介：

  • Beautiful Soup一种设计用于实现Web爬取等快速数据获取项目的Python软件库。
  • 它在设计上处于HTML或XML解析器之上，提供用于迭代、搜索和修改解析树等功能的Python操作原语。往往能为开发人员节省数小时乃至数天的工作。

特性：

  • Beautiful Soup自动将输入文档转换为Unicode编码，并将输出文档转换为UTF-8编码。
  • Beautiful Soup处于一些广为采用的Python解析器（例如，lxml和html5lib）之上，支持用户尝试使用多种不同的解析策略，并在速度和灵活性上做出权衡。

– 官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

– 官方网站： https://www.crummy.com/software/BeautifulSoup/

8. Spidy爬虫

  • 实现语言： Python
  • GitHub Star 数： 152
  • 官方支持链接
img

简介：

  • Spidy是一种从命令行运行的Web爬虫。易于使用。用户只需提供Web网页的URL链接，Spidy就可以开始爬取！Spidy无疑是一种整体爬取Web的简单有效的方式。
  • Spidy使用Python请求查询Web页面，并使用lxml抽取页面中的所有链接。非常简单！

特性：

  • 错误处理。
  • 跨平台兼容性。
  • 频繁时间戳日志。
  • 可移植性。
  • 用户友好的日志。
  • 保存Web页面。
  • 支持文件压缩。

– 官方文档：https://github.com/rivermont/spidy

– 官方网站： http://project.crawley-cloud.com/

9. Garb

  • 实现语言： Python
  • GitHub Star 数： 1627
  • 官方支持链接

简介：

  • Grab是一种用于构建爬虫的Python框架。
  • 使用Grab可构建出各种复杂度的Web爬虫，从只有五行代码的脚本，到可处理百万量级Web页面的复杂异步爬虫。
  • Grab提供了执行网络请求、处理接收内容的API。例如，实现与HTML文档的DOM树进行交互。

特性：

  • 支持HTTP和SOCKS代理，可使用也可不使用认证。
  • 自动字符集检测。
  • 强大的API，支持使用XPath查询从HTML文档的DOM树中抽取数据。
  • 自动Cookie（或会话）支持。

– 官方文档：https://grablib.org/en/latest/

– 官方网站： https://github.com/lorien/grab

Java编写的开源Web爬虫

10. Apache Nutch

  • 实现语言： Java
  • GitHub Star 数： 1743
  • 官方支持链接
img

简介：

  • Apache Nutch是一种高度可扩展、可伸缩的开源Web爬虫软件项目。
  • 如果要列出最好的开源Web爬虫列表，Apache Nutch无疑金榜题名。
  • 作为一种用于数据挖掘的高度可扩展、可伸缩的开源代码Web数据抽取软件项目，Apache Nutch得到了广泛的使用。
  • Nutch支持单机运行，但是在Hadoop集群上运行可最大化地发挥其强大能力。
  • 全球范围内很多数据分析人员和科研人员、应用开发人员和Web文本挖掘工程师都在使用Apache Nutch。
  • Apache Nutch是一种Java编写的跨平台解决方案。

特性：

  • 默认情况下，爬取数据和分析数据是独立的过程。
  • 广泛支持多种文档格式，包括纯文本、HTML/XHTML+XML、XML、PDF、ZIP等。
  • 使用XPath和命名空间实现映射。
  • 通过Hadoop支持分布式文件系统。
  • 链接图形式的数据库。
  • 支持NTLM认证。

– 官方文档： https://wiki.apache.org/nutch/

– 官方网站： http://nutch.apache.org/

11. Heritrix

  • 实现语言： Java
  • GitHub Star 数： 1236
  • 官方支持链接

简介：

  • 在使用Java编写的免费开源Web爬虫中，Heritrix是其中一种得到广泛使用的工具。事实上，它是一种可扩展、Web规模、存档质量（archival-quality）的Web爬取项目。
  • Heritrix是一种扩展能力和性能很好的解决方案，支持用户即刻爬取并归档一组网站。此外，它在设计上考虑了robots.txt禁止规则和META机器人标签。
  • Heritrix可运行在Linux/Unix和Windows系统上。

特性：

  • HTTP认证。
  • NTLM认证。
  • 链接抽取中的XSL转换。
  • 独立于搜索引擎。
  • 是一种成熟并稳定的平台。
  • 高度可配置。
  • 支持在任一机器上运行。

– 官方文档： https://github.com/internetarchive/heritrix3/wiki/Heritrix%203.0%20and%203.1%20User%20Guide

– 官方网站： https://github.com/internetarchive/heritrix3b

12. ACHE爬虫

  • 实现语言： Java
  • GitHub Star 数： 154
  • 官方支持链接
img

简介：

  • ACHE是一种专用于特定用途的Web爬虫。
  • ACHE爬取满足特定标准的Web页面。例如，属于特定领域并包含用户指定模式的页面。
  • 不同于通用爬虫，ACHE使用页面分类器遴选特定领域中的相关和无关页面。
  • 页面分类器可以是基本的正则表达式（例如，匹配所有包含给定单词的页面），也可以基于机器学习的分类模型。ACHE也可以自动学习如何对链接做优先处理，实现高效地定位相关内容，避免检索无关的页面内容。

特性：

  • 对固定网站列表的正常爬取。
  • 通过自动链接优先处理，发现并爬取新的相关网站。
  • 可配置不同类型的页面分类器（例如，机器学习、正则表达式等）。
  • 持续重新爬取站点，实现页面更新的发现。
  • 使用ElasticSearch对爬取页面做索引。
  • 实时搜索爬取页面的Web接口。
  • 用于监控爬虫的REST API和基于Web的用户接口。
  • 使用TOR代理爬取隐含服务。

– 官方文档： http://ache.readthedocs.io/en/latest/

– 官方网站： https://github.com/ViDA-NYU/ache

13. Crawler4j

  • 实现语言： Java
  • GitHub Star 数： 3039
  • 官方支持链接

简介：

  • crawler4j是一种Java编写的开源Web爬虫，提供了爬取Web网站的基本接口。
  • 开发人员可以使用crawler4j在数分钟内建立一个多线程Web爬虫。

– 官方文档： https://github.com/yasserg/crawler4j

– 官方网站： https://github.com/yasserg/crawler4j

14. Gecco

  • 实现语言： Java
  • GitHub Star 数： 1245
  • 官方支持链接

简介：

  • Gecco是一种使用Java开发的轻量级Web爬虫，易于使用。
  • Gecco集成了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。用户只需要配置一系列jQuery风格选择器，就能很快地建立一个爬虫。
  • Gecco框架具有优秀的扩展能力。框架基于一些开放式和封闭式设计原则，对改进封闭，对扩展开放。

特性：

  • 易于使用，使用jQuery风格选择器抽取元素。
  • 支持页面中的异步Ajax请求。
  • 支持页面JavaScript变量抽取。
  • 使用Redis实现分布式爬取（参见gecco-redis文档）。
  • 支持使用Spring开发业务逻辑（参见gecco-spring文档）。
  • 支持htmlunit扩展（参见gecco-htmlunit文档）。
  • 支持多种扩展机制。
  • 支持下载UserAgent的随机选择。
  • 支持下载代理服务器的随机选取。

– 官方文档： https://github.com/xtuhcy/gecco

– 官方网站： https://github.com/xtuhcy/gecco

15. BUbiNG

  • 实现语言： Java
  • GitHub Star 数：24
  • 官方支持链接

简介：

  • BUbiNG令人惊喜，它可称为下一代的开源Web爬虫。BUbiNG是一种Java开发的完全分布式爬虫（无需中央协调），每秒可爬取数千个网页，并支持采集大规模数据集。
  • BUbiNG的分布式是基于高速协议实现的，因此可以获得非常高的通量。
  • BUbiNG提供对海量数据的大规模爬取。它完全可配置、易于扩展，并可集成垃圾信息检测。

特性：

  • 高度并行。
  • 完全分布式。
  • 使用JAI4J。JAI4J是一种基于JGroups实现的瘦功能层，实现任务指派。
  • （当前）使用剥离网页的指纹，检测近似的重复内容。
  • 快速。
  • 大规模爬取。

– 官方文档： http://law.di.unimi.it/software/bubing-docs/index.html

– 官方网站： http://law.di.unimi.it/software.php#bubing

16. Narconex

  • 实现语言：Java
  • 官方支持链接
img

简介：

  • 对于寻求可满足企业级需求的开源Web爬虫的用户而言，Narconex是一种很好的工具。
  • Norconex支持用户爬取任何Web内容。用户可以独立运行这种全功能数据采集器，或是将其集成在自己的应用中。
  • 支持所有操作系统。可在具有一般容量的单体服务器上爬取数百万信息。此外，Narconex提供多种内容和元数据操作特性，还可以抽取页面中特定的图像。

特性：

  • 多线程。
  • 支持按各种计划任务，抽取不同时间段的数据。
  • 从HTML、Word、PDF等多种文件格式中抽取文本内容。
  • 抽取文档相关的元数据。
  • 支持抽取使用用JavaScript渲染的页面。
  • 检测语言。
  • 支持翻译。
  • 可配置爬取速度。
  • 可检测发生修改或已被删除的文档。
  • 支持使用外部命令分析或操作文档。

– 官方文档： http://www.norconex.com/collectors/collector-http/getting-started

– 官方网站： http://www.norconex.com/collectors/collector-http/

17. WebSPHINX

  • 实现语言： Java
  • 当前尚不提供官方支持。
img

简介：

  • WebSphinix是一种非常易于使用的可定制Web爬虫。它设计用于高级Web用户和Java编程人员，支持他们自动爬取小部分Web。
  • WebSphinix数据抽取解决方案也提供了一种全面的Java类库和交互式软件开发环境。WebSphinix包括两部分：爬虫基准测试（Crawler Workbench），WebSPHINX类库。
  • 爬虫基准测试提供了很好的用户图形接口，支持用户配置并控制定制的Web爬虫。
  • WebSPHINX类库为使用Java编写Web爬虫提供支持。
  • WebSphinix支持运行在Windows、Linux、Mac和Android IOS上。

特性：

  • 以图的方式可视化Web页面采集。
  • 将多个页面组合为单个文档，以供查看和打印。
  • 支持抽取所有满足设定模式的文本。
  • 支持HTML解析。
  • 支持robot.txt禁止标准。
  • 通用HTML转换。
  • 多线程Web页面检索。

– 官方文档： https://www.cs.cmu.edu/~rcm/websphinx/doc/index.html

– 官方网站： https://www.cs.cmu.edu/~rcm/websphinx/#about

18. Spiderman

  • 实现语言： Java
  • GitHub Star 数： 2400
  • 官方支持链接

简介：

  • Spiderman是一种Java开源Web数据抽取工具。它采集特定的Web页面，并从中抽取有用数据。
  • Spiderman主要使用XPath和正则表达式等技术抽取实际数据。

特性：

  • 更高的性能。
  • 持久化集合状态。
  • 分布式。
  • 支持JavaScript。
  • – 官方文档： https://gitee.com/l-weiwei/spiderman

– 官方网站： https://gitee.com/l-weiwei/spiderman

19. WebCollector :

  • 实现语言： Java
  • GitHub Star 数： 1986
  • 官方支持链接

简介：

  • WebCollector是一种基于Java的开源Web爬虫框架。
  • 它为实现Web爬取功能提供了一下基本的接口。用户可以使用它在五分钟内建立起一个多线程爬虫。

特性：

  • 快速。

– 官方文档： https://github.com/CrawlScript/WebCollector

– 官方网站： https://github.com/CrawlScript/WebCollector

20. Webmagic

  • 实现语言： Java
  • GitHub Star 数： 6891
  • 官方支持链接
img

简介：

  • WebMagic是一种可扩展的爬虫框架。
  • WebMagic涵盖了爬虫的整个生命周期，包括下载、URL管理、内容抽取和持久化。
  • 可用于简化一些特定爬虫的开发。

特性：

  • 高度灵活的简单内核。
  • 提供实现HTML抽取的简单API。
  • 使用POJO标注定制爬虫，无需配置。
  • 支持多线程和分布式。
  • 易于集成。

– 官方文档： http://webmagic.io/docs/en/

– 官方网站： https://github.com/code4craft/webmagic

21. StormCrawler

  • 实现语言： Java
  • GitHub Star 数：437
  • 官方支持链接
img

简介：

  • StormCrawler是一种基于Apache Storm构架分布式Web爬虫的开源SDK。
  • StormCrawler为开发人员构建爬虫提供了软件库和一系列资源。
  • StormCrawler完全适用于以数据流提供需获取和解析的URL的情况，也非常适用于大规模递归性爬取，尤其是需要低延迟的情况。

特性：

  • 可扩展。
  • 有弹性。
  • 低延迟。
  • 易于扩展。
  • 运行良好且高效。

– 官方文档： http://stormcrawler.net/docs/api/

– 官方网站： http://stormcrawler.net/

JavaScript编写的开源Web爬虫

22. NodeCrawler

  • 实现语言： JavaScript
  • GitHub Star 数： 3999
  • 官方支持链接
img

简介：

  • NodeCrawler是一种广为使用的Web爬虫，它基于NodeJS实现，具有非常快的爬取速度。
  • Nodecrawler非常适用于偏爱使用JavaScript编程或者致力于JavaScript项目的开发人员。其安装也非常简单。
  • JSDOM和Cheerio（用于HTML解析）实现服务器端渲染。其中，JSDOM更为稳定。

特性：

  • 使用 Cheerio（默认）或JSDOM实现服务端DOM和自动jQuery插入。
  • 可配置池子规模和重试次数。
  • 控制爬取率限制。
  • 请求的优先队列。
  • 支持forceUTF8模式，使得爬虫可以检测并转换字符集。
  • 与4.x乃至更新版本兼容。

– 官方文档：https://github.com/bda-research/node-crawler

– 官方网站：http://nodecrawler.org/

23. Simplecrawler

  • 实现语言： JavaScript
  • GitHub Star 数：1764
  • 官方支持链接

简介：

  • Simplecrawler设计提供基本的、灵活且稳定的网站爬取API。
  • Simplecrawler在实现上考虑了针对特大型Web站点的归档、分析和搜索。它可爬取上百万页面，并毫无问题地向磁盘写入数十GB数据。

特性：

  • 提供了用于自动检测链接资源的一些简单逻辑，用户可自行替换和添加。
  • 自动请求任何robots.txt禁止规则。
  • 具有灵活的队列系统，可在磁盘上冻结和解冻。

– 官方文档： https://github.com/simplecrawler/simplecrawler

– 官方网站： https://www.npmjs.com/package/simplecrawler

24. Js-crawler :

  • 实现语言： JavaScript
  • GitHub Star 数： 167
  • 官方支持链接)

简介：

  • 使用NodeJS实现的Web爬虫，支持HTTP和HTTPS

– 官方文档： https://github.com/antivanov/js-crawler

– 官方网站： https://github.com/antivanov/js-crawler

25. Webster

  • 实现语言： JavaScript
  • GitHub Star 数： 201
  • 官方支持链接

简介：

  • Webster是一种使用NodeJS编写的可靠Web爬取和采集框架，用于爬取Web站点并从页面中抽取结构化数据。
  • 与其他爬取框架的不同之处在于，Webster可以抓取浏览器客户端的JavaScript和Ajax请求呈现的内容。

– 官方文档： http://webster.zhuyingda.com/

– 官方网站： https://github.com/zhuyingda/webster

26. Node-osmosis

  • 实现语言：JavaScript
  • GitHub Star 数： 3630
  • **官方支持链接

简介：
* 一种使用NodeJS实现的HTML/XML解析器和Web爬虫。

特性：

  • 使用原生libxml的C绑定。

  • 干净的Promise类接口。

  • 支持CSS 3.0和XPath 1.0选择器的混合。

  • Sizzle选择器、Slick选择器以及更多。

  • 不具有像jQuery、cheerio或jsdom那样的大型依赖。

  • 构成深度和复杂的数据结构。

  • HTML解析器特性：

  • 快速解析；

  • 高速搜索；

  • 内存占用小。

  • HTML DOM特性：

  • 加载和搜索ajax内容；

  • DOM交互和事件；

  • 执行嵌入和远程脚本；

  • 在DOM中执行代码。

  • HTTP请求特性：

  • 日志记录URL，重定向和错误；
  • Cookie的jar包，以及自定义Cookie/头部/用户代理；
  • 登录/表单提交、会话Cookie，基本的认证；
  • 单代理、多代理，处理代理失败情况；
  • 限制重试和重定向。

– 官方文档： https://rchipka.github.io/node-osmosis/global.html

– 官方网站： https://www.npmjs.com/package/osmosis

27. Supercrawler

  • 实现语言：JavaScript
  • GitHub Star 数： 4341
  • 官方支持链接

简介：

  • Supercrawler是一种使用NodeJS实现的Web爬虫，在设计上支持高度可配置和易用性。
  • 一旦成功爬取一个网页（可以是图像、文本文档或其他任何文件），Supercrawler将会触发用户自定义的内容类型（content-type）处理器，处理页面解析、保存数据以及其它一些用户定义的功能。

特性：

  • 链接检测：Supercrawler会解析所爬取的HTML文档，识别其中链接并添加到队列中。
  • 机器人解析：在爬取前Supercrawler会请求robots.txt并检查其中的禁止规则。它也可识别站点地图。
  • 站点地图解析：Supercrawler可以从XML站点地图文件中读取链接，并将链接添加到队列中。
  • 并发限制：Supercrawler可限制在任一时间发出的请求数。
  • 速率限制：Supercrawler可添加请求的时延，以免对服务器产生轰炸。
  • 指数补偿（Exponential backoff）重试：Supercrawler将依此在一小时、两小时、四小时乃至更多时间后重试请求。要使用该特性，爬取队列必须使用数据库或Redis作为后端。
  • 主机名均衡：Supercrawler可在不同主机名间平均分割请求量。要使用该特性，爬取队列必须以Redis为后端。

– 官方文档： https://github.com/brendonboshell/supercrawler

– 官方网站： https://github.com/brendonboshell/supercrawler

28. Web scraper的Chrome扩展

  • 实现语言：JavaScript
  • GitHub Star 数： 775
  • 官方支持链接

简介：

  • Web Scraper是一种Chrome浏览器扩展，构建用于从Web页面抽取数据。
  • 用户可以使用该扩展创建计划（站点地图），定义如何遍历一个Web网站，以及如何从中抽取数据。
  • Web Scraper使用站点地图相应地遍历网站，并从中抽取数据。
  • 支持以CSV格式导出所抽取的数据。

特性：

  • 抽取多个页面。
  • 站点地图和抽取的数据存储在浏览器的本地存储，也可存储在CouchDB中。
  • 多种数据类型选取。
  • 支持从动态网页（JavaScript+AJAX）抽取数据。
  • 浏览抽取的数据。
  • 以CSV格式导出抽取的数据。
  • 导入、导出站点地图。
  • 只依赖于Chrome浏览器。

– 官方文档： https://www.webscraper.io/documentation

– 官方网站： https://www.webscraper.io

29. Headless Chrome爬虫

  • 实现语言：JavaScript
  • GitHub Star 数： 3256
  • 官方支持链接
img

简介：

  • 使用基本HTML文件请求的爬虫，通常速度很快。但这样的爬虫往往会抽取到空白内容，尤其是在爬取使用AngularJS、React和Vue.js等现代前端框架构建的网站时。

特性：

  • 分布式爬取。
  • 可配置并发、延迟和重试。
  • 支持深度优先搜索和广度优先搜索算法。
  • 支持插拔缓存存储，例如Redis。
  • 支持导出CSV和JSON。
  • 在达到最大请求时暂停爬取，并可在任一时刻恢复。
  • 自动插入用于抽取的jQuery。
  • 保存屏幕截图，用于证实爬取过程。
  • 模拟设备和用户代理。
  • 具有优先队列，可提高爬取效率。

– 官方文档： https://github.com/yujiosaka/headless-chrome-crawler/blob/master/docs/API.md

– 官方网站： https://github.com/yujiosaka/headless-chrome-crawler

30. X-ray

  • 实现语言：JavaScript
  • GitHub Star 数： 4464
  • 官方支持链接
img

特性：

  • 模式灵活：支持字符串、数组、对象以及嵌套对象结构。模式并非绑定于所抽取的页面结构，支持用户获取选定结构中的数据。
  • 可组合（Composable）：API是完全可组合的，赋予用户抽取每个页面的极大灵活性。
  • 分页支持：爬取页面在Web站点上的所有分页。X-ray还支持请求延迟和分页限制，并支持将爬取页面导入到单个文件中。这样一旦单个页面产生错误，用户不会失去所有已爬取的数据。
  • 爬虫支持：从一个页面开始，轻易跳转另一个页面。页面跳转是可预测的，按深度优先爬取所有页面。
  • 负责任的爬取：X-ray支持并发、限制、延迟、超时和限制，实现负责任地爬取任何页面。
  • 可插拔驱动：可按用户需求置换不同的爬虫。

– 官方文档： https://github.com/matthewmueller/x-ray

– 官方网站： https://www.npmjs.com/package/x-ray-scraper

C编写的开源Web爬虫

31. Httrack

  • 实现语言：C
  • GitHub Star 数： 747
  • 官方支持链接
img

简介：

  • HTTracks是一项免费（GPL、Libre/自由软件）且易于使用的离线浏览器功能。
  • 支持用户将Web站点下载到本地目录，递归构建全部目录，以及获取HTML、图像和其它文件到本地计算机。
  • HTTrack会维持原站点的相对链接结构。用户可以用浏览器打开本地的“镜像”页面，并逐个链接浏览，与在线浏览无异。
  • HTTrack也支持对已有镜像站点的更新，以及从中断点恢复下载。
  • HTTrack高度可配置，并提供帮助文档。

特性：

  • 多语言窗口，提供对Linux/UNIX的接口。
  • 镜像单个站点，或是一并镜像多个站点。
  • 支持按文件类型、链接位置、结构深度、文件大小过滤，接受或拒绝站点或文件名。
  • 支持代理，可最大化速度，并可选认证。

– 官方文档： http://www.httrack.com/html/index.html

– 官方网站： http://www.httrack.com/

32. GNU Wget

  • 实现语言：C
  • GitHub Star 数： 22
  • 官方支持链接
img

简介：

  • GNU Wget是一种免费软件包，它使用HTTP、HTTPS、FTP、FTPS等广为使用的互联网协议检索文件。
  • Wget是一种非交互式命令行工具，易于从脚本、Cron任务、不具有X窗口支持的终端等处调用。

特性：

  • 使用REST和RANGE支持从中断处恢复下载。
  • 基于NLS的消息文件，可使用多种语言。
  • 可运行于大多数类UNIX操作系统上，也支持Windows.
  • 支持HTTP代理。
  • 支持HTTP Cookie。

– 官方文档： https://www.gnu.org/software/wget/manual/

– 官方网站： https://www.gnu.org/software/wget/

C++编写的开源Web爬虫

33. gigablast

  • 实现语言：C++
  • GitHub Star 数： 912
  • **官方支持链接

简介：

  • Gigablast是一种开源的Web和企业搜索引擎，也是一种爬虫。
  • Gigablast是自身维护数十亿页面检索索引的数家美国搜索引擎之一。

特性：

  • 大规模。
  • 高性能。
  • 实时信息检索技术。

– 官方文档： http://www.gigablast.com/api.html

– 官方网站： http://www.gigablast.com/

C#编写的开源Web爬虫

34. Arachnode.net

  • 实现语言：C#
  • GitHub Star 数： 9
  • 官方支持链接

简介：

  • Arachnode.net适用于寻求开源Web爬虫的C#开发人员。
  • Arachnode.net软件类库从因特网下载内容、对内容做索引，并对过程做定制。
  • 用户可使用该工具做个人内容聚合，也可用于将下载的内容抽取、采集和解析为多个表单。
  • Arachnode.net索引所发现的内容，并存储在Lucene.NET索引中。
  • Arachnode.net非常适用于文本挖掘，也适用于学习高级爬取技术。

特性：

  • 可配置规则和行为。
  • 集成Lucene.NET。
  • 支持SQL Server和全文本索引。
  • 支持对.DOC/.PDF/.PPT/.XLS等文件类型的索引。
  • 支持将HTML转化为XML和XHTML。
  • 支持全部JavaScript/AJAX功能。
  • 支持多线程和节流(Throttling)。
  • 行为适当（Respectful）的爬取。
  • 分析服务。

– 官方文档： https://documentation.arachnode.net/index.html

– 官方网站： http://arachnode.net/

35. Abot

  • 实现语言：C#
  • GitHub Star 数： 1392
  • 官方支持链接

简介：

  • Abot是一种C#实现的开源Web爬虫，主要侧重于速度和灵活性。
  • Abot在实现中考虑了底层技术细节，包括多线程、HTTP请求、调度、链接解析等。
  • 用户只需注册事件，就可以处理分页数据。
  • 支持用户插入自己的核心接口实现，实现对整个爬取过程的完全控制。

特性：

  • 高速！
  • 易于定制（可插拔架构，支持用户定义爬取内容和方式）。
  • 经过大量的单元测试（高代码覆盖率）。
  • 非常轻量级（并非过度工程化）。
  • 无过程之外的依赖，例如对数据库、所安装服务等的依赖。

– 官方文档： https://github.com/sjdirect/abot

– 官方网站： https://github.com/sjdirect/abot

36. Hawk

  • 实现语言：C#
  • GitHub Star 数： 1875
  • 官方支持链接

简介：

  • HAWK无需用户做任何编程，提供图形可视化数据获取和清理工具，并以GPL协议开源。

特性：

  • 无需编程，即可实现对Web内容的智能分析。
  • 所见即所得（WYSIWYG），可视化拉拽，支持对数据转换和过滤等的快速处理。
  • 支持从多种数据库和文件中导入和导出。
  • 任务可保存并可重用。
  • 尤其适用于爬取和数据清理，但其功能并不仅局限于此。

– 官方文档： https://github.com/ferventdesert/Hawk

– 官方网站： https://ferventdesert.github.io/Hawk/

37. SkyScraper

  • 实现语言：C#
  • GitHub Star 数： 39
  • 官方支持链接

简介：

  • 一种异步Web获取和爬虫，使用了async/await和响应式扩展。

– 官方文档： https://github.com/JonCanning/SkyScraper

– 官方网站： https://github.com/JonCanning/SkyScraper

.NET编写的Web爬虫

38. DotnetSpider

  • 实现语言：.NET
  • GitHub Star 数： 1382
  • 官方支持链接

简介：

  • DotnetSpider是一种使用.NET Standard实现的Web爬取软件库，类似于WebMagic和Scrapy。
  • 它是一种适用于.NET的轻量级、高效和高速的高层Web爬取和获取框架。

– 官方文档： https://github.com/dotnetcore/DotnetSpider/wiki

– 官方网站： https://github.com/dotnetcore/DotnetSpider

PHP编写的开源Web爬虫

39. Goutte

  • 实现语言：PHP
  • GitHub Star 数： 6574
  • 官方支持链接

简介：

  • Goutte是一种PHP实现的屏幕抓取和Web爬取软件库。
  • Goutte为爬取Web站点和从HTML/XML响应中抽取数据提供了很好的API。

– 官方文档： https://goutte.readthedocs.io/en/latest/

– 官方网站： https://github.com/FriendsOfPHP/Goutte

40. Dom-crawler

  • 实现语言：PHP
  • GitHub Star 数： 1340
  • 官方支持链接

简介：

  • DomCrawler组件简化了对HTML和XML文档的DOM浏览。

– 官方文档： https://symfony.com/doc/current/components/dom_crawler.html

– 官方网站： https://github.com/symfony/dom-crawler

41. Pspider

  • 实现语言：PHP
  • GitHub Star 数： 249
  • 官方支持链接

简介：

  • Pspider是最近完全使用PHP实现的一种并行爬取框架，它基于hightman/httpclient组件。

– 官方文档： https://github.com/hightman/pspider

– 官方网站： https://github.com/hightman/pspider

42. Php-spider

  • 实现语言：PHP
  • GitHub Star 数： 1023
  • 官方支持链接

简介：

  • 一种可配置、可扩展的Web爬虫。

特性：

  • 可限制爬取深度、队列大小和最大下载数。
  • 支持基于XPath、CSS选择器或普通（Plain old）PHP添加自定义的URI发现逻辑。
  • 提供了一系列有用的URI过滤器，例如域限制等。
  • 收集爬取统计信息，用于形成报告。

– 官方文档： https://github.com/mvdbos/php-spider

– 官方网站： https://github.com/mvdbos/php-spider

43. Spatie / Crawler

  • 实现语言：PHP
  • GitHub Star 数： 740
  • **官方支持链接

简介：

  • 该软件包提供了从Web站点爬取链接的类。在实现的底层机制上，使用了GuzzleHttp/Promise并发爬取多个URL。
  • 该爬虫支持执行JavaScript，可以爬取使用JavaScript渲染的站点。从实现的底层机制看，该特性使用了Chrome和Puppeteer。

– 官方文档： https://github.com/spatie/crawler

– 官方网站： https://github.com/spatie/crawler

Ruby实现的开源Web爬虫

44. Mechanize

  • 实现语言：Ruby
  • GitHub Star 数： 3728
  • 官方支持链接

简介：

  • Mechanize软件库用于实现于Web站点的自动交互。
  • Mechanize自动按重定向存储并发送Cookie。可以根据链接提交表单，支持填写和提交表单域。
  • Mechanize也可跟踪用户访问过站点的历史记录。

– 官方文档： http://docs.seattlerb.org/mechanize/

– 官方网站： https://github.com/sparklemotion/mechanize

GO编写的开源Web爬虫

45. Colly

  • 实现语言：Go
  • GitHub Star 数： 5439
  • 官方支持链接
img

简介：

  • 为Go爱好者提供了一种快速且适用的爬取框架。
  • Colly提供了非常清晰的接口，可用于编写任何类型的爬虫和数据获取工具。
  • Colly使得用户可以轻易地从站点抽取结构化数据。这些数据适用于大范围的应用，例如数据挖掘、数据处理和归档。

特性：

  • 清晰的API。
  • 高速（支持单核每秒处理一千次以上的请求）。
  • 按域管理请求延迟和最大并发。
  • 自动Cookie和会话管理。
  • 同步/异步/并行爬取。
  • 支持缓存。
  • 对非unicode响应的自动编码。
  • 支持robots.txt禁止规则。
  • 分布式爬取。
  • 可通过环境变量配置。
  • 支持扩展。

– 官方文档： http://go-colly.org/docs/

– 官方网站： http://go-colly.org/

46. Gopa

  • 实现语言：Go
  • GitHub Star 数： 169
  • 官方支持链接

特性：

  • 轻量级，低资源占用，小于100MB的内存需求。
  • 易于部署，无需任何运行时和依赖关系。
  • 易于使用，不需要用户具有任何编程和脚本技能，提供开箱即可用特性。

– 官方文档： https://github.com/infinitbyte/gopa

– 官方网站： https://github.com/infinitbyte/gopa

47. Pholcus

  • 实现语言：Go
  • GitHub Star 数： 4341
  • 官方支持链接
img

简介：

  • Pholcus是一种完全使用Go语言实现的高并发性、重量级爬虫软件。
  • 它针对因特网数据采集，为只具有基本Go或JavaScript编程基础的用户提供了一种只需要关注自定义功能的特性。
  • 规则简单灵活，并发批处理任务，提供丰富的输出方式，包括MySQL、MongoDB、Kafka、CSV、Exvel等。
  • 用户共享了大量的演示。此外，Pholcus支持两种水平和垂直爬取模式，支持模拟登陆、暂停任务、取消任务等一系列高级特性。

特性：

  • 一种强大的爬取工具。
  • 支持三种运行模式：单机、服务器和客户。
  • 提供三种操作接口：Web、GUI和命令行。

– 官方文档： https://pholcus.gitbooks.io/docs/

– 官方网站： https://github.com/henrylee2cn/pholcus

R编写的开源Web爬虫

48. Rvest

  • 实现语言：R
  • GitHub Star 数： 969
  • 官方支持链接

简介：

  • Rvest为用户从Web页面抽取信息提供帮助。它在设计上使用了magrittr软件包，易于表达通用Web抽取。

– 官方文档： https://cran.r-project.org/web/packages/rvest/rvest.pdf

– 官方网站： https://github.com/hadley/rvest

Scala编写的开源Web爬虫

49. Sparkler

  • 实现语言： Scala
  • GitHub Star 数： 198
  • 官方支持链接

简介：

  • Web爬虫是一种机器人程序，它从Web网站采集资源，用于构建搜索引擎、知识库等应用。
  • Sparkler（“Spark-Crawler”的缩写）是一种新型的Web爬虫，它通过整合Spark、Kafka、Lucene/Solr、Tika、pf4j等多种Apache项目，使用了分布式计算和信息检索领域的最新进展。

特性：

  • 提供更高的性能，具有更好的容错。
  • 支持复杂和近实时分析。
  • 实时输出数据流。
  • 可扩展的插件框架。
  • 通用解析器。

– 官方文档： http://irds.usc.edu/sparkler/dev/development-environment-setup.html#contributing-source

– 官方网站： http://irds.usc.edu/sparkler/

Perl编写的开源Web爬虫

50. Web-scraper

  • 实现语言：Perl
  • GitHub Star 数： 91
  • 官方支持链接

简介：

  • Web Scraper是一种使用HTML、CSS选择器或XPath表达式的Web采集工具集。

– 官方文档： https://github.com/miyagawa/web-scraper

– 官方网站： https://github.com/miyagawa/web-scraper

小结

以上罗列了 50 个不同编程语言下的不错爬虫框架/项目，感兴趣可以用用看。

英文原文： http://www.prowebscraper.com/blog/50-best-open-source-web-crawlers/

欢迎关注我的公众号：高级农民工，博客：高级农民工，阅读体验更好。

你可能感兴趣的:(50 种最棒的开源爬虫框架/项目)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说 造命者说
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
  • 2020-01-25 晴岚85
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 想家 爆米花机
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 小丽成长记（四十三） 玲玲54321
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • JVM StackMapTable 属性的作用及理解 lijingyao8206 jvm字节码Class文件StackMapTable
            在Java 6版本之后JVM引入了栈图(Stack Map Table)概念。为了提高验证过程的效率，在字节码规范中添加了Stack Map Table属性，以下简称栈图，其方法的code属性中存储了局部变量和操作数的类型验证以及字节码的偏移量。也就是一个method需要且仅对应一个Stack Map Table。在Java 7版
  • 回调函数调用方法 百合不是茶 java
    最近在看大神写的代码时,.发现其中使用了很多的回调 ,以前只是在学习的时候经常用到 ,现在写个笔记 记录一下   代码很简单:           MainDemo  :调用方法  得到方法的返回结果        
  • [时间机器]制造时间机器需要一些材料 comsci 制造
          根据我的计算和推测,要完全实现制造一台时间机器,需要某些我们这个世界不存在的物质     和材料...       甚至可以这样说,这种材料和物质,我们在反应堆中也无法获得......      
  • 开口埋怨不如闭口做事 邓集海 邓集海 做人 做事 工作
    “开口埋怨，不如闭口做事。”不是名人名言，而是一个普通父亲对儿子的训导。但是，因为这句训导，这位普通父亲却造就了一个名人儿子。这位普通父亲造就的名人儿子，叫张明正。 　　 　　张明正出身贫寒，读书时成绩差，常挨老师批评。高中毕业，张明正连普通大学的分数线都没上。高考成绩出来后，平时开口怨这怨那的张明正，不从自身找原因，而是不停地埋怨自己家庭条件不好、埋怨父母没有给他创造良好的学习环境。 　　 　　
  • jQuery插件开发全解析，类级别与对象级别开发 IT独行者 jquery开发插件　函数
    jQuery插件的开发包括两种： 一种是类级别的插件开发，即给 jQuery添加新的全局函数，相当于给 jQuery类本身添加方法。 jQuery的全局函数就是属于 jQuery命名空间的函数，另一种是对象级别的插件开发，即给 jQuery对象添加方法。下面就两种函数的开发做详细的说明。   1 、类级别的插件开发 类级别的插件开发最直接的理解就是给jQuer
  • Rome解析Rss 413277409 Rome解析Rss
    import java.net.URL;  import java.util.List;    import org.junit.Test;    import com.sun.syndication.feed.synd.SyndCategory;  import com.sun.syndication.feed.synd.S
  • RSA加密解密 无量 加密解密rsa
    RSA加密解密代码 代码有待整理 package com.tongbanjie.commons.util; import java.security.Key; import java.security.KeyFactory; import java.security.KeyPair; import java.security.KeyPairGenerat
  • linux 软件安装遇到的问题 aichenglong linux遇到的问题ftp
    1 ftp配置中遇到的问题    500 OOPS: cannot change directory   出现该问题的原因:是SELinux安装机制的问题.只要disable SELinux就可以了   修改方法:1 修改/etc/selinux/config 中SELINUX=disabled    2 source /etc
  • 面试心得 alafqq 面试
    最近面试了好几家公司。记录下； 支付宝，面试我的人胖胖的，看着人挺好的；博彦外包的职位，面试失败； 阿里金融，面试官人也挺和善，只不过我让他吐血了。。。 由于印象比较深，记录下； 1，自我介绍 2，说下八种基本类型；（算上string。楼主才答了3种，哈哈，string其实不是基本类型，是引用类型） 3，什么是包装类，包装类的优点； 4，平时看过什么书？NND，什么书都没看过。。照样
  • java的多态性探讨 百合不是茶 java
    java的多态性是指main方法在调用属性的时候类可以对这一属性做出反应的情况 //package 1; class A{ public void test(){ System.out.println("A"); } } class D extends A{ public void test(){ S
  • 网络编程基础篇之JavaScript-学习笔记 bijian1013 JavaScript
    1.documentWrite <html> <head> <script language="JavaScript"> document.write("这是电脑网络学校"); document.close(); </script> </h
  • 探索JUnit4扩展：深入Rule bijian1013 JUnitRule单元测试
            本文将进一步探究Rule的应用，展示如何使用Rule来替代@BeforeClass，@AfterClass，@Before和@After的功能。         在上一篇中提到，可以使用Rule替代现有的大部分Runner扩展，而且也不提倡对Runner中的withBefores()，withAfte
  • [CSS]CSS浮动十五条规则 bit1129 css
    这些浮动规则，主要是参考CSS权威指南关于浮动规则的总结，然后添加一些简单的例子以验证和理解这些规则。   1. 所有的页面元素都可以浮动 2. 一个元素浮动后，会成为块级元素，比如<span>,a, strong等都会变成块级元素 3.一个元素左浮动，会向最近的块级父元素的左上角移动，直到浮动元素的左外边界碰到块级父元素的左内边界；如果这个块级父元素已经有浮动元素停靠了
  • 【Kafka六】Kafka Producer和Consumer多Broker、多Partition场景 bit1129 partition
    0.Kafka服务器配置 3个broker 1个topic，6个partition，副本因子是2 2个consumer，每个consumer三个线程并发读取   1. Producer package kafka.examples.multibrokers.producers; import java.util.Properties; import java.util.
  • zabbix_agentd.conf配置文件详解 ronin47 zabbix 配置文件
    Aliaskey的别名，例如 Alias=ttlsa.userid:vfs.file.regexp[/etc/passwd,^ttlsa:.:([0-9]+),,,,\1]， 或者ttlsa的用户ID。你可以使用key：vfs.file.regexp[/etc/passwd,^ttlsa:.: ([0-9]+),,,,\1]，也可以使用ttlsa.userid。备注: 别名不能重复，但是可以有多个
  • java--19.用矩阵求Fibonacci数列的第N项 bylijinnan fibonacci
    参考了网上的思路，写了个Java版的： public class Fibonacci { final static int[] A={1,1,1,0}; public static void main(String[] args) { int n=7; for(int i=0;i<=n;i++){ int f=fibonac
  • Netty源码学习-LengthFieldBasedFrameDecoder bylijinnan javanetty
    先看看LengthFieldBasedFrameDecoder的官方API http://docs.jboss.org/netty/3.1/api/org/jboss/netty/handler/codec/frame/LengthFieldBasedFrameDecoder.html API举例说明了LengthFieldBasedFrameDecoder的解析机制，如下： 实
  • AES加密解密 chicony 加密解密
    AES加解密算法，使用Base64做转码以及辅助加密： package com.wintv.common; import javax.crypto.Cipher; import javax.crypto.spec.IvParameterSpec; import javax.crypto.spec.SecretKeySpec; import sun.misc.BASE64Decod
  • 文件编码格式转换 ctrain 编码格式
    package com.test; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream;
  • mysql 在linux客户端插入数据中文乱码 daizj mysql中文乱码
    1、查看系统客户端，数据库，连接层的编码  查看方法： http://daizj.iteye.com/blog/2174993 进入mysql，通过如下命令查看数据库编码方式： mysql>  show variables like 'character_set_%'; +--------------------------+------
  • 好代码是廉价的代码 dcj3sjt126com 程序员读书
      长久以来我一直主张：好代码是廉价的代码。 当我跟做开发的同事说出这话时，他们的第一反应是一种惊愕，然后是将近一个星期的嘲笑，把它当作一个笑话来讲。 当他们走近看我的表情、知道我是认真的时，才收敛一点。 当最初的惊愕消退后，他们会用一些这样的话来反驳： “好代码不廉价，好代码是采用经过数十年计算机科学研究和积累得出的最佳实践设计模式和方法论建立起来的精心制作的程序代码。” 我只
  • Android网络请求库——android-async-http dcj3sjt126com android
    在iOS开发中有大名鼎鼎的ASIHttpRequest库，用来处理网络请求操作，今天要介绍的是一个在Android上同样强大的网络请求库android-async-http，目前非常火的应用Instagram和Pinterest的Android版就是用的这个网络请求库。这个网络请求库是基于Apache HttpClient库之上的一个异步网络请求处理库，网络处理均基于Android的非UI线程，通
  • ORACLE 复习笔记之SQL语句的优化 eksliang SQL优化Oracle sql语句优化SQL语句的优化
    转载请出自出处：http://eksliang.iteye.com/blog/2097999   SQL语句的优化总结如下   sql语句的优化可以按照如下六个步骤进行： 合理使用索引 避免或者简化排序 消除对大表的扫描 避免复杂的通配符匹配 调整子查询的性能 EXISTS和IN运算符 下面我就按照上面这六个步骤分别进行总结：
  • 浅析：Android 嵌套滑动机制（NestedScrolling） gg163 android移动开发滑动机制嵌套
    谷歌在发布安卓 Lollipop版本之后，为了更好的用户体验，Google为Android的滑动机制提供了NestedScrolling特性 NestedScrolling的特性可以体现在哪里呢？<!--[if !supportLineBreakNewLine]--><!--[endif]--> 比如你使用了Toolbar，下面一个ScrollView，向上滚
  • 使用hovertree菜单作为后台导航 hvt JavaScriptjquery.nethovertreeasp.net
      hovertree是一个jquery菜单插件，官方网址：http://keleyi.com/jq/hovertree/ ，可以登录该网址体验效果。 0.1.3版本：http://keleyi.com/jq/hovertree/demo/demo.0.1.3.htm hovertree插件包含文件： http://keleyi.com/jq/hovertree/css
  • SVG 教程 （二）矩形 天梯梦 svg
    SVG <rect> SVG Shapes SVG有一些预定义的形状元素，可被开发者使用和操作： 矩形 <rect> 圆形 <circle> 椭圆 <ellipse> 线 <line> 折线 <polyline> 多边形 <polygon> 路径 <path>
  • 一个简单的队列 luyulong java数据结构队列
    public class MyQueue { private long[] arr; private int front; private int end; // 有效数据的大小 private int elements; public MyQueue() { arr = new long[10]; elements = 0; front
  • 基础数据结构和算法九：Binary Search Tree sunwinner Algorithm
      A binary search tree (BST) is a binary tree where each node has a Comparable key (and an associated value) and satisfies the restriction that the key in any node is larger than the keys in all
  • 项目出现的一些问题和体会 Steven-Walker DAOWebservlet
         第一篇博客不知道要写点什么，就先来点近阶段的感悟吧。     这几天学了servlet和数据库等知识，就参照老方的视频写了一个简单的增删改查的，完成了最简单的一些功能，使用了三层架构。 dao层完成的是对数据库具体的功能实现，service层调用了dao层的实现方法，具体对servlet提供支持。  &
  • 高手问答：Java老A带你全面提升Java单兵作战能力！ ITeye管理员 java
    本期特邀《Java特种兵》作者：谢宇，CSDN论坛ID: xieyuooo 针对JAVA问题给予大家解答，欢迎网友积极提问，与专家一起讨论! 作者简介： 淘宝网资深Java工程师，CSDN超人气博主，人称“胖哥”。 CSDN博客地址： http://blog.csdn.net/xieyuooo 作者在进入大学前是一个不折不扣的计算机白痴，曾经被人笑话过不懂鼠标是什么，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他