基于Java的网页爬虫实践

文章目录

    • 爬虫概念
    • 愿景
    • 爬虫框架选型
      • 分布式爬虫
      • 单机爬虫
      • 非Java单机爬虫
    • 爬虫和反爬虫
    • 网页节点的解析方式
    • Jsoup、WebCollector、Htmlunit解析实例
    • WebMagic的介绍及使用
    • WebMagic+Selenium自动化登录爬虫实践
    • 结论和参考


本文项目san-spider源码地址
https://github.com/lufei222/san-spider.git


爬虫概念

1、爬虫基本概念

爬虫的概念 :网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。这是百度百科对爬虫的定义,其实,说简单点,爬虫就是利用写好的程序自动的提取网页的信息。

2、爬虫的分类
通用爬虫:通用爬虫是搜索引擎(Baidu、Google、Yahoo等)“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 简单来讲就是尽可能的;把互联网上的所有的网页下载下来,放到本地服务器里形成备分,在对这些网页做相关处理(提取关键字、去掉广告),最后提供一个用户检索接口。
聚焦爬虫:聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如:获取豆瓣上电影的名称和影评,而不是获取整张页面中所有的数据值。
增量式爬虫:增量式是用来检测网站数据更新的情况,且可以将网站更新的数据进行爬取。

3、爬虫的价值
抓取互联网上的数据,为我所用,有了大量的数据,就如同有了一个数据银行一样,下一步做的就是如何将这些爬取的数据产品化,商业化。
基于Java的网页爬虫实践_第1张图片


愿景

开源的爬虫框架已经很多了,有各种语言(比如:python、java)实现的,有单机的,还有大型分布式的,多达上百种,详情可见:
开源中国网络爬虫框架列表
33款可用来抓数据的开源爬虫软件工具
爬虫项目经验小结
github上有哪些优秀的java爬虫项目

我们的要求也不高:

  • 社区丰富,用户量多,多人用的项目少踩坑。
  • 文档要全,上手快。
  • 安装和集成使用简单。
  • 代码语法简洁
  • 爬虫的主要功能要有,比如:支持请求头部设置,支持代理,支持多线程,url自动去重复,html解析方便(至少要能支持css选择器,xpath选择器,正则表达式等常见的解析方式)

选定好一款爬虫开源框架后,就要考虑自己的业务特点,设计自己的项目架构了,大多数用爬虫的人,基本需求其实是类似的。

最终一般的爬虫项目都是这样的操作:

  1. 将目标网站的页面尽可能快速的扒下来

  2. 然后解析出有用的内容

  3. 落地存储到db、缓存

稍微成熟爬虫开源框架基本上都已经实现了第一步 。
根据实际业务规则解析完了以后,如何落地、保持更新网站变更策略,都需要我们去考虑。


爬虫框架选型

可以参考 开源网络爬虫框架应该怎么选?
考虑选型的时候主要有以下参考项:

  • 支持多线程?
  • 爬虫能用代理么?
  • 爬虫会爬取重复数据么?
  • 爬虫能爬取ajax生成的信息么?
  • 爬虫怎么抽取网页信息
  • 爬虫怎么保存网页的信息
  • 爬虫速度如何?
  • 报错容易定位修改吗?

上面说的爬虫,基本可以分3类:

  • 分布式爬虫:Nutch…
  • JAVA单机爬虫:Crawler4j、WebMagic、WebCollector、Gecco、Jsoup、Htmlunit
  • 非JAVA单机爬虫:Scrapy…

分布式爬虫

Nucth:
优点:分布式抓取,存储和索引,有hadoop支持,第三方插件丰富
缺点:使用上手难,用Nutch进行爬虫的二次开发,爬虫的编写和调试所需的时间,往往是单机爬虫所需的十倍时间不止。

单机爬虫

对于单机爬虫框架,日常开发中占用时间多的地方就是网页内容解析,所以首先要介绍下优秀的HTML网页解析器 :Jsoup和Htmlunit和神器Selenium

  • Jousp: 一款非常流行的Java的HTML解析器,主要用来对HTML解析。也可以进行Http请求网页爬取源码。
  • Htmlunit:它不仅仅是一个HTML解析器。这是一个真正的“无GUI浏览器”和HTML单元测试工具。
  • Selenium:Selenium是基于Web应用的验收测试工具集合,直接运行在浏览器中,通过一系列命令来模拟用户操作,Selenium可以将这些命令转化成实际的HTTP请求在浏览器中运行 ,获取到网页信息和Cookie等信息

上面列举的单机爬虫中,Gecco基于注解方式实现,官方demo无法运行,体验太差,首先排除不考虑。

对于其他几个,功能都很丰富,且都在持续更新中。

name Github Star 文档丰富度 使用项目数 网络博文丰富度(10)
Crawler4j 3.9k 5 199 6
WebMagic 9.1k 非常齐全 586 7.5
WebCollector 2.6k 7 72 7.5

从以上几个指标来看,都很优秀
基于我实际项目运行对比情,WebMagic文档丰富上手快,demo项目多,所以当前日常使用WebMagic。


非Java单机爬虫

主要说 Python 爬虫,以Scrapy为首,对比Java主要优势在于

  • Python的语法简洁 ,入门简单,节点解析简洁高效,比如:Python 可以用 30 行代码,完成 Java 50 行代码干的任务。Python 写代码的确快。
  • 爬虫用户量大、社区活跃度大。
  • Github基于Python实践的项目基数巨大,对于大多数网站,基本有参考,拿来修改即用。

综上对比:
分布式爬虫Nucth有点大材小用,开发效率也不高,暂时不打算考虑。
在日常Java项目中,我会首选WebMagic,而当需要花费大量时间精力去做爬虫工作的时候,我会选择Python的Scrapy。


爬虫和反爬虫

如何应对网站反爬虫策略?如何高效地爬大量数据?
爬虫突破封禁的6种常见方法
常见反爬虫机制与应对方法
爬虫与反爬虫的博弈

爬虫和反爬虫都是一直在进步的,下面列举一些常见的爬与反爬运用涉及的相关知识点

  • 设置User-Agent
  • 设置Cookie
  • 访问频率限制
  • 代理IP或者分布式爬虫:
  • 构造合理的HTTP请求头

网页节点的解析方式

CSS选择器 + Xpath + 正则表达式整理
xpath表达式


Jsoup、WebCollector、Htmlunit解析实例

Jsoup源码
WebCollector源码
接下来大篇幅主要介绍Webmagic,因为先简要介绍下其他解析器。
使HttpClient、Jsoup、Htmlunit爬取网页实例代码源码:
LagouMulSpider.java

package demo;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.util.List;
import java.util.Random;

/**
 * lagou多种不同方式实现的爬虫
 * 测试htmlunit、jsoup、httpclient直接爬取
 */
public class LagouMulSpider {

    static Random random = new Random();
    private static String LAGOU_URL = "https://www.lagou.com/zhaopin/ceo/1/?filterOption=3&sid=f1937baf1115438c9ea9aee62836a985";


    public static void main(String[] args) throws IOException, InterruptedException {
        //直接httpclient爬取lagou网页,会提示存在恶意访问行为被拦截,
        testHttpClient();
        testJsoup();
        testHtmlunitLagou();
        testHtmlunitBaidu();
    }
    private static void testJsoup() throws IOException, InterruptedException {
        System.out.println("************************testJsoup************************");
        for(int i=0;i<2;i++) {
            Document doc = Jsoup.connect(LAGOU_URL).get();
            Elements newsHeadlines = doc.select(".pager_container");
            System.out.println(newsHeadlines);
            Thread.sleep(200);
        }
    }


    private static void testHttpClient() {
        try {
            System.out.println("************************testHttpClient************************");
            CloseableHttpClient httpClient = HttpClients.createDefault();
            HttpGet httpGet = new HttpGet(LAGOU_URL);

            CloseableHttpResponse response = httpClient.execute(httpGet);
            HttpEntity entity = response.getEntity();
            String content = EntityUtils.toString(entity, "utf-8");
            response.close();
            Jsoup.parse(content);
            Document doc = Jsoup.parse(content);
            Elements elements = doc.getElementsByTag("title");
            System.out.println(elements);
        }catch (Exception e){
            System.out.println(e.getCause());
        }
    }

    private static BrowserVersion getRandomBrowserVersion(){
        int i = random.nextInt(5);
        BrowserVersion browserVersion = BrowserVersion.getDefault();
        switch (i){
            case 1:  browserVersion = BrowserVersion.CHROME  ;break;
            case 2:  browserVersion = BrowserVersion.FIREFOX  ;break;
            case 3:  browserVersion = BrowserVersion.FIREFOX_68  ;break;
            case 4:  browserVersion = BrowserVersion.BEST_SUPPORTED  ;break;
            case 5:  browserVersion = BrowserVersion.INTERNET_EXPLORER  ;break;
            default: ;
        }
        return browserVersion;
    }

    /**
     * 测试循环获取lagou的页面是否也是五次限制,还是真的能像浏览器一样正常访问.发现其实是一样限流了,超过32秒才能继续访问
     * @throws IOException
     * @throws InterruptedException
     */
    private static void testHtmlunitLagou() throws IOException, InterruptedException {
        System.out.println("************************testHtmlunitLagou************************");
        for(int i=0;i<2;i++){
            //创建一个webclient
            WebClient webClient = new WebClient(getRandomBrowserVersion());
            //htmlunit 对css和javascript的支持不好,所以请关闭之
            webClient.getOptions().setJavaScriptEnabled(false);
            webClient.getOptions().setCssEnabled(false);
            //获取页面
            HtmlPage page = webClient.getPage(LAGOU_URL);
            List<Object> byXPath = page.getByXPath("//div[@class='pager_container']//text()");
            System.out.println(byXPath);
            //关闭webclient
            webClient.close();
        }
    }
    private static void testHtmlunitBaidu() throws IOException {
        System.out.println("************************testHtmlunitBaidu************************");
        String str;
        //创建一个webclient
        WebClient webClient = new WebClient();
        //htmlunit 对css和javascript的支持不好,所以请关闭之
        webClient.getOptions().setJavaScriptEnabled(false);
        webClient.getOptions().setCssEnabled(false);
        //获取页面
        HtmlPage page = webClient.getPage("http://www.baidu.com/");
        //获取页面的TITLE
        str = page.getTitleText();
        System.out.println(str);
        webClient.close();
    }
}

WebCollector解析实例


WebMagic的介绍及使用

Java爬虫框架WebMagic的介绍及使用(定时任务、代理)
官方文档
Java爬虫框架WebMagic入门

1、WebMagic框架简介

PageProcessor、Scheduler、Downloader和Pipeline,对应爬虫生命周期中的处理、管理、下载和持久化等功能,都是Spider中的属性,爬虫框架通过Spider启动和管理。

WebMagic总体架构图如下:
基于Java的网页爬虫实践_第2张图片

2、四大组件

  • PageProcessor 负责解析页面,抽取有用信息,以及发现新的链接。需要自己定义。
  • Scheduler 负责管理待抓取的URL,以及一些去重的工作。一般无需自己定制Scheduler。
  • Pipeline 负责抽取结果的处理,包括计算、持久化到文件、数据库等。
  • Downloader 负责从互联网上下载页面,以便后续处理。一般无需自己实现。

3、用于数据流转的对象
Request 是对URL地址的一层封装,一个Request对应一个URL地址。
Page 代表了从Downloader下载到的一个页面——可能是HTML,也可能是JSON或者其他文本格式的内容。
ResultItems 相当于一个Map,它保存PageProcessor处理的结果,供Pipeline使用。


WebMagic+Selenium自动化登录爬虫实践

WebMagic其他 demo
WebMagic实例 GiteeAutoLoginSpider.java

视频展示效果如下
https://share.weiyun.com/liXqrw51
https://weibo.com/tv/v/J7HTMa0Zu?fid=1034:4518366212194347

package demo;
 
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.stream.Collectors;

import org.openqa.selenium.By;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
 
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.pipeline.ConsolePipeline;
import us.codecraft.webmagic.pipeline.FilePipeline;
import us.codecraft.webmagic.processor.PageProcessor;


/**
 * gitee自动化登录获取私有项目
 */
public class GiteeAutoLoginSpider implements PageProcessor {

	private static String GITEE_NAME = System.getenv("GITEE_NAME");
	private static String GITEE_USERNAME = System.getenv("GITEE_USERNAME");
	private static String GITEE_PASSWORD = System.getenv("GITEE_PASSWORD");
	private static String GITEE_URL = "https://gitee.com/login";


	private Site site = Site.me().setRetryTimes(3).setSleepTime(1000).setTimeOut(10000);

	// 用来存储cookie信息
	private Set<Cookie> cookies = new HashSet<>();

	@Override
	public Site getSite() {
		// 将获取到的cookie信息添加到webmagic中
		for (Cookie cookie : cookies) {
			site.addCookie(cookie.getName(), cookie.getValue());
		}
		return site;
	}

	/**
	 * 解析网页节点具体业务逻辑
	 * @param page
	 */
	@Override
	public void process(Page page) {

		System.out.println("开始解析");
		String  tabName = page.getHtml().xpath("//a[@class='item f-bold']//allText()").get();
		System.out.println(tabName);
		List<String> projects = page.getHtml().xpath("//span[@class='project-title']//allText()").all();
		List<String> privateProject = projects.stream().filter(x -> x.contains("san")).distinct().collect(Collectors.toList());
		System.out.println(privateProject);
		page.putField("gitee project ", privateProject);

	}
	
    /**
	 * 登录获取cookie的操作
	 * 
     * 使用selenium+chromedriver驱动完成自动登录gitee获取cookie的操作
     * 对于大多数网站可以直接获得cookie
     * 对于大型的验证比较多的网站,会比较麻烦,建议可以百度 或者 github参照其他项目的selenium自动登录实现
     * 在自动登录实现不可行的时候,更快的方式是直接浏览器登录手动复制cookie,以便后续登录之后的操作继续正常进行
     */
	public void login() {
		// 登陆
		System.setProperty("webdriver.chrome.driver", "D:/chromedriver/chromedriver.exe"); // 注册驱动
		WebDriver driver = new ChromeDriver();
		driver.get(GITEE_URL);// 打开网址
		// 防止页面未能及时加载出来而设置一段时间延迟
		try {
			Thread.sleep(1000);
			// 设置用户名密码
			driver.findElement(By.id("user_login")).sendKeys(GITEE_USERNAME); // 用户名
			driver.findElement(By.id("user_password")).sendKeys(GITEE_PASSWORD); // 密码
			// 模拟点击
			driver.findElement(By.name("commit")).click();
			// 防止页面未能及时加载出来而设置一段时间延迟
			Thread.sleep(1000);
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
		// 获取cookie信息
		cookies = driver.manage().getCookies();
		System.out.println("cookie " + cookies);

		driver.close();

	}
 
	public static void main(String[] args) {
 
		String url = "https://gitee.com/"+GITEE_NAME+"/dashboard/projects?scope=private&&sort="; // 地址
		GiteeAutoLoginSpider dome = new GiteeAutoLoginSpider();
        // 登陆
		dome.login();
		Spider.create(dome)
				.addUrl(url)
				//输出内容到控制台
				.addPipeline(new ConsolePipeline())
				//输出内容到文件
				.addPipeline(new FilePipeline("D:\\webmagic\\gitee"))
				.run();

	}
}

结论和参考

经过项目的经验时间,其实上面列举的功能都很强大,如果只是Java项目当中由于一些需求需要使用,那么其实Jsoup或者Htmlunit足矣,要有代理、多线程、去重、头部设置、自动登录等,则根据自己需要引入WebMagic或Selenium等,参照着Github上面的丰富的爬虫项目肯定能完成自己的需求。
如果你需要投入大量时间精力在爬虫上面的话,建议直接用Python的Scrapy,已有开源项目足矣让你在爬虫工作上游刃有余。

本文项目san-spider源码地址
https://github.com/lufei222/san-spider.git


参考

口罩地址Python
htmlunit 爬虫案例
实例二 htmlunit
解决htmlunit的webclient对象在多线程环境下的共享问题
高级爬虫进阶:HtmlUnit+多线线程+消息队列快速抓取大量信息数据
Java爬虫,爬取京东、天猫、淘宝、阿里巴巴、苏宁、国美、考拉电商数据
基于webmagic的爬虫项目经验小结
CSS选择器 + Xpath + 正则表达式整理
在开源中国爬虫分类的软件
雪球网的爬虫
今日头条相关的httpunit
Nutch、heritrix、crawler4j优缺点
关于webmagic的说明文档
基于Webmagic的Java爬虫(四)爬取动态列表页内容
基于webmagic的理财产品分页
java爬虫Gecco工具抓取新闻实例
爬虫京东
java爬虫事例
github上有哪些优秀的java爬虫项目
https://www.zhihu.com/question/31427895
https://www.52pojie.cn/thread-1068214-1-1.html
使用WebMagic多线程爬取图+httpClient多线程下载图片
拉勾网爬取(WebMagic+Selenium+ChromeDriver)
https://blog.csdn.net/weixin_43719622/article/details/102784141
https://github.com/Yangtze-Innovation/Search-Job-Platfom/tree/CourageHe/2-WebMagic/4-WebMagicSelenimu
第一次用webmagic写爬虫
webmagic简书
爬取动态页面模拟登录
WebMagic 实现爬虫入门教程
爬取页面需要登陆才可爬取,这种怎么解决
不能登录的常见问题1
不能登录的常见问题2
webmagic框架图
WebMagic实现分布式抓取以及断点抓取,爬虫主要运行时间消耗是请求网页时的io阻塞,所以开启多线程,让不同请求的等待同时进行,可以大大提高爬虫运行效率
多线程爬虫图
Gather Platform 聚集收集平台
基于Crawler4j + jsoup实现虫
selenium介绍
crawler4j简介
htmlunit HtmlUnit的使用
webcollector简介
Java开源爬虫框架WebCollector爬取CSDN博客
爬取微信公众号
Java开源爬虫框架WebCollector爬取搜索引擎
爬虫与反爬虫

你可能感兴趣的:(java/scala,爬虫)