java 获取agent_Java随机获得一个user-agent(useragent)工具类

需求背景:

最近在学习用java写爬虫软件,爬了20w左右的QQ群成员信息。爬虫过程中遇到不少问题,useragent被禁是其中一个。

解决办法:

写了个工具类CommonUtils.java,代码如下:package com.provy.jiagou.common;

import cn.hutool.core.collection.CollUtil;

import cn.hutool.core.date.DateUtil;

import cn.hutool.core.thread.ThreadUtil;

import cn.hutool.core.util.RandomUtil;

import java.util.List;

/**

* @author 架构师小跟班

* @Description: https://www.jiagou1216.com

* @date 2020/7/8 10:18

*/

public class CommonUtils {

/**

*

*/

private static List agentList = CollUtil.newArrayList();

static {

agentList.add("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36");

agentList.add("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1

你可能感兴趣的:(java,获取agent)