环境:jdk1.8、win10、科学上网、eclipse
一直想学下写爬虫,满足一下自己的小愿望。正好过年有时间,就研究了一下,网上的资料良莠不齐,于是我决定自己整理一份,按照我的步骤做,一定是可以的,成功了记得回来点赞。
案例里爬了一个小型视频网站,最终的效果可以达到自动下载该网站的全部视频,且每个视频都有他该有的名字。
如果你要用来爬其他网站,代码里很多地方(比如url,url的解析,字符串的截取,下载的位置)是需要根据具体页面进行修改的,我只能提供一个思路而已,当然要爬我爬的这个网站的话当然就不需要改了。
public static void main(String[] args) throws Exception {
final String SCORE_URL = "https://www.xxxx/xxx";// 主页(手工打码)
final String DOWNLOAD_DIR = "F:/video/";// 下载目录
System.setProperty("https.protocols", "TLSv1,TLSv1.1,TLSv1.2,SSLv3");
System.err.println("爬取子页面...");
List<String> allArticle = getAllVideoPage(SCORE_URL);
System.err.println("爬取视频...");
Map<String, String> urlMap = getUrlInSource(allArticle);
System.err.println("本次下载文件数量:" + urlMap.size());
System.err.println("开始下载...");
downloadMovie(DOWNLOAD_DIR, urlMap);
}
例如这是分页的url,这个就有明显的规律了。我们只需要修改 page= 后面的数字就可以获得每个分页的url
然后就要分析进入每个视频页面的url,chrome F12 好我们来看
标出的这行就是进入视频页面的url,这个相信大家都会找,我就不细说了。
然后我们需要将href=后面的双引号里的东西截取出来,然后拼接成视频页面的完整url,具体看我代码
最后把所有视频页的url存入一个list,下一步
/**
* 爬所有视频页 存入一个list
*
* @param source 主页
* @return 视频页 列表
* @throws Exception
*/
private static List<String> getAllVideoPage(String source) throws Exception {
List<String> urls = new ArrayList<>();
for (int j = 1; j < 5; j++) { // 要爬哪些页数
String pageUrl = source;
// 拼接子页url
pageUrl = pageUrl + "?sort=new&page=" + j;
URL url = new URL(pageUrl);
// 连接url
BufferedReader br = connectURL(url);
String info = null;
for (int i = 0; i < 10000; i++) {
info = br.readLine();
if (info != null) {// 这里开始根据实际页面上的url进行字符串截取
if (info.contains("target=\"_self\"")) {
int start = info.indexOf("href") + 6;
int end = start + 6;
String substring = "https://www.xxx.xxx" + info.substring(start, end);
urls.add(substring);
}
}
}
}
return urls;
}
依旧,分析页面。很幸运,视频页面就有下载按钮。
我们直接分析页面代码。找到了!!!这个带xxx.mp4的就是下载连接了,我们可以试试看,一点这个链接,浏览器就会开启下载。嗯,没错,就是他。
只有视频下载地址其实我们已经可以开始下载视频,但是这不完美,没有视频的名字怎么行!开始找名字
涂掉的部分就是名字啦,具体截取方法见代码
/**
* 获取视频的URL地址和视频名称存入hashMap
*
* @param source 视频页 列表
* @return 视频名称=下载url
* @throws IOException
*/
private static Map<String, String> getUrlInSource(List<String> source) throws IOException {
Map<String, String> hashMap = new HashMap<>();
for (int j = 0; j < source.size(); j++) {
String pageUrl = source.get(j);
URL url = new URL(pageUrl);
// 连接url
BufferedReader br = connectURL(url);
String info = null;
String title = null;
// 此处不要==null进行判断,因为网页中有很多行都是null,否则会报java.lang.NullPointerException?
for (int i = 0; i < 10000; i++) {
info = br.readLine();
if (null != info) {// 这里截取视频名称,也是根据页面实际情况
if (info.contains("h1 class=\"text-truncate\"")) {
int st = info.indexOf("truncate") + 10;
int ed = info.lastIndexOf("h1") - 2;
title = info.substring(st, ed);
}
if (info.contains("https://xxx.xxx.xxx/download/mp4")) {// 这里截取视频实际下载url,也是根据页面实际情况
int start = info.indexOf("http");
int end = info.lastIndexOf("mp4") + 3;
String substring = info.substring(start, end);
hashMap.put(title, substring);
}
}
}
}
return hashMap;
}
/**
* 开启多线程下载
*
* @param DOWNLOAD_DIR
* @param urlMap
*/
private static void downloadMovie(final String DOWNLOAD_DIR, Map<String, String> urlMap) {
ExecutorService es = Executors.newFixedThreadPool(8);
for (Map.Entry<String, String> entry : urlMap.entrySet()) {
final String title = entry.getKey();// 视频名称
final String url = entry.getValue();// 视频url
es.execute(new Runnable() {
@Override
public void run() {
try {
System.out.println("正在下载: " + title + ".......");
File destFile = new File(DOWNLOAD_DIR + title + ".mp4");
download(url, destFile);
System.out.println("=========> " + title + " 下载完毕!");
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
});
}
}
/**
* 通过视频的URL下载该视频并存入本地
*
* @param url 视频的URL
* @param destFile 视频存入的文件夹
* @throws IOException
*/
private static void download(String url, File destFile) throws IOException {
URL videoUrl = new URL(url);
InputStream is = videoUrl.openStream();
FileOutputStream fos = new FileOutputStream(destFile);
int len = 0;
byte[] buffer = new byte[1024];
while ((-1) != (len = is.read(buffer))) {
fos.write(buffer, 0, len);
}
fos.flush();
if (null != fos) {
fos.close();
}
if (null != is) {
is.close();
}
}
/**
* 链接url 返回字节流
*
* @param url
* @return
* @throws IOException
* @throws ProtocolException
* @throws UnsupportedEncodingException
*/
private static BufferedReader connectURL(URL url)
throws IOException, ProtocolException, UnsupportedEncodingException {
// 这里的代理服务器端口号 需要自己配置
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("127.0.0.1", 7959));
HttpURLConnection conn = (HttpURLConnection) url.openConnection(proxy);
// 若遇到反爬机制则使用该方法将程序伪装为浏览器进行访问
conn.setRequestMethod("GET");
conn.setRequestProperty("user-agent",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36");
BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));
return br;
}
这里有一些需要说明的,由于很多网站需要科学上网,直接这样连是连不上的,所以我们需要让程序开启代理模式。
看上方代码的最后几行
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("127.0.0.1", 7959));
这行代码就是设置代理的,当然前提是你得有代理。参数自然是ip和port啦,那怎么看自己代理的ip和port呢。
以著名的x灯为例:
就是这个了,其他也应该大同小异。