java后台——http爬取图片,导出图片并打包。

  • 导出图片
  • 首先通过URLConnection 获取网络连接资源
  • 在Java的的URLConnection类表示URL和应用程序之间的通信链路。此类可用于读取和写入URL引用的指定资源的数据。
				//新建文件夹
				File device = new File("/imgzip");
				if(!device.isDirectory()){
					device.mkdir();
				}
				//图片抓取后保存路径
				String filePath = "/imgzip/XXX.jpg";
				String file = "http://具体路径";
				// 打开连接     
				URL url = new URL(file); 
				//设置请求的路径 
				URLConnection con = url.openConnection();
				con.setConnectTimeout(5*1000); 
				    
				try {
					InputStream input = con.getInputStream();
					
					FileOutputStream output = new FileOutputStream(new File(filePath));
					byte[] bytes = new byte[(int)1024];
					
					// 读取到的数据长度 
					int len; 
					// 开始读取 
					while ((len = input.read(bytes)) != -1) { 
						output.write(bytes, 0, len); 
					} 
					// 完毕,关闭所有链接 
					output.close(); 
					input.close(); 
				} catch (Exception e) {
					//e.printStackTrace();
					continue;
				}

这样就将http路径文件夹导出到指定的文件夹目录了,然后我们再将导出的文件夹目录打包。

下面是zip打包的工具类

package com.XXXX;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.util.zip.CRC32;
import java.util.zip.CheckedOutputStream;

import org.apache.tools.zip.ZipEntry;
import org.apache.tools.zip.ZipOutputStream;

public class ZipUtil {
	static final int BUFFER = 8192;

	private File zipFile;

	public ZipUtil(String pathName) {
		zipFile = new File(pathName);
	}

	public void compress(String srcPathName) {
		File file = new File(srcPathName);
		if (!file.exists())
			throw new RuntimeException(srcPathName + "不存在!");
		try {
			FileOutputStream fileOutputStream = new FileOutputStream(zipFile);
			CheckedOutputStream cos = new CheckedOutputStream(fileOutputStream,
					new CRC32());
			ZipOutputStream out = new ZipOutputStream(cos);
			out.setEncoding("GBK");
			String basedir = "";
			compress(file, out, basedir);
			out.close();
		} catch (Exception e) {
			throw new RuntimeException(e);
		}
	}

	private void compress(File file, ZipOutputStream out, String basedir) {
		/* 判断是目录还是文件 */
		if (file.isDirectory()) {
			System.out.println("压缩:" + basedir + file.getName());
			this.compressDirectory(file, out, basedir);
		} else {
			System.out.println("压缩:" + basedir + file.getName());
			this.compressFile(file, out, basedir);
		}
	}

	/** 压缩一个目录 */
	private void compressDirectory(File dir, ZipOutputStream out, String basedir) {
		if (!dir.exists())
			return;

		File[] files = dir.listFiles();
		for (int i = 0; i < files.length; i++) {
			/* 递归 */
			compress(files[i], out, basedir + dir.getName() + "/");
		}
	}

	/** 压缩一个文件 */
	private void compressFile(File file, ZipOutputStream out, String basedir) {
		if (!file.exists()) {
			return;
		}
		try {
			BufferedInputStream bis = new BufferedInputStream(
					new FileInputStream(file));
			ZipEntry entry = new ZipEntry(basedir + file.getName());
			out.putNextEntry(entry);
			int count;
			byte data[] = new byte[BUFFER];
			while ((count = bis.read(data, 0, BUFFER)) != -1) {
				out.write(data, 0, count);
			}
			bis.close();
		} catch (Exception e) {
			throw new RuntimeException(e);
		}
	}

	public static void main(String imgzip, String hzname) {

		ZipUtil zca = new ZipUtil("/imgzip/" + hzname + ".zip");
		zca.compress(imgzip);

	}

}

我这边写了一个测试的main方法,通过传输两个参数来进行打包结构控制

	public static void main(String imgzip, String hzname) {
		ZipUtil zca = new ZipUtil("/imgzip/" + hzname + ".zip");
		zca.compress(imgzip);

	}

imgzip 是需要打包的文件夹的路径,hzname 是zip压缩包的名字

最后,通过,http路径获取请求的hzname 压缩包完整的路径,就可以通过不同的服务器,抓取图片和下载压缩包体了。

你可能感兴趣的:(工作记录)