利用POI读取excel文档,并进行信息提取
最近带领小伙伴们处理了一下爬虫爬下来的数据,爬下来的数据有excel表格,word文档,pdf.其中以pdf的数据最难处理,只想要保留pdf中的表格部分,但是却不得其法,目前还没有攻克.
在这篇文章里记录一下使用apache poi读取excel文件用到的方法以及问题等,希望能帮助到大家吧:
一、excel中内容介绍
在excel文件中,我们首先遇到的是一个excel中有多个表,如何遍历和提取每一个单元格的数据这是个问题.
Idea中的pom依赖:
org.apache.poi
poi-scratchpad
3.14
org.apache.poi
poi-ooxml
3.14
读取excel文件:
/**
* 读取Office 2007 excel
* */
private Map>> read2007Excel(File file)
throws IOException {
// 构造 XSSFWorkbook 对象，strPath 传入文件路径
XSSFWorkbook xwb = new XSSFWorkbook(new FileInputStream(file));
evaluator = xwb.getCreationHelper().createFormulaEvaluator();
//创建一个存储数据的HashMap对象
Map>> map = new HashMap<>(16);
// 读取第一章表格内容
for (int a = 0; a < xwb.getNumberOfSheets(); a++) {
List> list = new LinkedList<>();
XSSFSheet sheet = xwb.getSheetAt(a);
//待存取的value值
Object value;
//当前行
XSSFRow row;
//当前格
XSSFCell cell;
int counter = 0;
//从第一行开始遍历
for (int i = sheet.getFirstRowNum();
counter < sheet.getPhysicalNumberOfRows(); i++) {
if (i == 0) {
//跳过第一行,不存取标题信息
continue;
}
row = sheet.getRow(i);
if (row == null) {
break;
}
//按行存储,将该表中所有的元素存储在list对象中
List 看起来还是挺简单的,但是在这一段代码中我用到了evaluator,这个evaluator其实是poi提供的用于处理excel文件中的函数的问题.比如说"='10-评委'!F3"和"SUM(B5:B10)",这样的.通过evaluator就可以达到提取时,不管函数是什么样子,直接获取该函数的结果.我这里把它作为当前类文件的一个属性来使用了.
看完代码,再说一说我读excel文件的思路:为了能够快速的通过表签名(也就是最下面那一栏)找到该表,我创建了一个Map
表格中我按行读取,所以value值为一个二维的List集合,遍历当前表的所有元素只需要两个for循环嵌套就可以了.
二、通过Object存数据,方便以后入库
我存储成Object的唯一目的就是为了方便以后存储到数据库中,避免了来回转换格式的问题.可是同样的,我在对单个object进行判断和取值的时候,就需要疯狂的转来转去.如果有需要,大家可以清一色的存储成String类型.
/**
* @Description : 获取cell对象中的值,并且转为java中对应的类型
*
* @param cell
* @return : java.lang.Object
* @author : 申劭明
* @date : 2019/8/9 15:50
*/
public Object getSheetValue(Cell cell){
Object value ;
if (cell == null) {
//导入不能为空
value = "无";
return value;
}
// 格式化 number String
DecimalFormat df = new DecimalFormat("0");
// 字符,格式化日期字符串
SimpleDateFormat sdf = new SimpleDateFormat(
"yyyy-MM-dd");
// 格式化数字
DecimalFormat nf = new DecimalFormat("0");
//判断当前单元格的元素类型
switch (cell.getCellType()) {
case XSSFCell.CELL_TYPE_STRING:
value = cell.getStringCellValue();
break;
case XSSFCell.CELL_TYPE_NUMERIC:
value = cell.getNumericCellValue();
//避免手机号,身份证等自动识别为double类型
//由于精度问题需要用减法判断大小
if (80000000.0 - (double)value < 0){
value = (long)((double)value);
value = String.valueOf(value);
}
break;
case XSSFCell.CELL_TYPE_BOOLEAN:
value = cell.getBooleanCellValue();
break;
//空格，空白
case XSSFCell.CELL_TYPE_BLANK:
value = "";
break;
case XSSFCell.CELL_TYPE_FORMULA:
value = "";
try{
//可能会有Invalid sheetIndex异常
value = getCellValue(evaluator.evaluate(cell));
}catch (Exception e){
e.printStackTrace();
}
break;
default:
value = cell.toString();
}
if (value == null || "".equals(value)) {
//导入不能为空
value = "无";
}
return value;
}三、源代码,共计两个文件
Table.java:主要负责区分excel文件版本和提取值的工作
package com.mbyte.easy.util;
import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellValue;
import org.apache.poi.xssf.usermodel.*;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.text.DecimalFormat;
import java.text.SimpleDateFormat;
import java.util.HashMap;
import java.util.LinkedList;
import java.util.List;
import java.util.Map;
/**
* @Author: 申劭明
* @Date: 2019/8/9 17:26
*/
public class Table {
/**
* 一个excel文件读取后的结果存放在map集合中
*/
private Map>> map;
private static XSSFFormulaEvaluator evaluator;
public Table(){
}
public Map>> getMap() {
return map;
}
/**
* @Description : 读取一个excel文件,根据它的文件类型选择对应的读取方法
*
* @param filePath
* @author : 申劭明
* @date : 2019/8/10 14:33
*/
public Table(String filePath) throws IOException {
this.map = readExcel(new File(filePath));
}
/**
* @Description : 读取Excel文件,在该方法中通过后缀名判断要调用哪一个方法
*
* @param file 待读取的excel文件
* @return : Map<表签的名,List>
* @author : 申劭明
* @date : 2019/8/9 15:10
*/
public Map>> readExcel(File file) throws IOException {
String fileName = file.getName();
String extension = fileName.lastIndexOf(".") == -1 ? "" : fileName
.substring(fileName.lastIndexOf(".") + 1);
if ("xls".equals(extension)) {
return read2003Excel(file);
} else if ("xlsx".equals(extension)) {
return read2007Excel(file);
} else {
throw new IOException("不支持的文件类型");
}
}
/**
* 读取 office 2003 excel
*
* @throws IOException
*/
private Map>> read2003Excel(File file)
throws IOException {
Map>> map = new HashMap<>(16);
//读取.xls文件
HSSFWorkbook hwb = new HSSFWorkbook(new FileInputStream(file));
//遍历标签:基本信息,1-潜在,3-文件递交表...
for (int a = 0; a < hwb.getNumberOfSheets();a++) {
List> list = new LinkedList<>();
HSSFSheet sheet;
//获取表格对象
sheet = hwb.getSheetAt(a);
//输出对象
Object value = null;
HSSFRow row = null;
HSSFCell cell = null;
int counter = 0;
for (int i = sheet.getFirstRowNum(); counter < sheet
.getPhysicalNumberOfRows(); i++) {
row = sheet.getRow(i);
//一行
List
ReadExcel.java : 主要用于调用和筛选我想要入库的数据,我用的是SSM框架,为了省去自己写连接数据库等操作,我在这提供了接口,大概不是很容易明白我的思路,所以能不看就别看了- -.
package com.mbyte.easy.util;
import com.mbyte.easy.entities.Specialist;
import com.mbyte.easy.entities.Totals;
import com.mbyte.easy.expert.entity.ExpertInfo;
import com.mbyte.easy.score.entity.BidderScore;
import java.io.IOException;
import java.text.DecimalFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.*;
/**
* @Author: 申劭明
* @Date: 2019/8/9 14:53
*/
public class ReadExcel {
/**
* 声明一个table对象,也就是任意个对象都共享同一个excel文件
* 不支持线程操作
*/
private Table table;
/**
* 专家列表
*/
private List speciaList;
/**
* 得分列表
*/
private List totalsList;
public String getFilePath() {
return filePath;
}
public void setFilePath(String filePath) {
this.filePath = filePath;
}
/**
* 读取的文件地址
*/
private String filePath;
public static void main(String[] args) {
try {
ReadExcel readExcel = new ReadExcel("D:\\test.xlsx");
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 读取Excel文件
* 如果文件类型不是excel类型的文件,将抛出一个异常
*
* @param filePath excel文件路径
* @throws Exception
* @author 申劭明
*/
public ReadExcel(String filePath) throws Exception {
boolean have = filePath.contains(".xlsx") || filePath.contains(".xls");
if (!have){
throw new Exception("文件类型不符合要求");
}
this.filePath = filePath;
//专家(评委会)表
List> experts = null;
//汇总表
List> totals = null;
try {
table = new Table(filePath);
Map>> map = table.getMap();
for (String sheetName : map.keySet()) {
//评委会中有专家信息,汇总中有公司名称等信息
boolean flag = sheetName.contains("评委会") || sheetName.contains("汇总") ;
if (flag){
//当前表格的所有数据
for (List