PHP：通过PHPexcel上传10W行数据到数据库
因为有一次性导入10W条左右的excel数据到数据库中，所以Sham需要想办法实现，导入同时还需要判断是否已经存在数据库里了，以下是实现方法和代码：
首先，通过一次性读取数据库数据，把用来判断的键值拼接，用MD5转码之后，作为key键值存入数组；
然后通过phpexcel读取excel数据，同样把用来判断的拼接转码，然后通过isset($array[$key])来判断，如有，则通过continue跳过当前循环进入下一轮循环，如果没有，则把当前行数据全部拼接到$sql中；
为了防止一次性提交导致系统崩溃，设定每5000行提交一次数据库，这样就实现了大量数据判断提交功能了；
Sham用的是阿里云最低配入门云主机，1核2G 1M 10%突发性，虽然cpu和内存都彪红，但是至少提交个10万条数据还是跑的起来的，不错
以下是优化后的全部代码
query($sql);
$begin = time();
$checkitems=array();
if($result){
while ($row = mysqli_fetch_array($result))
{
$checkitem=md5($row["orderdate"].$row["carid"].$row["prdid"]);
$checkitems[$checkitem]=1;
}
}
/**
//判断是否选择了要上传的表格
if ($_FILES['file']=="" ||$_FILES['file']==null ) {
echo "{".'"code": 0,'. '"msg": "你没有选择表格"'."}";
exit();
}
//获取表格的大小，限制上传表格的大小10M
elseif ($_FILES['file']['size']>10*1024*1024) {
echo "{".'"code": 0,'. '"msg": "上传失败，上传的表格不能超过10M的大小"'."}";
exit();
}
//限制上传表格类型
//$file_type = $_FILES['file']['type'];
//application/vnd.ms-excel 为xls文件类型
// if ($file_type!='application/vnd.ms-excel') {
// echo "";
// exit();
// }
**/
//判断表格是否上传成功
if (is_uploaded_file($_FILES['file']['tmp_name'])) {
//以上三步加载phpExcel的类
require_once '../public/PHPExcel/PHPExcel.php';
require_once '../public/PHPExcel/PHPExcel/IOFactory.php';
require_once '../public/PHPExcel/PHPExcel/Reader/Excel2007.php';
//链接数据库
require_once '../public/dbcon.php';
set_time_limit(0); //设定超时时间
//设置缓存，防止溢出
$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
$cacheSettings = array( 'memoryCacheSize' => '100MB');
PHPExcel_Settings::setCacheStorageMethod($cacheMethod,$cacheSettings);
$objReader = PHPExcel_IOFactory::createReader('Excel2007');
$objReader->setReadDataOnly(true); //只读取数据，不读取格式等
//接收存在缓存中的excel表格
$filename = $_FILES['file']['tmp_name'];
$objPHPExcel = $objReader->load($filename); //$filename可以是上传的表格，或者是指定的表格
$sheet = $objPHPExcel->getSheet(0);
$highestRow = $sheet->getHighestRow(); // 取得总行数
$highestColumn = $sheet->getHighestColumn(); // 取得总列数
$begin = time(); //开始时间
$donums =0; //开始计数
//循环读取excel表格,读取一条,插入一条
//j表示从哪一行开始读取 从第二行开始读取，因为第一行是标题不保存
//$a表示列号
for($j=2;$j<=$highestRow;$j++)
{
$id = ltrim($objPHPExcel->getActiveSheet()->getCell("A".$j)->getValue(), "'");//获取B列的值
$orderdate = gmdate("Y-m-d", PHPExcel_Shared_Date::ExcelToPHP($objPHPExcel->getActiveSheet()->getCell("B".$j)->getValue())); //获取C列的值
$series = ltrim($objPHPExcel->getActiveSheet()->getCell("C".$j)->getValue(), "'");//获取D列的值
$carid = ltrim($objPHPExcel->getActiveSheet()->getCell("D".$j)->getValue(), "'");
$prdtype = ltrim($objPHPExcel->getActiveSheet()->getCell("E".$j)->getValue(), "'");//获取D列的值
$prdid = ltrim($objPHPExcel->getActiveSheet()->getCell("F".$j)->getValue(), "'");//获取D列的值
$numbers = ltrim($objPHPExcel->getActiveSheet()->getCell("G".$j)->getValue(), "'");//获取D列的值
$shopname = ltrim($objPHPExcel->getActiveSheet()->getCell("H".$j)->getValue(), "'");//获取D列的值
$vendor = ltrim($objPHPExcel->getActiveSheet()->getCell("I".$j)->getValue(), "'");//获取D列的值
$remark = ltrim($objPHPExcel->getActiveSheet()->getCell("J".$j)->getValue(), "'");//获取D列的值
$checkitem = md5($orderdate.$carid.$prdid);
if(isset($checkitems[$checkitem])){
continue;
}else{
$sqls .= "('$orderdate','$series','$carid','$prdtype','$prdid','$numbers','$shopname','$vendor','$remark'),";
$donums +=1;
if($j%5000==0){ //每5000条提交一次数据库
$sql = 'INSERT INTO `s_info` (`orderdate`, `series`, `carid`, `prdtype`, `prdid`, `numbers`, `shopname`, `vendor`, `remark`) value'.rtrim($sqls, ",");
$result = $con->query($sql);
$sqls ='';
unset($sql);
$sql="";
}
}
}
//把剩余的一次性提交
$sql = 'INSERT INTO `s_info` (`orderdate`, `series`, `carid`, `prdtype`, `prdid`, `numbers`, `shopname`, `vendor`, `remark`) value'.rtrim($sqls, ",");
$result = $con->query($sql);
unset($sql);
$end = time(); //结束时间
$usedtime=$end-$begin; //计算耗时
$msg="提交了".$donums." 条,耗时".$usedtime." 秒";
echo "{".'"code": 0,'. '"msg": "'.$msg.'"'."}";
}
?>最后感谢大佬的热心帮助。
我是一个想做码农的行政文员