mysql分表spring拦截器进行日志采集
需求: 要求对系统的所有操作进行日志记录
分表规则 仅供参考:
采取的是基于业务的模式:迫使用户无法进行跳页查询,什么意思呢,就是用户只能点击下一页或者上一页的方式浏览,具体的做法在于查询得到记录数的同时记录下当前唯一id值的最大值,然后再次查询的时候添加where 条件…让我们从头开始捋: 第一次查询pageNum=1,pageSize=10 ,maxId=0->sql:select * from db_x where id>0 limit 10; 然后分发到对应的库的表中,将得到的4*10条数据合并,再在内存中进行解析排序,取前10条数据,同时将第10条数据的id=maxId单独取出渲染到前端页面上保存,这样当点击下一页的时候,这个maxId=10也提交上去了,sql 变成了select * from db_x where id>10 limit 10,然后继续解析,继续保存…这种方式返回的数据都是稳定的并且数据是连贯的(排序)
mysql表
CREATE TABLE `tb_logging` (
`id` int(64) NOT NULL COMMENT 'id',
`class_name` varchar(64) DEFAULT NULL COMMENT '类名',
`method_name` varchar(64) DEFAULT NULL COMMENT '方法名',
`param` varchar(3000) DEFAULT NULL COMMENT '参数',
`url` varchar(512) DEFAULT NULL COMMENT '访问的url',
`ip` varchar(64) DEFAULT NULL COMMENT '操作人ip',
`create_user_id` varchar(64) DEFAULT NULL COMMENT '创建人id',
`create_time` datetime DEFAULT NULL COMMENT '创建时间',
`state_time` datetime DEFAULT NULL COMMENT '执行开始时间',
`end_time` datetime DEFAULT NULL COMMENT '执行结束时间',
`long_time` varchar(64) DEFAULT NULL COMMENT '耗时',
`method` varchar(32) DEFAULT NULL COMMENT '请求方式GET、POST...',
`module_name` varchar(512) DEFAULT NULL COMMENT '操作模块描述',
`return_value` varchar(521) DEFAULT NULL COMMENT '返回值',
`browser` varchar(128) DEFAULT NULL COMMENT '当前操作的浏览器',
`is_delete` tinyint(1) DEFAULT '0' COMMENT '是否删除 0、未删除 1、删除',
`state` varchar(32) DEFAULT NULL COMMENT '返回状态码',
PRIMARY KEY (`id`),
KEY `log_Joint_idx` (`is_delete`,`class_name`,`method_name`,`create_time`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='日志记录 用于新增修改删除等操作记录';
CREATE TABLE `tb_logging_select` (
`id` int(64) NOT NULL COMMENT 'id',
`class_name` varchar(64) DEFAULT NULL COMMENT '类名',
`method_name` varchar(64) DEFAULT NULL COMMENT '方法名',
`param` varchar(3000) DEFAULT NULL COMMENT '参数',
`url` varchar(512) DEFAULT NULL COMMENT '访问的url',
`ip` varchar(64) DEFAULT NULL COMMENT '操作人ip',
`create_user_id` varchar(64) DEFAULT NULL COMMENT '创建人id',
`create_time` datetime DEFAULT NULL COMMENT '创建时间',
`state_time` datetime DEFAULT NULL COMMENT '执行开始时间',
`end_time` datetime DEFAULT NULL COMMENT '执行结束时间',
`long_time` varchar(64) DEFAULT NULL COMMENT '耗时',
`method` varchar(32) DEFAULT NULL COMMENT '请求方式GET、POST...',
`module_name` varchar(512) DEFAULT NULL COMMENT '操作模块描述',
`return_value` varchar(521) DEFAULT NULL COMMENT '返回值',
`browser` varchar(128) DEFAULT NULL COMMENT '当前操作的浏览器',
`is_delete` tinyint(1) DEFAULT '0' COMMENT '是否删除 0、未删除 1、删除',
`state` varchar(32) DEFAULT NULL COMMENT '返回状态码',
PRIMARY KEY (`id`),
KEY `log_Joint_idx` (`is_delete`,`class_name`,`method_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='日志记录用于查询操作记录';实体类:
import lombok.Data;
import java.util.Date;
/**
* 项目名称：
* 类 名 称：TbLogging
* 类 描 述：TODO
* 创建时间：2020/6/11 19:30
* 创 建 人：heng
*/
@Data
public class TbLogging {
//id
private java.lang.Integer id;//id
//类名
private java.lang.String class_name;//类名
//方法名
private java.lang.String method_name;//方法名
//参数
private java.lang.String param;//参数
//访问的url
private java.lang.String url;//访问的url
//操作人ip
private java.lang.String ip;//操作人ip
//创建人id
private java.lang.String create_user_id;//创建人id
//创建时间
private Date create_time;//创建时间
//执行开始时间
private Date state_time;//执行开始时间
//执行结束时间
private Date end_time;//执行结束时间
//耗时
private java.lang.String long_time;//耗时
//请求方式GET、POST...
private java.lang.String method;//请求方式GET、POST...
//操作模块描述
private java.lang.String module_name;//操作模块描述 //操作模块描述
//返回值
private java.lang.String return_value;//返回值
//当前操作的浏览器
private java.lang.String browser;//当前操作的浏览器
//是否删除 0、未删除 1、删除
private java.lang.Integer is_delete;//是否删除 0、未删除 1、删除
private java.lang.String state;//操作模块描述
public Date getCreate_time() {
return create_time;
}
public void setCreate_time(Date create_time) {
this.create_time = create_time;
}
public Date getState_time() {
return state_time;
}
public void setState_time(Date state_time) {
this.state_time = state_time;
}
public Date getEnd_time() {
return end_time;
}
public void setEnd_time(Date end_time) {
this.end_time = end_time;
}
}
import lombok.Data;
import java.util.Date;
/**
* 项目名称：
* 类 名 称：TbLoggingSelect
* 类 描 述：TODO
* 创建时间：2020/6/11 19:30
* 创 建 人：heng
*/
@Data
public class TbLoggingSelect {
//id
private Integer id;//id
//类名
private String class_name;//类名
//方法名
private String method_name;//方法名
//参数
private String param;//参数
//访问的url
private String url;//访问的url
//操作人ip
private String ip;//操作人ip
//创建人id
private String create_user_id;//创建人id
//创建时间
private Date create_time;//创建时间
//执行开始时间
private Date state_time;//执行开始时间
//执行结束时间
private Date end_time;//执行结束时间
//耗时
private String long_time;//耗时
//请求方式GET、POST...
private String method;//请求方式GET、POST...
//操作模块描述
private String module_name;//操作模块描述 //操作模块描述
//返回值
private String return_value;//返回值
//当前操作的浏览器
private String browser;//当前操作的浏览器
//是否删除 0、未删除 1、删除
private Integer is_delete;//是否删除 0、未删除 1、删除
private String state;//操作模块描述
public Date getCreate_time() {
return create_time;
}
public void setCreate_time(Date create_time) {
this.create_time = create_time;
}
public Date getState_time() {
return state_time;
}
public void setState_time(Date state_time) {
this.state_time = state_time;
}
public Date getEnd_time() {
return end_time;
}
public void setEnd_time(Date end_time) {
this.end_time = end_time;
}
}
拦截器采集日志
id是用redis生成的小伙伴可以用别的
新增语句这里就不贴出来了
以下操作查询的放一个表
其他放一张表
package com.web.common.intercept;
import cn.hutool.core.date.DateUtil;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.serializer.SerializerFeature;
import com.web.common.controller.BaseController;
import com.web.entity.TbLogging;
import com.web.entity.TbLoggingSelect;
import nl.bitwalker.useragentutils.UserAgent;
import org.apache.commons.beanutils.BeanUtils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.method.HandlerMethod;
import org.springframework.web.servlet.ModelAndView;
import org.springframework.web.servlet.handler.HandlerInterceptorAdapter;
import redis.clients.jedis.Jedis;
import web.dao.hsdao.TbLoggingMapper;
import web.dao.hsdao.TbLoggingSelectMapper;
import web.util.JedisUtil;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.util.Date;
/**
* @ClassName SginAop
* @Description
* @Author heng
* @Date 2020/4/26 10:41
* @Version 1.0
*/
public class LogInterceptor extends HandlerInterceptorAdapter {
private final String redisKey = "LOG:LOGGING_KEY";
private final static Logger LOGGER = LoggerFactory.getLogger(LogInterceptor.class);
//请求开始时间标识
private static final String LOGGER_SEND_TIME = "_send_time";
//请求日志实体标识
private static final String LOGGER_ENTITY = "_logger_entity";
@Autowired
private TbLoggingSelectMapper tbLoggingSelectMapper;
@Autowired
private TbLoggingMapper tbLoggingMapper;
public Long incr(String key) {
Jedis jedis =JedisUtil.getJedis();
try {
return jedis.incr(key);
} finally {
if (null != jedis) {
jedis.close();
}
}
}
@Override
public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
if (handler.getClass().isAssignableFrom(HandlerMethod.class)) {
try {
TbLogging tbLogging = new TbLogging();
Long start_long_time = System.currentTimeMillis();
tbLogging.setState_time(DateUtil.date(start_long_time));
//获取ip
tbLogging.setIp(getRemoteHost(request));
//获取控制器的名字
tbLogging.setClass_name(((HandlerMethod) handler).getBean().getClass().getName());
//获取方法名
tbLogging.setMethod_name(((HandlerMethod) handler).getMethod().getName());
//获取请求参数信息
String param = JSON.toJSONString(request.getParameterMap(),
SerializerFeature.DisableCircularReferenceDetect,
SerializerFeature.WriteMapNullValue);
tbLogging.setParam(param);
try {
tbLogging.setCreate_user_id(new BaseController().obtainLoginUserId(request));
}catch (Exception ex){
LOGGER.info("拿到当前登录人失败");
}
//请求方法
tbLogging.setMethod(request.getMethod());
//请求url到后端的url
tbLogging.setUrl(request.getRequestURI());
//浏览器
//获取浏览器信息
String ua = request.getHeader("User-Agent");
//转成UserAgent对象
UserAgent userAgent = UserAgent.parseUserAgentString(ua);
tbLogging.setBrowser(userAgent.toString());
//获取返回值
//tbLogging.setReturn_value(response.getWriter().toString());
//设置请求开始时间
request.setAttribute(LOGGER_SEND_TIME, start_long_time);
//设置请求实体到request内，方便afterCompletion方法调用
request.setAttribute(LOGGER_ENTITY, tbLogging);
} catch (Exception e) {
LOGGER.info("日志添加失败");
}
}
return true;
}
@Override
public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {
}
@Override
public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {
try {
String uri = request.getRequestURI();
String contextPath = request.getContextPath();
if (StringUtils.length(contextPath) > 0) {
contextPath = StringUtils.substring(uri, contextPath.length());
}
TbLogging tbLogging = (TbLogging) request.getAttribute(LOGGER_ENTITY);
//获取请求错误码
int status = response.getStatus();
//当前时间
long currentTime = System.currentTimeMillis();
//请求开始时间
long time = Long.valueOf(request.getAttribute(LOGGER_SEND_TIME).toString());
//获取本次请求日志实体
tbLogging.setState(status+"");
//设置请求时间差
tbLogging.setLong_time((currentTime - time)+"");
tbLogging.setEnd_time(DateUtil.date(currentTime));
tbLogging.setCreate_time(DateUtil.date(currentTime));
// Long longId = IdUtil.createSnowflake(1, 1).nextId();
Long longId = incr(redisKey);
tbLogging.setId(longId.intValue());
if(tbLogging.getClass_name().indexOf("TbLoggingController") == -1){
if (contextPath.indexOf("search_") == -1
&& !tbLogging.getMethod_name().startsWith("search")
&& !tbLogging.getMethod_name().startsWith("get")
&& !tbLogging.getMethod_name().startsWith("query")
&& !tbLogging.getMethod_name().startsWith("find")
&& !tbLogging.getMethod_name().startsWith("select")
&& !tbLogging.getMethod_name().equals("index")) {
//执行将日志写入数据库，可以根据实际需求进行保存
// sysLogRepo.save(sysLog);
tbLoggingMapper.insertTbLogging(tbLogging);
}else {
TbLoggingSelect select = new TbLoggingSelect();
//把tbLogging的值给select
BeanUtils.copyProperties(select,tbLogging);
tbLoggingSelectMapper.insertTbLoggingSelect(select);
}
}
}catch (Exception e){
LOGGER.info("日志添加失败");
}
}
public int difference(Date nowDate, String decrypted){
return Math.abs((int)(nowDate.getTime()-Long.valueOf(decrypted))/1000);
}
/**
* @Title: getRemoteHost
* @Description: 获取Ip地址
* @return: String
* @version V1.0
*/
public String getRemoteHost(HttpServletRequest request) {
String ip = request.getHeader("x-forwarded-for");
if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
ip = request.getHeader("Proxy-Client-IP");
}
if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
ip = request.getHeader("WL-Proxy-Client-IP");
}
if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
ip = request.getHeader("HTTP_CLIENT_IP");
}
if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
ip = request.getHeader("HTTP_X_FORWARDED_FOR");
}
if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
ip = request.getRemoteAddr();
}
return ip.equals("0:0:0:0:0:0:0:1") ? "127.0.0.1" : ip;
}
}
以下操作用于查询
mapper.xml
/**
* 用于分表分页查询
* @param map
* @return
*/
List pageListTbLoggingSelectByObj(Map map);
int pageListTbLoggingSelectByObjCount(Map map);
/**
* 用于分表分页查询
* @param map
* @return
*/
List pageListTbLoggingByObj(Map map);
int pageListTbLoggingByObjCount(Map map);
service
package web.service.logging;
import com.web.common.util.PropertyValueChangeUtil;
import com.web.common.util.web.BeanRefUtil;
import com.web.entity.TbLogging;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import web.dao.hsdao.TbLoggingMapper;
import web.dao.hsdao.TbLoggingSelectMapper;
import web.util.ResultUtils;
import java.util.*;
/**
* 项目名称：
* 类 名 称：TbLoggingService
* 类 描 述：TODO
* 创建时间：2020/6/12 17:25
* 创 建 人：heng
*/
@Service
public class TbLoggingService {
@Autowired
private TbLoggingMapper tbLoggingMapper;
@Autowired
private TbLoggingSelectMapper tbLoggingSelectMapper;
public ResultUtils findLoging(Map map){
Integer pageSize = Integer.valueOf( map.get("pageSize").toString());
List tbLoggings = tbLoggingMapper.pageListTbLoggingByObj(map);
List tbLoggingSelects = tbLoggingSelectMapper.pageListTbLoggingSelectByObj(map);
int count1 = tbLoggingMapper.pageListTbLoggingByObjCount(map);
int count2 = tbLoggingSelectMapper.pageListTbLoggingSelectByObjCount(map);
tbLoggings.addAll(tbLoggingSelects);
List list = new ArrayList<>();
if (map.get("maxId") != null){
Collections.sort(tbLoggings, new Comparator() {
@Override
public int compare(TbLogging o1, TbLogging o2) {
if (o1.getId()> o2.getId()){
return 1;
}
if(o1.getId()< o2.getId()){
return -1;
}
return 0;
}
});
if (tbLoggings.size() >= pageSize){
list = tbLoggings.subList(0,pageSize);
}else {
list = tbLoggings;
}
Collections.sort(list, new Comparator() {
@Override
public int compare(TbLogging o1, TbLogging o2) {
if (o1.getId()< o2.getId()){
return 1;
}
if(o1.getId()> o2.getId()){
return -1;
}
return 0;
}
});
}else{
Collections.sort(tbLoggings, new Comparator() {
@Override
public int compare(TbLogging o1, TbLogging o2) {
if (o1.getId()< o2.getId()){
return 1;
}
if(o1.getId()> o2.getId()){
return -1;
}
return 0;
}
});
if (tbLoggings.size() >= pageSize){
list = tbLoggings.subList(0,pageSize);
}else {
list = tbLoggings;
}
}
List controller 这里的maxId和minId是存前端传来的第一次查询为空会查询全部的
然后排序各取10条进行合并分页 第一次查询后会把合并后的最大id和最小id存到前端等第二次点上一页或者下一页的时候传入
点下一页的时候传入 minId 点上一页的时候传入maxId因为是desc排序原因 只能传入一个 点上一页或者下一页传入
package com.web.controller;
import com.web.common.controller.BaseController;
import com.web.common.exception.BusinessException;
import com.web.common.util.ConstantValue;
import com.web.common.util.web.PagingObject;
import com.web.common.util.web.PangingUtils;
import org.apache.commons.collections.map.HashedMap;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import web.service.logging.TbLoggingService;
import web.util.ResultUtils;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.util.Map;
/**
* 项目名称：
* 类 名 称：TbLoggingController
* 类 描 述：TODO
* 创建时间：2020/6/12 17:15
* 创 建 人：heng
*/
@Controller
@RequestMapping("logging")
public class TbLoggingController {
@Autowired
TbLoggingService tbLoggingService;
/***
* 查询实体TbLoggingDto的分页列表
* @return
* @throws Exception
*/
@ResponseBody
@RequestMapping(value="/search_TbLogging.do")
public ResultUtils getListData(HttpServletRequest request , HttpServletResponse response)throws Exception {
try {
PagingObject init_pg = PangingUtils.getPagingObjectFormRequest(request);
Map map = new HashedMap();
map.put("create_time",request.getParameter("create_time"));
map.put("maxId",request.getParameter("maxId"));
map.put("minId",request.getParameter("minId"));
map.put("pageSize",10);
return tbLoggingService.findLoging(map);
} catch (Exception ex) {
logger.error("操作错误",ex);
ex.printStackTrace();
throw new BusinessException(ConstantValue.SYSTEM_ERROR_CODE,ConstantValue.SYSTEM_EROR_MESSAGE);
}
}
}