基于rabbitmq的日志系统（.NET和java）
很多年不写博客了，希望写一些东西总结总结。
我从2011年开始做工业软件生产执行系统架构，2016年对整体架构进行重新规划和重构。
我们MES架构中关于日志模块的设计思路，接下来我会介绍在MES业务下Java和MongoDB的一些思路总结
架构采用WebAPI，日志采用log4，中间用RabbitMQ进行分流，架构图如下：
框架采用MEF+Autofac的IOC框架，每个二次开发部分采用插件形式进行扩展开发，需要进行日志的项目统一引用MQProxy代理项目，通过代理项目采用WCF方式传输到MQHandler项目（127.0.0.1:9005），然后MQHandler调用各自方法（操作日志、异常日志、其它）放到RabbitMQ服务中；然后独立一个LogHandler服务（日志处理项目Windows服务）定时从RabbitMQ服务获取数据分量调用log4开源框架写入到txt文件中。
框架由于大数据的原因，覆写Java客户端，也往RabbitMQ服务写入消息，同样用上面的LogHandler服务进行日志的写入。
调用MQProxy项目，一句话输出日志：
//错误日志调用如下：
ClientMQProxy.Instance().SendErrorLog("Department/QueryMenu:" + ex.Message.ToString(), new StackTrace(new StackFrame(true)));
//异常日志调用如下：
ClientMQProxy.Instance().SendInfoLog("Department/QueryMenu:");IPlugin接口
MQProxy项目
internal interface IClientMQProxy
{
/// channelFactory = new ChannelFactory(binding, str_EndpointAddress);
IPlugin.IMQProxy iDataContract = channelFactory.CreateChannel();
channelFactory.Closing += new EventHandler(channelFactory_Closing);
channelFactory.Faulted += new EventHandler(channelFactory_Faulted);
return iDataContract;
}
} MQHandler项目
//日志Host启动WCF服务类
internal sealed class RunSelfHostLog
{
/// (Type obj, MemoryStream memoryStream)
{
DataContractSerializer dataContractSerializer = new DataContractSerializer(obj);//序列化对象
memoryStream.Position = 0;//归为偏移为0
T iBusMessage = (T)dataContractSerializer.ReadObject(memoryStream);
return iBusMessage;
}
}
分给如下3个类（LogErrorHandler.cs、LogInfoHandler.cs、其它）进行处理：
/// LogHandler日志处理项目，从RabbitMQ服务接收数据，通过定时器定时调用log4写入到txt中：
internal class MQBase
{
/// 在Java中呢，引用amqp等jar，如下：
同样声明RabbitMQ代理处理化类，如下：
package MES;
import org.w3c.dom.*;
import org.xml.sax.SAXException;
import javax.xml.parsers.DocumentBuilder;
import javax.xml.parsers.DocumentBuilderFactory;
import javax.xml.parsers.ParserConfigurationException;
import java.io.File;
import java.io.IOException;
import java.io.PrintWriter;
import java.io.StringWriter;
import java.util.Date;
/*
* MQ消息框架代理初始化
*/
public class MQProxyInit {
//MQ服务器地址
private static String strMQServerAddress = "";
//MQ服务器端口
private static int iMQServerPort = 5672;
//MQ用户名
private static String strMQUserName = "";
//MQ密码
private static String strMQPassword = "";
//心跳超时时间（默认60）
private static int iMQheartbeat = 60;
//文本构造器对象
private static DocumentBuilder db = null;
//文本对象
private static Document document = null;
static {
try {
DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
db = dbFactory.newDocumentBuilder();
} catch (ParserConfigurationException e) {
e.printStackTrace();
}
}
//构造函数
public MQProxyInit() {
}
//构造函数
public MQProxyInit(String xmlPath) {
try {
if (xmlPath == null || xmlPath == "")
return;
File file = new File(xmlPath);
if (!file.exists())
return;
document = db.parse(file);
if (document == null)
return;
NodeList list = document.getElementsByTagName("add");
if (list.getLength() == 0)
return;
for (int i = 0; i < list.getLength(); i++) {
//获取第i个add结点
Node keyNode = list.item(i);
//获取第i个add的所有属性
NamedNodeMap namedNodeMap = keyNode.getAttributes();
keyNode = namedNodeMap.getNamedItem("key");
Node valueNode = namedNodeMap.getNamedItem("value");
if (keyNode != null && valueNode != null) {
String strTmp = keyNode.getTextContent().trim();
if (strTmp.equals("MQServerAddress")) {
strMQServerAddress = valueNode.getTextContent();
}
if (strTmp.equals("MQServerPort")) {
String strPort = valueNode.getTextContent();
if (Common.isInteger(strPort))
iMQServerPort = Integer.parseInt(strPort);
}
if (strTmp.equals("MQUserName")) {
strMQUserName = valueNode.getTextContent();
}
if (strTmp.equals("MQPassword")) {
strMQPassword = valueNode.getTextContent();
}
}
}
MQBase mqbase = new MQBase(strMQServerAddress, iMQServerPort,strMQUserName,strMQPassword,iMQheartbeat);
} catch (IOException e) {
String strInfo = "处理 MQ代理配置初始化 有错误！错误如下：";
Common.FormatExceptionInfo(strInfo, e);
} catch (SAXException e) {
String strInfo = "处理 MQ代理配置初始化 有错误！错误如下：";
Common.FormatExceptionInfo(strInfo, e);
} catch (Exception e) {
String strInfo = "处理 MQ代理配置初始化 有错误！错误如下：";
Common.FormatExceptionInfo(strInfo, e);
}
}
}
同样需要一个MQBase.java进行消息处理类，每隔30秒用timer把队列数据放到RabbitMQ中：
package MES;
import com.rabbitmq.client.*;
import java.io.IOException;
import java.util.Date;
import java.util.LinkedList;
import java.util.Timer;
import java.util.TimerTask;
import java.util.concurrent.TimeoutException;
/*
* MQ消息处理
*/
public class MQBase {
// ip地址
private static String HostName = "127.0.0.1";
// 端口
private static int Port = 5672;
// 用户名
private static String UserName = "";
// 密码
private static String Password = "";
// 心跳超时时间（默认60秒）
private static int heartbeat = 60;
// 消息交换机“异常日志消息”
private final static String exchange_ErrorLog = "exchange_ErrorLog";
// Queue的“异常日志消息”
private final static String Queue_ErrorLog = "Queue_ErrorLog";
// routingKey的“异常日志消息”
private final static String routingKey_ErrorLog = "routingKey_ErrorLog";
// 消息交换机“操作日志消息”
private final static String exchange_InfoLog = "exchange_InfoLog";
// Queue的“操作日志消息”
private final static String Queue_InfoLog = "Queue_InfoLog";
// routingKey的“操作日志消息”
private final static String routingKey_InfoLog = "routingKey_InfoLog";
// rabbitmq客户端连接对象
private Connection connection;
// 用于发送消息的Channel
private Channel channel;
// 声明BasicProperties.Builder对象
private AMQP.BasicProperties.Builder builder;
// 声明BasicProperties对象
private AMQP.BasicProperties properties;
// 推送ErrorLog消息到MQ的时间组件
private static Timer timer_ErrorLog = new Timer();
// 推送InfoLog消息到MQ的时间组件
private static Timer timer_InfoLog = new Timer();
// 链表队列--Error日志
private static LinkedList linkedList_ErrorLog = new LinkedList<>();
// 链表队列——Info日志
private static LinkedList linkedList_InfoLog = new LinkedList<>();
// 构造函数
public MQBase(String strHostName, int iPort, String strUserName, String strPassword, int iheartbeat) {
HostName = strHostName;
Port = iPort;
UserName = strUserName;
Password = strPassword;
heartbeat = iheartbeat;
// 启动Timer组件执行
ScheduleTimer();
}
// 构造函数
public MQBase() {
}
// 创建一个IConnection
private Connection CreateConnection() throws IOException, TimeoutException {
//创建连接工厂
ConnectionFactory factory = new ConnectionFactory();
//设置RabbitMQ相关信息
factory.setHost(HostName);
factory.setUsername(UserName);
factory.setPassword(Password);
factory.setPort(Port);
factory.setRequestedHeartbeat(heartbeat);//心跳超时时间
factory.setAutomaticRecoveryEnabled(true);//自动重连
if(builder == null) {
//声明BasicProperties的Builder对象
builder = new AMQP.BasicProperties.Builder();
}
//deliveryMode=1代表不持久化，deliveryMode=2代表持久化
builder.deliveryMode(2);
if(properties == null) {
properties = builder.build();
}
//创建一个新的连接
return factory.newConnection();
}
// 发送异常日志消息到RabbitMQ
private boolean SendErrorLogMessage(String strLogContent) {
if (strLogContent == "")
return false;
try {
if (connection == null) {
//建立链接
connection = CreateConnection();
}
if (channel == null) {
//创建channel
channel = connection.createChannel();
}
//定义消息交换机为匹配key模式，如果 routing key 匹配, 那么Message就会被传递到相应的queue中。
channel.exchangeDeclare(exchange_ErrorLog, "direct");
//添加Queue_ErrorLog到队列
channel.queueDeclare(Queue_ErrorLog, true, false, false, null);
//通过绑定将指定的添加queue_name_1的队列、相同的RoutingKey名称使用Direct的Exchange方式进行关联
channel.queueBind(Queue_ErrorLog,//队列名
exchange_ErrorLog,//消息交换机名
routingKey_ErrorLog);//指定routingKey
//System.out.println("basicPublish" + Common.GetCurrentTime(true));
//Producer只能发送到exchange，它是不能直接发送到queue的
channel.basicPublish(exchange_ErrorLog,//发给指定的Exchange
routingKey_ErrorLog,//指定routing key只有匹配的可以收到
properties,//指定基本属性
strLogContent.getBytes());
//System.out.println("end" + Common.GetCurrentTime(true));
return true;
}
catch (Exception e) {
return false;
}
}
// 发送操作日志消息到RabbitMQ
private boolean SendInfoLogMessage(String strLogContent) {
if (strLogContent == "")
return false;
try {
if (connection == null) {
//建立链接
connection = CreateConnection();
}
if (channel == null) {
//创建channel
channel = connection.createChannel();
}
//定义消息交换机为匹配key模式，如果 routing key 匹配, 那么Message就会被传递到相应的queue中。
channel.exchangeDeclare(exchange_InfoLog, "direct");
//添加Queue_ErrorLog到队列
channel.queueDeclare(Queue_InfoLog, true, false, false, null);
//通过绑定将指定的添加queue_name_1的队列、相同的RoutingKey名称使用Direct的Exchange方式进行关联
channel.queueBind(Queue_InfoLog,//队列名
exchange_InfoLog,//消息交换机名
routingKey_InfoLog);//指定routingKey
//Producer只能发送到exchange，它是不能直接发送到queue的
channel.basicPublish(exchange_InfoLog,//发给指定的Exchange
routingKey_InfoLog,//指定routing key只有匹配的可以收到
properties,//指定基本属性
strLogContent.getBytes());
return true;
}
catch (Exception e) {
return false;
}
}
// 写入ErrorLog链表队列
public static void SendErrorLogMessageHandler(String strContent) {
linkedList_ErrorLog.addLast(strContent);
}
// 写入InfoLog链表队列
public static void SendInfoLogMessageHandler(String strContent) {
linkedList_InfoLog.addLast(strContent);
}
// 执行Timer组件开始
private static void ScheduleTimer() {
try {
Date day = new Date();
timer_ErrorLog.schedule(new TimerTask() {
public void run() {
if (!linkedList_ErrorLog.isEmpty()) {
StringBuilder sb = new StringBuilder();
Object[] tmp = linkedList_ErrorLog.toArray();
linkedList_ErrorLog.clear();
for (int i = 0; i < tmp.length; i++) {
sb.append(tmp[i] + "\r\n");
}
MQBase mqBase = new MQBase();
mqBase.SendErrorLogMessage(sb.toString());
}
}
}, day, 30000);
timer_InfoLog.schedule(new TimerTask() {
public void run() {
if (!linkedList_InfoLog.isEmpty()) {
StringBuilder sb = new StringBuilder();
Object[] tmp = linkedList_InfoLog.toArray();
linkedList_InfoLog.clear();
for (int i = 0; i < tmp.length; i++) {
sb.append(tmp[i] + "\r\n");
}
MQBase mqBase = new MQBase();
mqBase.SendInfoLogMessage(sb.toString());
}
}
}, day, 30000);
}
catch (Exception e) {
return;
}
}
// 取消timer
public static void cancel() {
try {
timer_ErrorLog.cancel();
timer_InfoLog.cancel();
}
catch (Exception e) {
return;
}
}
}
在Main.java中进行如下调用：
