Eric
Eric

异步消息处理机制之KAFKA应用实例

本项目采用的是SpringMvc+原生JDBC开发的Java数据处理进程，用的是oracle数据库。
项目整体目录如下：
image.png

项目中用到的消息中间件主要有activeMQ和KAFKA两种，本篇主要介绍KAFKA
KAFKA数据的推和取，分为生产者和消费者。生产者定义一个topic，相当于一个数据队列，将数据推送至kafka的该topic下,消费者凭借该topic从kafka中按序列读取数据。实例代码实现如下：

首先是oracle数据库配置文件
image.png




  
    gess
    
    jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=135.224.21.131)(PORT=1521))(ADDRESS = (PROTOCOL = TCP)(HOST = 135.224.21.133)(PORT=1521))(LOAD_BALANCE=yes)(FAILOVER=on))(CONNECT_DATA=(SERVICE_NAME=iam)(FAILOVER_MODE=(TYPE=SESSION)(METHOD=BASIC))))
    
    
    oracle.jdbc.driver.OracleDriver
    
      
      
      
    
  
    1000
    1
       90000
    3600000 
    select CURRENT_DATE from DUAL

程序入口，main方法主体

/**
 * 
 */
package com.ustcinfo.kanms.alarmcollector.main;

import java.text.ParseException;
import com.ustcinfo.kanms.alarmcollector.framework.GesAlarmAnalysisInDBThreads;
import com.ustcinfo.kanms.alarmcollector.framework.GesAlarmInDBThreads;
import com.ustcinfo.kanms.alarmcollector.framework.UnusualAlarmAnalysisThreads;
import com.ustcinfo.kanms.alarmcollector.kafka.kafkaMessageReceiver;

/**
 * ================================================= 

 * 工程：GessAlarmCollector 

 * 类名：MainProcess 

 * 作者：lt 

 * 时间：2019-9-18下午02:57:59

 * 版本：Version 1.0 



 * 描述：系统入口

 * ================================================= 

 */
public class MainProcess {
    
    /**
     * 系统入口
     * @param args
     * @throws ParseException 
     */
    public static void main(String[] args) throws ParseException {
        
        // 初始化系统配置文件
        GlobleConfiguration.getInstance().initSysConfig();
        //启动Kafka consumer监视,获取告警数据
        new kafkaMessageReceiver(2).start();
        //启动数据入库线程（瞬断入库）
        new GesAlarmInDBThreads(2);
        //非瞬断告警分析入库
        new GesAlarmAnalysisInDBThreads(3);
        //异常告警查询对应活动告警
        new UnusualAlarmAnalysisThreads(2);
    }
}

全局化参数定义

/**
 * 
 */
package com.ustcinfo.kanms.alarmcollector.main;

import java.io.IOException;
import java.io.InputStream;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Properties;

import org.apache.activemq.ActiveMQConnection;
import org.apache.log4j.Appender;
import org.apache.log4j.FileAppender;
import org.apache.log4j.Logger;
import org.apache.log4j.PropertyConfigurator;

import com.ustcinfo.kanms.alarmcollector.util.ResourceLoaderUtil;

/**
 * ================================================= 

 * 工程：GessAlarmCollector 

 * 类名：GlobleConfiguration 

 * 作者：dlzhang 

 * 时间：2014-8-28下午06:45:11

 * 版本：Version 1.0 

 

 * 描述：初始化全局参数，保证配置数据只被加载一次

 * ================================================= 

 */
public class GlobleConfiguration {

    private static final Logger logger = Logger.getLogger(GlobleConfiguration.class);
    
    private static GlobleConfiguration instance;
    private GlobleConfiguration(){}
    
    public static final String LOG_CFG_FILE_NAME_DEFAULT = "log4j_alarm.properties";
    public static final String LOG_FILE_NAME_DEFAULT = "GessAlarmCollector.log";
    public static final String SYS_CFG_FILE_NAME_DEFAULT = "sys_config_alarm.properties";
    
    public static final String ACTIVE_MQ_RUL = "ACTIVE_MQ_RUL";
    public static final String ALARM_RECV_QUEUE_NAME = "ALARM_RECV_QUEUE_NAME";
    public static final String ALARM_BILL_REL_RECV_QUEUE_NAME = "ALARM_BILL_REL_RECV_QUEUE_NAME";
    public static final String ACTIVE_MQ_SEND_QUEUE_NAME = "ACTIVE_MQ_SEND_QUEUE_NAME";
    public static final String ACTIVE_MQ_USER = "ACTIVE_MQ_USER";
    public static final String ACTIVE_MQ_PASSWD = "ACTIVE_MQ_PASSWD";
    public static final String ACTIVE_MQ_USER_DEFAULT = ActiveMQConnection.DEFAULT_USER;
    public static final String ACTIVE_MQ_PASSWD_DEFAULT = ActiveMQConnection.DEFAULT_PASSWORD;
    public static final String KAFKA_RUL = "KAFKA_RUL";
    public static final String KAFKA_TOPIC = "KAFKA_TOPIC";
    public static final String KAFKA_QFYJ_TOPIC = "QFYJ_TOPIC";
    
    private String activeMqUrl;
    private String alarmRecvQueueName;
    private String alarmBillRelRecvQueueName;
    private String activeMqSendQueueName;
    private String activeMqUser;
    private String activeMqPasswd;
    private String kafkaUrl;
    private String kafkaTopic;
    private String  kafkaQFYJTopic;
    private String groupid;

    public void initSysConfig() {
        // 初始化日志
        initLogConfig(LOG_CFG_FILE_NAME_DEFAULT); // 本地测试需注掉
        
        logger.info("系统初始化：进程当前内存占用量(兆):" + (int)(Runtime.getRuntime().totalMemory()/(1048576)));
        Map configMap = loadSysConfigTrim(SYS_CFG_FILE_NAME_DEFAULT);
        this.activeMqUrl = configMap.get(ACTIVE_MQ_RUL);
        this.alarmRecvQueueName = configMap.get(ALARM_RECV_QUEUE_NAME);
        this.alarmBillRelRecvQueueName = configMap.get(ALARM_BILL_REL_RECV_QUEUE_NAME);
        this.activeMqSendQueueName = configMap.get(ACTIVE_MQ_SEND_QUEUE_NAME);
        this.activeMqUser = configMap.get(ACTIVE_MQ_USER);
        if(null == this.activeMqUser)
            this.activeMqUser = ACTIVE_MQ_USER_DEFAULT;
        this.activeMqPasswd = (String)configMap.get(ACTIVE_MQ_PASSWD);
        if(null == this.activeMqPasswd)
            this.activeMqPasswd = ACTIVE_MQ_PASSWD_DEFAULT;
        this.kafkaUrl = configMap.get(KAFKA_RUL);
        this.kafkaTopic = configMap.get(KAFKA_TOPIC);
        this.kafkaQFYJTopic = configMap.get(KAFKA_QFYJ_TOPIC);
        logger.debug(this.toString());
        logger.info("系统初始化完毕：进程当前内存占用量(兆):" + (int)(Runtime.getRuntime().totalMemory()/(1048576)));
    }
    
    /**
     * 加载配置文件
     * @param sysFile
     * @return
     */
    private Map loadSysConfigTrim(String sysFile) {
        if(null == sysFile)
            sysFile = SYS_CFG_FILE_NAME_DEFAULT;
        InputStream is = null;
        Properties props = null;
        Map cfgMap = null;
        String configPath = System.getenv("GESS_CONFIG");
        if(null != configPath && !"".equals(configPath)) {
            sysFile = configPath + "/" + sysFile;
        }
        logger.info("系统配置文件:" + sysFile);
        is = ResourceLoaderUtil.getResourceAsStream(sysFile);
        try {
            props = new Properties();
            props.load(is);
            cfgMap = new HashMap();
            for(Iterator it=props.keySet().iterator(); it.hasNext();) {
                String key = ((String)it.next()).trim();
                String value = props.getProperty(key).trim();
                cfgMap.put(key, value);
            }
        } catch (IOException e) {
            logger.error("加载配置文件失败", e);
        } finally {
            try {
                if (is != null)
                    is.close();
                is = null;
            } catch (IOException e) {
                logger.error("关闭IO流失败", e);
            }
        }
        return cfgMap;
    }
    
    /**
     *  初始化log4j配置文件
     */
    private void initLogConfig(String cfgFile) {
        if(null == cfgFile)
            cfgFile = LOG_CFG_FILE_NAME_DEFAULT;
        String cfgPath = System.getenv("GESS_CONFIG");
        // 没有配置环境变量则从当前目录找
        if(cfgPath == null || "".equals(cfgPath)) {
            cfgFile = "./" + cfgFile;
        } else {
            cfgFile = cfgPath + "/" + cfgFile;
        }
        PropertyConfigurator.configure(cfgFile);
        generateLogFileName(null);
        logger.info("日志配置文件:" + cfgFile);
    }
    
    /**
     * 生成日志文件名
     */
    private void generateLogFileName(String logFile) {
        if(null == logFile)
            logFile = LOG_FILE_NAME_DEFAULT;
        Appender app = Logger.getRootLogger().getAppender("R");
        if (app instanceof FileAppender) {
            FileAppender fileApp = (FileAppender) app;
            String logPath = System.getenv("GESS_LOG");
            // 没有配置环境变量则生成到当前目录
            if(logPath != null && !"".equals(logPath)) {
                logFile = logPath + "/" + logFile;
            }
            fileApp.setFile(logFile);
            fileApp.activateOptions();
        }
    }

    /* (non-Javadoc)
     * @see java.lang.Object#toString()
     */
    @Override
    public String toString() {
        return "GlobleConfiguration [activeMqPasswd=" + activeMqPasswd + ", activeMqSendQueueName="
                + activeMqSendQueueName + ", activeMqUrl=" + activeMqUrl + ", activeMqUser=" + activeMqUser
                + ", alarmBillRelRecvQueueName=" + alarmBillRelRecvQueueName + ", alarmRecvQueueName="
                + alarmRecvQueueName + "]";
    }

    /**
     * @return the instance
     */
    public static GlobleConfiguration getInstance() {
        if(null == instance)
            instance = new GlobleConfiguration();
        return instance;
    }

    /**
     * @return the activeMqUrl
     */
    public String getActiveMqUrl() {
        return activeMqUrl;
    }

    /**
     * @param activeMqUrl the activeMqUrl to set
     */
    public void setActiveMqUrl(String activeMqUrl) {
        this.activeMqUrl = activeMqUrl;
    }

    /**
     * @return the alarmRecvQueueName
     */
    public String getAlarmRecvQueueName() {
        return alarmRecvQueueName;
    }

    /**
     * @param alarmRecvQueueName the alarmRecvQueueName to set
     */
    public void setAlarmRecvQueueName(String alarmRecvQueueName) {
        this.alarmRecvQueueName = alarmRecvQueueName;
    }

    /**
     * @return the alarmBillRelRecvQueueName
     */
    public String getAlarmBillRelRecvQueueName() {
        return alarmBillRelRecvQueueName;
    }

    /**
     * @param alarmBillRelRecvQueueName the alarmBillRelRecvQueueName to set
     */
    public void setAlarmBillRelRecvQueueName(String alarmBillRelRecvQueueName) {
        this.alarmBillRelRecvQueueName = alarmBillRelRecvQueueName;
    }

    /**
     * @return the activeMqUser
     */
    public String getActiveMqUser() {
        return activeMqUser;
    }

    /**
     * @param activeMqUser the activeMqUser to set
     */
    public void setActiveMqUser(String activeMqUser) {
        this.activeMqUser = activeMqUser;
    }

    /**
     * @return the activeMqPasswd
     */
    public String getActiveMqPasswd() {
        return activeMqPasswd;
    }

    /**
     * @param activeMqPasswd the activeMqPasswd to set
     */
    public void setActiveMqPasswd(String activeMqPasswd) {
        this.activeMqPasswd = activeMqPasswd;
    }

    /**
     * @return the activeMqSendQueueName
     */
    public String getActiveMqSendQueueName() {
        return activeMqSendQueueName;
    }

    /**
     * @param activeMqSendQueueName the activeMqSendQueueName to set
     */
    public void setActiveMqSendQueueName(String activeMqSendQueueName) {
        this.activeMqSendQueueName = activeMqSendQueueName;
    }
    
    /**
     * @return the kafkaUrl
     */
    public String getKafkaUrl() {
        return kafkaUrl;
    }

    /**
     * @param kafkaUrl the kafkaUrl to set
     */
    public void setKafkaUrl(String kafkaUrl) {
        this.kafkaUrl = kafkaUrl;
    }
    /**
     * @return the kafkaTopic
     */
    public String getKafkaTopic() {
        return kafkaTopic;
    }

    /**
     * @param kafkaTopic the kafkaTopic to set
     */
    public void setKafkaTopic(String kafkaTopic) {
        this.kafkaTopic = kafkaTopic;
    }
    
    public String getKafkaQFYJTopic() {
        return kafkaQFYJTopic;
    }

    public void setKafkaQFYJTopic(String kafkaQFYJTopic) {
        this.kafkaQFYJTopic = kafkaQFYJTopic;
    }
    
    public String getGroupid() {
        return groupid;
    }

    public void setGroupid(String groupid) {
        this.groupid = groupid;
    }
} 
 
定义KFAKA的topic，kafka接受消息
 
 
/**
 * 
 */
package com.ustcinfo.kanms.alarmcollector.kafka;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.Date;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.Set;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;
import org.apache.log4j.Logger;
import redis.clients.jedis.Jedis;
import com.ustcinfo.kanms.alarmcollector.framework.ReadXML;
import com.ustcinfo.kanms.alarmcollector.main.GlobleConfiguration;
import com.ustcinfo.kanms.alarmcollector.model.GesAlarm;
import com.ustcinfo.kanms.alarmcollector.model.GesAlarmDto;
import com.ustcinfo.kanms.alarmcollector.util.JedisConfig;
import com.ustcinfo.kanms.alarmcollector.util.JsonUtil;
import com.ustcinfo.kanms.alarmcollector.util.escapeUtil;


/**
 * ================================================= 

 * 工程：AlarmAutoReceiver 

 * 类名：ActiveMQReceiver 

 * 作者：lt 

 * 时间：2019-9-23下午08:49:38

 * 版本：Version 1.0 



 * 描述：kafka接受消息

 *

 * ================================================= 

 */
public class kafkaMessageReceiver{
     private static final Logger logger = Logger.getLogger(kafkaMessageReceiver.class);
     private String kafkaTopic;
     private String kafkaUrl;
     private String groupId = "group01";
     private Lock lock;
     private List threadList = new ArrayList();
     
     private static Properties buildKafkaProperty(String brokers, String groupId){
            Properties properties = new Properties();
            properties.put("bootstrap.servers", brokers);
            properties.put("group.id", groupId);
            properties.put("enable.auto.commit", "true");
            properties.put("auto.commit.interval.ms", "1000");
            properties.put("session.timeout.ms", "30000");
            properties.put("auto.offset.reset", "earliest");
            properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            return properties;
        }
     
     public kafkaMessageReceiver(int n){
        //参数获取
         this.kafkaUrl = GlobleConfiguration.getInstance().getKafkaUrl();
         this.kafkaTopic = GlobleConfiguration.getInstance().getKafkaTopic();
         this.lock=new ReentrantLock();
         for(int i=0;i0){
                for(ConsumerThread at:threadList){
                    at.start();
                }
            }
        }
        
        class ConsumerThread extends Thread{
            private final KafkaConsumer consumer;
            Set assignment = new HashSet<>();
            public ConsumerThread(String name) {
                super(name);
                Properties properties = buildKafkaProperty(kafkaUrl,groupId);
                this.consumer = new KafkaConsumer<>(properties);
                this.consumer.subscribe(Arrays.asList(kafkaTopic));
            }

            public void run(){
                logger.info("告警接收线程"+this.getName()+"启动.....");
                try{
                    // 指定分区从末尾消费
                    ConsumerRecords consumerRecords_1 = consumer.poll(100);
                    assignment = consumer.assignment();
                    Map endOffsets = consumer.endOffsets(assignment);
                    for (TopicPartition tp : assignment) {
                        Long offset = endOffsets.get(tp);
                        //System.out.println("分区最新ossset= "+ offset + " ");
                        //获得上次接收数据的最大offset
                        //Long curoffset=gesAlarmDataBase.getOffsetMax();
                        System.out.println("分区 " + tp + " 从 " + offset + " 开始消费");
                        consumer.seek(tp, offset);
                    }
                    while(true){
                        ConsumerRecords consumerRecords = consumer.poll(100);
                        for (ConsumerRecord item : consumerRecords){
                            ConsumerThreadHandler(item,item.offset());
                        } 
                   }
                }catch (Exception e) {
                    logger.error("Unexpected error", e);
               } finally {
                   consumer.close();
               }
           }
            
        //告警处理过程
        private void ConsumerThreadHandler(ConsumerRecord item,Long offset){
            logger.info("收到原始告警："+item.value());
            GesAlarm gesAlarms=new GesAlarm();
            String xmlString ="";
            String xml=(String)item.value();
            if(xml.indexOf("<50-description>")>0){
                xmlString =xml.replace("<50-description>", "|50-description|");
            }else
                xmlString =xml;
           String xml_escape= escapeUtil.escapeHTMLTag(xmlString);
            //String s="
65.000165.0001.Itim_AlarmInfoPubServ.broadcast65.0001_20191228193946_753318691065.0001_20191228193946_7533186910V0.1001
XJ-AKS41031014501输入光功率(dBm)越限恢复(612603)输入光功率(dBm)越限恢复(612603)设备222.83.41.23(编码AKS-AWT-MSE-1.MAN.M6000;类型BRAS;型号M6000)告警: 输入光功率(dBm)越限恢复((rack = NA, shelf = 0, slot = 1, subslot = 1, port = 6, lane = 0, port_type = 131) <50-description> 15min low alarm disappear. Low thres is: -23.0000, Current value is: -15.8670.)11958316592019-12-28 19:39:412019-12-28 19:40:4900222.83.41.23M6000阿瓦提M60003输入光功率3]]>";
           // String xmlString= escapeUtil.escapeHTMLTag(s);
           if(xml_escape!=null){
               List alarmList=ReadXML.getAlarmValue(ReadXML.obtainBodyInfo(xml_escape));
                  if(alarmList!=null&&alarmList.size()>0){
                          for (GesAlarm gesAlarm : alarmList) {
                              gesAlarms=gesAlarm;
                              GesAlarmDto gesAlarmDto=new GesAlarmDto();
                                 gesAlarmDto.setAreaid(gesAlarms.getAreaid());
                                 gesAlarmDto.setAlarmtypeid(gesAlarms.getAlarmtypeid());
                                 gesAlarmDto.setAlarmproftype(gesAlarms.getAlarmproftype());
                                 gesAlarmDto.setAlarmclass(gesAlarms.getAlarmclass());
                                 gesAlarmDto.setAlarmlevel(gesAlarms.getAlarmlevel());
                                 gesAlarmDto.setSourceid(gesAlarms.getSourceid());
                              gesAlarmDto.setAlarmname(gesAlarms.getAlarmname());
                                 gesAlarmDto.setAlarmsummary(gesAlarms.getAlarmsummary());
                                 gesAlarmDto.setAlarmdetail(gesAlarms.getAlarmdetail());
                                 gesAlarmDto.setProbablecause(gesAlarms.getProbablecause());
                                 gesAlarmDto.setSrcalarmId(gesAlarms.getSrcalarmId());
                                 gesAlarmDto.setUserlabel(gesAlarms.getUserlabel());
                                 gesAlarmDto.setAditionalinfo(gesAlarms.getAditionalinfo());
                                 gesAlarmDto.setProposedadvise(gesAlarms.getProposedadvise());
                                 gesAlarmDto.setCollecttime(gesAlarms.getCollecttime());
                                 gesAlarmDto.setNealarmtime(gesAlarms.getNealarmtime());
                              gesAlarmDto.setResumeflag(gesAlarms.getResumeflag());
                                 gesAlarmDto.setResumetime(gesAlarms.getResumetime());
                                 gesAlarmDto.setGroupflag(gesAlarms.getGroupflag());
                                 gesAlarmDto.setBureauid(gesAlarms.getBureauid());
                                 gesAlarmDto.setReserve1(gesAlarms.getReserve1());
                                 gesAlarmDto.setReserve2(gesAlarms.getReserve2());
                                 gesAlarmDto.setReserve3(gesAlarms.getReserve3());
                                 gesAlarmDto.setReserve4(gesAlarms.getReserve4());
                                 gesAlarmDto.setReserve5(gesAlarms.getReserve5());
                                 gesAlarmDto.setReserve6(gesAlarms.getReserve6());
                              gesAlarmDto.setReserve7(gesAlarms.getReserve7());
                                 gesAlarmDto.setEnterqueuetime(new Date());
                                 //gesAlarmDto.setEnterlibrarytime(null);
                              //gesAlarmDto.setOffset(offset);
                          //告警过滤（哪些告警需要/不需要，现阶段都是通过策略中的告警名称来过滤）
                             boolean isuseful=alarmFilter(gesAlarmDto);
                           if(isuseful){
                               alarmPreHandle(gesAlarmDto);
                           }
                      }
               }  
           } 
        }
    }
    
    /**告警预处理
     * 
     * */
    private void alarmPreHandle(GesAlarmDto gesAlarmDto){
        if(gesAlarmDto.getResumeflag()==null){//为空，为修改告警
            return;
        }
        Jedis jedis=JedisConfig.getJedis();
        //在缓存集合中查询是否有对应的活动告警/恢复告警
        if(jedis!=null&&gesAlarmDto!=null){
        //if(gesAlarmDto!=null){
        //查询相同srcalarmid
        lock.lock();
        Set set=jedis.keys(gesAlarmDto.getSrcalarmId()+":*");//查询到相同的srcalarm_id
        JedisConfig.returnResource(jedis);
        if(set.size()==1){
            for (String s : set) {
                Jedis jedis_pop=JedisConfig.getJedis();
                String str=jedis_pop.rpop(s);//从队列中取出查询到的告警
                JedisConfig.returnResource(jedis_pop);
                
                GesAlarmDto searchalarm=JsonUtil.stringToBean(str, GesAlarmDto.class);
                
                if(searchalarm==null){//
                    Jedis jedis_push=JedisConfig.getJedis();
                    jedis_push.lpush(gesAlarmDto.getSrcalarmId()+":"+gesAlarmDto.getEnterqueuetime().getTime(),JsonUtil.beanToString(gesAlarmDto));
                    JedisConfig.returnResource(jedis_push);
                }
                else if(searchalarm!=null&&searchalarm.getSourceid().equals(gesAlarmDto.getSourceid())
                        &&searchalarm.getSrcalarmId().equals(gesAlarmDto.getSrcalarmId())
                        &&!searchalarm.getResumeflag().equals(gesAlarmDto.getResumeflag())){
                    searchalarm.setIdentify(2);
                    gesAlarmDto.setIdentify(2);
                    Jedis jedis_push=JedisConfig.getJedis();
                    jedis_push.lpush(searchalarm.getSrcalarmId()+":"+searchalarm.getEnterqueuetime().getTime(),JsonUtil.beanToString(searchalarm));
                    JedisConfig.returnResource(jedis_push);
                    
                    Jedis jedis_push2=JedisConfig.getJedis();
                    jedis_push2.lpush(gesAlarmDto.getSrcalarmId()+":"+gesAlarmDto.getEnterqueuetime().getTime(),JsonUtil.beanToString(gesAlarmDto));
                    JedisConfig.returnResource(jedis_push2);
                } else if(searchalarm!=null&&searchalarm.getSourceid().equals(gesAlarmDto.getSourceid())
                        &&searchalarm.getSrcalarmId().equals(gesAlarmDto.getSrcalarmId())
                        &&searchalarm.getResumeflag().equals(gesAlarmDto.getResumeflag())){
                    Jedis jedis_push3=JedisConfig.getJedis();
                    jedis_push3.lpush(searchalarm.getSrcalarmId()+":"+searchalarm.getEnterqueuetime().getTime(),JsonUtil.beanToString(searchalarm));
                    JedisConfig.returnResource(jedis_push3);
                    logger.info("取到重复告警,不入队列，srcalarm_id="+gesAlarmDto.getSrcalarmId());
                }else {
                    logger.info("~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~");
                }
            }
        }else if(set.size()>1){//队列中已经有一对瞬断告警，直接将此告警忽略不计
            logger.info("取到重复瞬断告警,不入队列，srcalarm_id="+gesAlarmDto.getSrcalarmId());
        }
        else{
            Jedis jedis_push4=JedisConfig.getJedis();
            jedis_push4.lpush(gesAlarmDto.getSrcalarmId()+":"+gesAlarmDto.getEnterqueuetime().getTime(), JsonUtil.beanToString(gesAlarmDto));
            JedisConfig.returnResource(jedis_push4);
        }
        lock.unlock();
     }
  }
        
    /**
     * 告警过滤（过滤有效告警）*/    
    private boolean alarmFilter(GesAlarmDto alarm){
        boolean isUseful=false;
        switch(alarm.getAlarmproftype().toString()){
            case "1"://数据
                isUseful=getShuJufiler(alarm);
                break;
            case "2":
                //isUseful=getChuanShufiler(alarm);
                isUseful=true;
                break;    
            case "3":
                //isUseful=getDongHuanfiler(alarm);
                isUseful= true;
                break;
            case "4":
                //isUseful=getWuXianfiler(alarm);
                isUseful= true;
                break;
            case "5":
                //isUseful=getJiaoHuanfiler(alarm);
                isUseful= true;
                break;
            case "6":
                //isUseful=getYeWuPingTaifiler(alarm);
                isUseful= true;
                break;
            case "7":
                isUseful=get4Gfiler(alarm);
                break;
            case "8":
                isUseful=getIPRANfiler(alarm);
                //isUseful=true;
                break;
            case "9":
                //isUseful=getZiJianKongfiler(alarm);
                isUseful=true;
                break;
            case "10":
                //isUseful=getQunZhangLanJiefiler(alarm);
                isUseful=true;
                break;
            case "11":
                isUseful=true;
                break;
            case "12":
                isUseful=true;
                break;
            default:
                isUseful=false;
        }
        return isUseful;
    }
    
    /**数据专业有效告警过滤*/
    private boolean getShuJufiler(GesAlarmDto alarm){
        if(alarm.getAlarmname().indexOf("华为主干断纤告警")>=0||alarm.getAlarmname().indexOf("中兴主干断纤告警")>=0
                ||alarm.getAlarmname().indexOf("烽火ONU设备掉电")>=0||alarm.getAlarmname().indexOf("中兴ONU设备掉电")>=0||alarm.getAlarmname().indexOf("华为ONU设备掉电")>=0
                ||alarm.getAlarmname().indexOf("中兴分支断纤告警")>=0||alarm.getAlarmname().indexOf("华为登录设备")>=0
                ||alarm.getAlarmname().indexOf("华为登陆设备")>=0){
            return false;
        }else if(alarm.getAlarmname().indexOf("SNMP_Link_Up")>=0&&alarm.getResumeflag()==0){
            return false;
        }else{
            return true;
        }
    }
    
    /**传输专业有效告警过滤*/
    private boolean getChuanShufiler(GesAlarmDto alarm){
        if(alarm.getAlarmname().indexOf("FAN_ALM")>=0||alarm.getAlarmname().indexOf("LINK_LOS")>=0
                ||alarm.getAlarmname().indexOf("PPI_LOS")>=0||alarm.getAlarmname().indexOf("TEMP_OVER")>=0
                ||alarm.getAlarmname().indexOf("0LS")>=0||alarm.getAlarmname().indexOf("ABSENCE_WARNING")>=0
                ||alarm.getAlarmname().indexOf("ALM_GFP_dCSF")>=0||alarm.getAlarmname().indexOf("BD_STATUS")>=0
                ||alarm.getAlarmname().indexOf("BIOS_STATUS")>=0||alarm.getAlarmname().indexOf("BUS_ERR")>=0
                ||alarm.getAlarmname().indexOf("CARD_TCT")>=0||alarm.getAlarmname().indexOf("CLIENT_PORT_PS")>=0
                ||alarm.getAlarmname().indexOf("COMFAIL")>=0||alarm.getAlarmname().indexOf("COMMUN_FAIL")>=0
                ||alarm.getAlarmname().indexOf("coolingFanFailure")>=0||alarm.getAlarmname().indexOf("DBMS_ERROR")>=0
                ||alarm.getAlarmname().indexOf("DCVOLDOWN")>=0||alarm.getAlarmname().indexOf("DCVOLOVER")>=0
                ||alarm.getAlarmname().indexOf("detectTemp")>=0||alarm.getAlarmname().indexOf("ELCMODALM")>=0
                ||alarm.getAlarmname().indexOf("ETH_LOS")>=0||alarm.getAlarmname().indexOf("etpieUnlink")>=0
                ||alarm.getAlarmname().indexOf("External1")>=0||alarm.getAlarmname().indexOf("External13")>=0
                ||alarm.getAlarmname().indexOf("FAIL")>=0||alarm.getAlarmname().indexOf("FAN_ALM")>=0
                ||alarm.getAlarmname().indexOf("FAN_FAIL")>=0||alarm.getAlarmname().indexOf("FAN_TEMPTURE")>=0
                ||alarm.getAlarmname().indexOf("fanMiss")>=0||alarm.getAlarmname().indexOf("HARD_BAD")>=0
                ||alarm.getAlarmname().indexOf("ILS")>=0||alarm.getAlarmname().indexOf("IN_PWR_ABN")>=0
                ||alarm.getAlarmname().indexOf("IN_PWR_FAIL")>=0||alarm.getAlarmname().indexOf("IN_PWR_HIGH")>=0
                ||alarm.getAlarmname().indexOf("IN_PWR_LOW")>=0||alarm.getAlarmname().indexOf("INPWR_FAIL")>=0
                ||alarm.getAlarmname().indexOf("INTRA_OTU_PS")>=0||alarm.getAlarmname().indexOf("IOP_HIGH")>=0
                ||alarm.getAlarmname().indexOf("IOP_LOW")>=0||alarm.getAlarmname().indexOf("IOP-HIGH")>=0
                ||alarm.getAlarmname().indexOf("IOP-LOW")>=0||alarm.getAlarmname().indexOf("laserOld")>=0
                ||alarm.getAlarmname().indexOf("LOF")>=0||alarm.getAlarmname().indexOf("LOS")>=0
                ||alarm.getAlarmname().indexOf("lossOfFrame")>=0||alarm.getAlarmname().indexOf("lossOfSignal")>=0
                ||alarm.getAlarmname().indexOf("LSR_WILL_DIE")>=0||alarm.getAlarmname().indexOf("M_S_DATA_MSIMATCH")>=0
                ||alarm.getAlarmname().indexOf("M_S_VER_MISMATCH")>=0||alarm.getAlarmname().indexOf("ModuleTemp-TCA")>=0
                ||alarm.getAlarmname().indexOf("MS_SNCP_PS")>=0||alarm.getAlarmname().indexOf("MS-PSE")>=0
                ||alarm.getAlarmname().indexOf("MUT_LOS")>=0||alarm.getAlarmname().indexOf("MUT_TLOS")>=0
                ||alarm.getAlarmname().indexOf("NE_COMMU_BREAK")>=0||alarm.getAlarmname().indexOf("NE_NOT_LOGIN")>=0
                ||alarm.getAlarmname().indexOf("OA_LOW_GAIN")>=0||alarm.getAlarmname().indexOf("ODU_SNCP_PS")>=0
                ||alarm.getAlarmname().indexOf("ODUK_PS")>=0||alarm.getAlarmname().indexOf("ODUK_SNCP_PS")>=0
                ||alarm.getAlarmname().indexOf("OOF")>=0||alarm.getAlarmname().indexOf("OPT_LESS_INPUT")>=0
                ||alarm.getAlarmname().indexOf("OPT_NO_INPUT")>=0||alarm.getAlarmname().indexOf("OPT_OFFSET_UP")>=0
                ||alarm.getAlarmname().indexOf("OPT_OVER_INPUT")>=0||alarm.getAlarmname().indexOf("OSC_LOS")>=0
                ||alarm.getAlarmname().indexOf("OTN_LOF")>=0||alarm.getAlarmname().indexOf("OTRX_ABSENT")>=0
                ||alarm.getAlarmname().indexOf("OTS_LOS")>=0||alarm.getAlarmname().indexOf("OTS_LOS-P")>=0
                ||alarm.getAlarmname().indexOf("OTU_LOF")>=0||alarm.getAlarmname().indexOf("OVER_BRD_TMP")>=0
                ||alarm.getAlarmname().indexOf("OVER_ENV_TMP")>=0||alarm.getAlarmname().indexOf("OWSP_PS")>=0
                ||alarm.getAlarmname().indexOf("PG_P_FAIL")>=0||alarm.getAlarmname().indexOf("PG_SWITCH")>=0
                ||alarm.getAlarmname().indexOf("PLM")>=0||alarm.getAlarmname().indexOf("POWER_ABNORMAL")>=0
                ||alarm.getAlarmname().indexOf("POWER_FAIL")>=0||alarm.getAlarmname().indexOf("POWER_HIGH_48V")>=0
                ||alarm.getAlarmname().indexOf("POWER_LOW_48V")>=0||alarm.getAlarmname().indexOf("POWERALM")>=0
                ||alarm.getAlarmname().indexOf("POWERALM")>=0||alarm.getAlarmname().indexOf("powerBox1Port1NoInput")>=0
                ||alarm.getAlarmname().indexOf("powerBox2Port1NoInput")>=0||alarm.getAlarmname().indexOf("powerProblem")>=0
                ||alarm.getAlarmname().indexOf("powerSupplyFailure")>=0||alarm.getAlarmname().indexOf("protectionSwitchEvent")>=0
                ||alarm.getAlarmname().indexOf("PS")>=0||alarm.getAlarmname().indexOf("PSE")>=0
                ||alarm.getAlarmname().indexOf("PUMP_SD")>=0||alarm.getAlarmname().indexOf("PUMP_TF")>=0
                ||alarm.getAlarmname().indexOf("PW_INPUT_FAIL")>=0||alarm.getAlarmname().indexOf("PW_SHELL_NO_INPUT")>=0
                ||alarm.getAlarmname().indexOf("PW_SHELL_NO_OUTPUT")>=0||alarm.getAlarmname().indexOf("PWR_MAJ_ALM")>=0
                ||alarm.getAlarmname().indexOf("PWR_TEMP_HIGH")>=0||alarm.getAlarmname().indexOf("PWR_TEMP_OVERTH")>=0
                ||alarm.getAlarmname().indexOf("R_LOF")>=0||alarm.getAlarmname().indexOf("R_OOF")>=0
                ||alarm.getAlarmname().indexOf("replaceableUnitMissing")>=0||alarm.getAlarmname().indexOf("replaceableUnitProblem")>=0
                ||alarm.getAlarmname().indexOf("RLOS")>=0||alarm.getAlarmname().indexOf("RS_EXC")>=0||alarm.getAlarmname().indexOf("RS_LOF")>=0
                ||alarm.getAlarmname().indexOf("RS_SD")>=0||alarm.getAlarmname().indexOf("SD")>=0||alarm.getAlarmname().indexOf("SHELF_ABSENCE")>=0
                ||alarm.getAlarmname().indexOf("signalQualityEvaluationFailure")>=0||alarm.getAlarmname().indexOf("SNCP_FAIL")>=0
                ||alarm.getAlarmname().indexOf("SNCP_INDI")>=0||alarm.getAlarmname().indexOf("SUBRACK_COMM_PS")>=0
                ||alarm.getAlarmname().indexOf("SW_FAIL")>=0||alarm.getAlarmname().indexOf("SW_SNCP_PS")>=0||alarm.getAlarmname().indexOf("SWR")>=0
                ||alarm.getAlarmname().indexOf("SWTR")>=0||alarm.getAlarmname().indexOf("TD")>=0||alarm.getAlarmname().indexOf("TEMP_ALAM")>=0
                ||alarm.getAlarmname().indexOf("TEMP_OVER")>=0||alarm.getAlarmname().indexOf("TF")>=0||alarm.getAlarmname().indexOf("TLIMIT")>=0){
            return true;
        }else
            return false;
    }
    
    /**IPRAN专业有效告警过滤*/
    private boolean getIPRANfiler(GesAlarmDto alarm){
        if(alarm.getResumeflag().equals("0")&&alarm.getReserve5().equals("IPRAN")){
            return false;
        }else return true;
        /*if(alarm.getAlarmname().indexOf("NODE DOWN")>=0||alarm.getAlarmname().indexOf("IPRAN PING告警")>=0
                ||alarm.getAlarmname().indexOf("端口链路状态DOWN")>=0||alarm.getAlarmname().indexOf("IPRAN 板卡CPU占用率阈值")>=0
                ||alarm.getAlarmname().indexOf("温度门限超出告警")>=0||alarm.getAlarmname().indexOf("IPRAN 温度告警")>=0
                ||alarm.getAlarmname().indexOf("ISIS状态DOWN")>=0||alarm.getAlarmname().indexOf("板卡异常告警")>=00){
            return true;
        }else
            return false;*/
    }
    
    /**动环专业有效告警过滤*/
    private boolean getDongHuanfiler(GesAlarmDto alarm){
        if(alarm.getAlarmname().indexOf("供电系统故障")>=0||alarm.getAlarmname().indexOf("UPS故障")>=0
                ||alarm.getAlarmname().indexOf("防盗")>=0||alarm.getAlarmname().indexOf("空调故障")>=0
                ||alarm.getAlarmname().indexOf("门禁")>=0||alarm.getAlarmname().indexOf("市电停电")>=0
                ||alarm.getAlarmname().indexOf("水浸")>=0||alarm.getAlarmname().indexOf("通讯故障")>=0
                ||alarm.getAlarmname().indexOf("温度")>=0||alarm.getAlarmname().indexOf("温度故障")>=0
                ||alarm.getAlarmname().indexOf("烟感")>=0||alarm.getAlarmname().indexOf("油机故障")>=0
                ||alarm.getAlarmname().indexOf("油机启动")>=0||alarm.getAlarmname().indexOf("油机重大故障")>=0
                ||alarm.getAlarmname().indexOf("与服务器通信异常故障（服务器与智能网管断连）")>=0
                ||alarm.getAlarmname().indexOf("整流模块故障")>=0||alarm.getAlarmname().indexOf("直流电压故障")>=0
                ||alarm.getAlarmname().indexOf("直流熔丝断故障故障")>=0){
            return true;
        }else
            return false;
    }
    
    /**无线专业有效告警过滤*/
    private boolean getWuXianfiler(GesAlarmDto alarm){
        if(alarm.getAlarmname().indexOf("24小时闪断统计告警（只针对乌鲁木齐派单，且由PPP链路故障告警引起的不派单）")>=0
                ||alarm.getAlarmname().indexOf("30分钟闪断统计告警")>=0||alarm.getAlarmname().indexOf("A10/A11接口链路故障")>=0
                ||alarm.getAlarmname().indexOf("A12接口鉴权通道故障")>=0||alarm.getAlarmname().indexOf("A12链路不通或者AN AAA故障")>=0
                ||alarm.getAlarmname().indexOf("A13/A16接口通道故障")>=0||alarm.getAlarmname().indexOf("A17信令链路连接中断")>=0
                ||alarm.getAlarmname().indexOf("AAA接口模块绑定socket失败")>=0||alarm.getAlarmname().indexOf("Abis口以太网连接断")>=0
                ||alarm.getAlarmname().indexOf("Abis口以太网上层链路建链不成功")>=0||alarm.getAlarmname().indexOf("Abis链路断")>=0
                ||alarm.getAlarmname().indexOf("AN-AAA鉴权不可达")>=0||alarm.getAlarmname().indexOf("AN和AN AAA间的A12链路不通或者AN AAA故障")>=0
                ||alarm.getAlarmname().indexOf("BAM与SAU连接中断")>=0||alarm.getAlarmname().indexOf("BAM与中心框SCU中断")>=0
                ||alarm.getAlarmname().indexOf("BBU单板维护链路异常告警")>=0||alarm.getAlarmname().indexOf("BBU光模块接收异常告警")>=0
                ||alarm.getAlarmname().indexOf("BBU光模块性能恶化告警")>=0||alarm.getAlarmname().indexOf("BFD会话Down")>=0
                ||alarm.getAlarmname().indexOf("BSC与BTS通信中断")>=0||alarm.getAlarmname().indexOf("BTS掉站")>=0
                ||alarm.getAlarmname().indexOf("BTS掉站未探测到RTR")>=0
                ||alarm.getAlarmname().indexOf("CDT（呼叫详细跟踪）的FTP Server与网元OMP之间的链路异常")>=0
                ||alarm.getAlarmname().indexOf("CTML链路断开")>=0||alarm.getAlarmname().indexOf("DSP资源不可用 ")>=0
                ||alarm.getAlarmname().indexOf("E1/T1滑帧超限告警")>=0||alarm.getAlarmname().indexOf("GE选路异常")>=0
                ||alarm.getAlarmname().indexOf("GPS/Glonass/北斗接收机天馈短路")>=0||alarm.getAlarmname().indexOf("MLPPP组故障告警")>=0
                ||alarm.getAlarmname().indexOf("MTP3局向不可达 ")>=0||alarm.getAlarmname().indexOf("MTP3链路不可用")>=0
                ||alarm.getAlarmname().indexOf("PA去使能")>=0||alarm.getAlarmname().indexOf("PDSN/HSGW处于功能异常状态")>=0
                ||alarm.getAlarmname().indexOf("PDSN处于功能异常状态")>=0||alarm.getAlarmname().indexOf("PWRD485通信链路断")>=0
                ||alarm.getAlarmname().indexOf("SCCP子系统不可用")>=0||alarm.getAlarmname().indexOf("SDH/SONET：信号丢失")>=0
                ||alarm.getAlarmname().indexOf("STC局向不可达")>=0||alarm.getAlarmname().indexOf("TRUNK端口down")>=0
                ||alarm.getAlarmname().indexOf("TRUNK通信能力不足")>=0||alarm.getAlarmname().indexOf("包含“驻波”的告警")>=0
                ||alarm.getAlarmname().indexOf("备用BAM故障告警")>=0||alarm.getAlarmname().indexOf("备用BAM数据同步异常告警")>=0
                ||alarm.getAlarmname().indexOf("单板不在位")>=0||alarm.getAlarmname().indexOf("单板对外端口down")>=0
                ||alarm.getAlarmname().indexOf("单板离线或CPU处于长期复位状态")>=0||alarm.getAlarmname().indexOf("单板时钟异常故障")>=0
                ||alarm.getAlarmname().indexOf("单板硬件故障告警")>=0||alarm.getAlarmname().indexOf("单板子系统故障")>=0
                ||alarm.getAlarmname().indexOf("电池欠压告警")>=0||alarm.getAlarmname().indexOf("掉电报警")>=0
                ||alarm.getAlarmname().indexOf("反向链路RSSI(接收信号强度指示)低")>=0||alarm.getAlarmname().indexOf("反向链路RSSI(接收信号强度指示)高")>=0
                ||alarm.getAlarmname().indexOf("风扇堵转")>=0||alarm.getAlarmname().indexOf("风扇堵转告警")>=0||alarm.getAlarmname().indexOf("风扇故障")>=0
                ||alarm.getAlarmname().indexOf("干接点告警（机房交流停电告警、电池电压过低告警、交流停电、直流欠压）")>=0||alarm.getAlarmname().indexOf("光口0 信号丢失")>=0
                ||alarm.getAlarmname().indexOf("光口反向帧失锁")>=0||alarm.getAlarmname().indexOf("光口光模块不在位")>=0||alarm.getAlarmname().indexOf("光口光模块无光")>=0
                ||alarm.getAlarmname().indexOf("光口环回检测异常")>=0||alarm.getAlarmname().indexOf("光口上行帧失锁")>=0||alarm.getAlarmname().indexOf("光口信号劣化告警(RSD)")>=0
                ||alarm.getAlarmname().indexOf("光口信号失效告警(RSF)")>=0||alarm.getAlarmname().indexOf("光口支路单元指示告警")>=0||alarm.getAlarmname().indexOf("光口支路告警指示信号告警(AIS)")>=0
                ||alarm.getAlarmname().indexOf("机柜输入电压异常告警")>=0||alarm.getAlarmname().indexOf("基站操作维护链路中断")>=0||alarm.getAlarmname().indexOf("基站时钟不可用告警")>=0
                ||alarm.getAlarmname().indexOf("口支路单元告警指示信号告警(TUAIS)")>=0||alarm.getAlarmname().indexOf("框间链路中断")>=0
                ||alarm.getAlarmname().indexOf("拉远射频单元维护链路异常告警")>=0||alarm.getAlarmname().indexOf("没有可用的UPCF资源")>=0
                ||alarm.getAlarmname().indexOf("模块心跳丢失")>=0||alarm.getAlarmname().indexOf("目的信令点不可访问")>=0
                ||alarm.getAlarmname().indexOf("偶联断链")>=0||alarm.getAlarmname().indexOf("偶联通路断")>=0
                ||alarm.getAlarmname().indexOf("七号信令链路不可用")>=0||alarm.getAlarmname().indexOf("射频单元光模块/SFP接口电缆不在位告警")>=0
                ||alarm.getAlarmname().indexOf("射频单元光模块接收异常告警")>=0||alarm.getAlarmname().indexOf("射频单元光模块性能恶化告警")>=0
                ||alarm.getAlarmname().indexOf("射频单元交流掉电告警")>=0||alarm.getAlarmname().indexOf("时钟模块故障")>=0
                ||alarm.getAlarmname().indexOf("搜星不成功")>=0||alarm.getAlarmname().indexOf("天馈驻波比严重异常")>=0
                ||alarm.getAlarmname().indexOf("天馈驻波比严重异常故障")>=0||alarm.getAlarmname().indexOf("天馈驻波比一般异常")>=0
                ||alarm.getAlarmname().indexOf("网口心跳链路故障告警")>=0||alarm.getAlarmname().indexOf("网元代理链路断")>=0
                ||alarm.getAlarmname().indexOf("网元和OMC断链")>=0||alarm.getAlarmname().indexOf("未探测到CC")>=0
                ||alarm.getAlarmname().indexOf("未探测到CH/CVI")>=0||alarm.getAlarmname().indexOf("未探测到FS")>=0
                ||alarm.getAlarmname().indexOf("未探测到GCM")>=0||alarm.getAlarmname().indexOf("未探测到PM")>=0
                ||alarm.getAlarmname().indexOf("未探测到RTR")>=0||alarm.getAlarmname().indexOf("未探测到SA")>=0
                ||alarm.getAlarmname().indexOf("温度告警")>=0||alarm.getAlarmname().indexOf("无可用SPCF资源")>=0
                ||alarm.getAlarmname().indexOf("系统时钟参考源不可用告警")>=0||alarm.getAlarmname().indexOf("下联光口信号丢失")>=0
                ||alarm.getAlarmname().indexOf("下联光口帧信号丢失")>=0||alarm.getAlarmname().indexOf("小区退服")>=0
                ||alarm.getAlarmname().indexOf("小区退服BSC与BTS通信中断")>=0||alarm.getAlarmname().indexOf("星卡工作异常告警")>=0
                ||alarm.getAlarmname().indexOf("星卡锁星不足告警")>=0||alarm.getAlarmname().indexOf("星卡天线故障告警")>=0
                ||alarm.getAlarmname().indexOf("星卡天线搜星异常告警")>=0||alarm.getAlarmname().indexOf("业务单板心跳丢失")>=0
                ||alarm.getAlarmname().indexOf("语音呼叫成功率低于门限值")>=0||alarm.getAlarmname().indexOf("直流输入电压欠压")>=0
                ||alarm.getAlarmname().indexOf("中继线不可用")>=0||alarm.getAlarmname().indexOf("中继线错误")>=0
                ||alarm.getAlarmname().indexOf("主备SCU板间通信故障告警")>=0||alarm.getAlarmname().indexOf("主备通信链路断")>=0
                ){
            return true;
        }else
            return false;
    }
    
    /**交换专业有效告警过滤*/
    private boolean getJiaoHuanfiler(GesAlarmDto alarm){
        return true;
    }
    
    /**业务平台专业有效告警过滤*/
    private boolean getYeWuPingTaifiler(GesAlarmDto alarm){
        return true;
    }
        
    /**4G专业有效告警过滤*/
    private boolean get4Gfiler(GesAlarmDto alarm){
        /*if(alarm.getAlarmname().indexOf("小区不可用")>=0||alarm.getAlarmname().indexOf("3/4G大面积RRU退服")>=0
                ||alarm.getAlarmname().indexOf("3/4G大面积断站")>=0||alarm.getAlarmname().indexOf("CELL FAULTY")>=0
                ||alarm.getAlarmname().indexOf("GNSS接收机搜星故障")>=0||alarm.getAlarmname().indexOf("GNSS天馈链路故障")>=0
                ||alarm.getAlarmname().indexOf("LTE小区退出服务")>=0||alarm.getAlarmname().indexOf("NE O&M CONNECTION FAILURE")>=0
                ||alarm.getAlarmname().indexOf("NE OandM CONNECTION FAILURE")>=0
                ||alarm.getAlarmname().indexOf("RRU掉电告警")>=0||alarm.getAlarmname().indexOf("RRU链路断")>=0
                ||alarm.getAlarmname().indexOf("RX通道异常(198098469)")>=0||alarm.getAlarmname().indexOf("X2断链告警")>=0
                ||alarm.getAlarmname().indexOf("单板不在位")>=0||alarm.getAlarmname().indexOf("单板通讯链路断")>=0
                ||alarm.getAlarmname().indexOf("单板温度异常")>=0||alarm.getAlarmname().indexOf("单板硬件故障")>=0
                ||alarm.getAlarmname().indexOf("风扇故障")>=0||alarm.getAlarmname().indexOf("光口接收帧失锁")>=0
                ||alarm.getAlarmname().indexOf("光口未接收到光信号")>=0||alarm.getAlarmname().indexOf("光模块不可用")>=0
                ||alarm.getAlarmname().indexOf("光模块接收光功率异常")>=0||alarm.getAlarmname().indexOf("基站退出服务")>=0
                ||alarm.getAlarmname().indexOf("基站退出服务andRRU链路断")>=0||alarm.getAlarmname().indexOf("进风口温度异常")>=0
                ||alarm.getAlarmname().indexOf("没有可用的空口时钟源")>=0||alarm.getAlarmname().indexOf("设备掉电")>=0
                ||alarm.getAlarmname().indexOf("瞬断告警")>=0||alarm.getAlarmname().indexOf("天馈驻波比异常")>=0
                ||alarm.getAlarmname().indexOf("外部扩展设备异常")>=0||alarm.getAlarmname().indexOf("网元断链告警")>=0
                ||alarm.getAlarmname().indexOf("网元断链告警")>=0||alarm.getAlarmname().indexOf("网元连接中断")>=0
                ||alarm.getAlarmname().indexOf("严重大面积断站")>=0||alarm.getAlarmname().indexOf("严重大面积断站")>=0){
        return true;
        }else
            return false;*/
        if(alarm.getAlarmname().indexOf("射频单元启动事件")>=0||alarm.getAlarmname().indexOf("性能结果丢失")>=0){
            return false;
        }else{
            return true;
        }
    }    
    
    /**自监控专业有效告警过滤*/
    private boolean getZiJianKongfiler(GesAlarmDto alarm){
        return true;
    }
    
    /**群障拦截专业有效告警过滤*/
    private boolean getQunZhangLanJiefiler(GesAlarmDto alarm){
        return true;
    }

}
 
 
生产者Handler ProducerHandler
 
 
package com.ustcinfo.kanms.alarmcollector.kafka;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.log4j.Logger;
 

import com.ustcinfo.kanms.alarmcollector.main.GlobleConfiguration;

import java.util.Properties;

public class ProducerHandler{
    private final KafkaProducer producer;
    private static Logger logger = Logger.getLogger(ProducerHandler.class.getName());
    private String kafkaUrl;
    
    public ProducerHandler(String topic,String message) {
        this.kafkaUrl = GlobleConfiguration.getInstance().getKafkaUrl();
        Properties props = new Properties();
        //此处配置的是kafka的端口  
        props.put("bootstrap.servers",kafkaUrl); 
        props.put("acks", "all");
        props.put("retries", "0");
        props.put("batch.size", "16384");
        props.put("linger.ms", "1");
        props.put("buffer.memory", "33554432");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        producer = new KafkaProducer(props);
        //生成消息
        ProducerRecord record = new ProducerRecord(topic,message);
        //发送消息
        producer.send(record);
        logger.info("【kafka】向Kafka的TOPIC【" + topic + "】中发送消息");
        logger.info("【kafka】消息内容：" + message);
        logger.info("【kafka】推送成功");
    }
}
 
 
生产者Worker ProducerWorker
 
 
package com.ustcinfo.kanms.alarmcollector.kafka;

import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.log4j.Logger;

public class ProducerWorker implements Runnable{
    private ProducerRecord producerRecord;
     
    public ProducerWorker(ProducerRecord record) {
        this.producerRecord = record;
    }
 
    private static Logger logger = Logger.getLogger(ProducerWorker.class.getName());
 
    public void run() {
        System.out.println(producerRecord.value());
    }
}
 
 
消费者Handler ConsumerHandler
 
 
package com.ustcinfo.kanms.alarmcollector.kafka;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer; 
import org.apache.log4j.Logger;
import com.ustcinfo.kanms.alarmcollector.main.GlobleConfiguration;

import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

import javax.xml.datatype.Duration;

public class ConsumerHandler {
    //static Logger logger = Logger.getLogger(ConsumerHandler.class.getName());
    private final KafkaConsumer consumer;
    private ExecutorService executors;
    private String kafkaUrl;
 
    public ConsumerHandler(List topics) {
        this.kafkaUrl = GlobleConfiguration.getInstance().getKafkaUrl();
        Properties props = new Properties();
        props.put("bootstrap.servers", kafkaUrl);
        props.put("group.id", "gzpt");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        consumer = new KafkaConsumer(props);
        consumer.subscribe(topics);
        execute(1);
    }
 
    public void execute(int workerNum) {
        executors = new ThreadPoolExecutor(workerNum, workerNum, 0L, TimeUnit.MILLISECONDS,
                new ArrayBlockingQueue(1000), new ThreadPoolExecutor.CallerRunsPolicy());
        Thread t = new Thread(new Runnable(){//启动一个子线程来监听kafka消息
            public void run(){
               while (true) {
                   Duration timeout=null;
                    ConsumerRecords records = consumer.poll(100);
                    for (final ConsumerRecord record : records) {
                        //logger.info("【Kafka】监听到kafka的TOPIC【" + record.topic() + "】的消息");
                        //logger.info("【Kafka】消息内容：" + record.value());
                        executors.submit(new ConsumerWorker(record));
                    }
                    
                } 
            }});
        t.start();
    }
 
    public void shutdown() {
        if (consumer != null) {
            consumer.close();
        }
        if (executors != null) {
            executors.shutdown();
        }
        try {
            if (!executors.awaitTermination(10, TimeUnit.SECONDS)) {
                //logger.info("【Kafka】Timeout.... Ignore for this case ");
            }
        } catch (InterruptedException ignored) {
            //logger.info("【Kafka】Other thread interrupted this shutdown, ignore for this case.");
            Thread.currentThread().interrupt();
        }
    }
}
 
 
消费者Worker ConsumerWorker
 
 
package com.ustcinfo.kanms.alarmcollector.kafka;

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;

import javax.jms.JMSException;
import javax.jms.TextMessage;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.log4j.Logger;

import com.ustcinfo.kanms.alarmcollector.model.GesAlarm;
import com.ustcinfo.kanms.alarmcollector.util.FileWriteThread;
//import com.ustcinfo.kanms.alarmcollector.activemq.AlarmAutoReceiverThread.AlarmAutoReceiver;
import com.ustcinfo.kanms.alarmcollector.framework.GesAlarmContainer;
import com.ustcinfo.kanms.alarmcollector.framework.ReadXML;
import javax.jms.Message;
import javax.jms.MessageConsumer;
import javax.jms.MessageListener;

public class ConsumerWorker implements Runnable {
    private ConsumerRecord consumerRecord;
    private final FileWriteThread filewrite = new FileWriteThread();//建立一个新的线程写文件 
    
    public ConsumerWorker() {
        this.gesAlarmContainer = GesAlarmContainer.getInstance();
    }
     
    public ConsumerWorker(ConsumerRecord record) {
        this.consumerRecord = record;
    }
    private GesAlarmContainer gesAlarmContainer;
    private static Logger logger = Logger.getLogger(ConsumerWorker.class);
     
    public void run() {
        // consumer接收消息后，这里可以写针对收到的消息的业务处理
        System.out.println(consumerRecord.value());
        String writeData=consumerRecord.value();
        try{
            filewrite.handle(writeData+"\n--"+dateFormat(new Date()));
        }catch(Exception e){
            logger.error("告警日志写入出错!",e);
            filewrite.handle(writeData+"\n--"+dateFormat(new Date()));
        }
        /*Message message=consumerRecord.value();
        
        if (message instanceof TextMessage){
            TextMessage  tm = (TextMessage)message;
            try {
                String xml = tm.getText();
                if(xml!=null){
                    try{
                        filewrite.handle(xml.substring(xml.indexOf(""),xml.lastIndexOf("")+9)+"\n--"+dateFormat(new Date()));
                    }catch(Exception e){
                        logger.error("告警日志写入出错!",e);
                        filewrite.handle(xml+"\n--"+dateFormat(new Date()));
                    }
                }
                // 当消息为“quit”时，唤醒线程
                if(xml != null && xml.equalsIgnoreCase("quit")) {
                    logger.info(Thread.currentThread().getName() + "接收到的消息为：" + xml + ",开始退出线程");
                    synchronized (this) {
                        notifyAll();
                    }
                    return;
                }
                */
                /*String gesAlarmStr = ReadXML.obtainBodyInfo(xml.trim());
                List gesAlarmList = ReadXML.getAlarmValue(gesAlarmStr);
                if(gesAlarmList!=null&&gesAlarmList.size()>0){
                    logger.debug("gesAlarmList.size()=" + gesAlarmList.size());
                    for(int i=0;i gesAlarmList = ReadXML.getAlarmValue(gesAlarmStr);
        if(gesAlarmList!=null&&gesAlarmList.size()>0){
            logger.debug("gesAlarmList.size()=" + gesAlarmList.size());
            for(int i=0;i
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(kafka,java,异步编程,消息队列,数据处理)

        

            

                
    
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • 消息中间件有哪些常见类型
                        xmh-sxh-1314
java
                        
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
    
                    
    • 
                    
  • Python数据分析与可视化实战指南
                        William数据分析
pythonpython数据
                        
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team
                        若博豆
java算法华为javascript
                        
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
    
                    
    • 
                    
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • Kafka 消息丢失如何处理？
                        架构文摘JGWZ
学习
                        
    今天给大家分享一个在面试中经常遇到的问题：Kafka消息丢失该如何处理？这个问题啊，看似简单，其实里面藏着很多“套路”。来，咱们先讲一个面试的“真实”案例。面试官问：“Kafka消息丢失如何处理？”小明一听，反问：“你是怎么发现消息丢失了？”面试官顿时一愣，沉默了片刻后，可能有点不耐烦，说道：“这个你不用管，反正现在发现消息丢失了，你就说如何处理。”小明一头雾水：“问题是都不知道怎么丢的，处理起来
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • 《Python数据分析实战终极指南》
                        xjt921122
python数据分析开发语言
                        
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    
                    
    • 
                    
  • 【六】阿伟开始搭建Kafka学习环境
                        能源恒观
中间件学习kafkaspring
                        
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
    
                    
    • 
                    
  • Java 重写(Override)与重载(Overload)
                        叨唧唧的

                        
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
    
                    
    • 
                    
  • 简单了解 JVM
                        记得开心一点啊
jvm
                        
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
    
                    
    • 
                    
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven
                        Energet!c
开发语言
                        
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    
                    
    • 
                    
  • Java企业面试题3
                        马龙强_
java
                        
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
    
                    
    • 
                    
  • JVM、JRE和 JDK：理解Java开发的三大核心组件
                        Y雨何时停T
Javajava
                        
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
    
                    
    • 
                    
  • Java面试题精选：消息队列(二)
                        芒果不是芒
Java面试题精选javakafka
                        
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
    
                    
    • 
                    
  • 白骑士的Java教学基础篇 2.5 控制流语句
                        白骑士所长
Java教学java开发语言
                        
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
    
                    
    • 
                    
  • python语法——三目运算符
                        HappyRocking
pythonpython三目运算符
                        
    在java中，有三目运算符，如：intc=(a>b)?a:b表示c取两者中的较大值。但是在python，不能直接这样使用，估计是因为冒号在python有分行的关键作用。那么在python中，如何实现类似功能呢？可以使用ifelse语句，也是一行可以完成，格式为：aifbelsec表示如果b为True，则表达式等于a，否则等于c。如：c=(aif(a>b)elseb)同样是完成了取最大值的功能。
    
                    
    • 
                    
  • ArrayList 源码解析
                        程序猿进阶
Java基础ArrayListListjava面试性能优化架构设计idea
                        
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
    
                    
    • 
                    
  • Kafka是如何保证数据的安全性、可靠性和分区的
                        喜欢猪猪
kafka分布式
                        
    Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
    
                    
    • 
                    
  • Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    
                    
    • 
                    
  • esp32开发快速入门 8 : MQTT 的快速入门，基于esp32实现MQTT通信
                        z755924843
ESP32开发快速入门服务器网络运维
                        
    MQTT介绍简介MQTT（MessageQueuingTelemetryTransport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联
    
                    
    • 
                    
  • Java：爬虫框架
                        dingcho
Javajava爬虫
                        
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
    
                    
    • 
                    
  • python怎么将png转为tif_png转tif
                        weixin_39977276

                        
    发国外的文章要求图片是tif，cmyk色彩空间的。大小尺寸还有要求。比如网上大神多，找到了一段代码，感谢！https://www.jianshu.com/p/ec2af4311f56https://github.com/KevinZc007/image2Tifimportjava.awt.image.BufferedImage;importjava.io.File;importjava.io.Fi
    
                    
    • 
                    
  • JavaScript 中，深拷贝（Deep Copy）和浅拷贝（Shallow Copy）
                        跳房子的前端
前端面试javascript开发语言ecmascript
                        
    在JavaScript中，深拷贝（DeepCopy）和浅拷贝（ShallowCopy）是用于复制对象或数组的两种不同方法。了解它们的区别和应用场景对于避免潜在的bugs和高效地处理数据非常重要。以下是对深拷贝和浅拷贝的详细解释，包括它们的概念、用途、优缺点以及实现方式。1.浅拷贝（ShallowCopy）概念定义：浅拷贝是指创建一个新的对象或数组，其中包含了原对象或数组的基本数据类型的值和对引用数
    
                    
    • 
                    
  • 06选课支付模块之基于消息队列发送支付通知消息
                        echo 云清
学成在线javarabbitmq消息队列支付通知学成在线
                        
    消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
    
                    
    • 
                                
  • jvm调优总结（从基本概念 到 深度优化）
                                    oloz
javajvmjdk虚拟机应用服务器
                                    
    JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html 
 
  Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。 
    
                                
    • 
                                
  • 【Scala十六】Scala核心十：柯里化函数
                                    bit1129
scala
                                    
    本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系   1. 什么是柯里化函数 
A way to write functions with multiple parameter lists. For instance
def f(x: Int)(y: Int) is a 
    
                                
    • 
                                
  • HashMap
                                    dalan_123
java
                                    
    HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 
1、数据结构 
    在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
    
                                
    • 
                                
  • Java Swing如何实时刷新JTextArea，以显示刚才加append的内容
                                    周凡杨
java更新swingJTextArea
                                    
    在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。

问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
    
                                
    • 
                                
  • servlet或struts的Action处理ajax请求
                                    g21121
servlet
                                    
    其实处理ajax的请求非常简单，直接看代码就行了： 
		//如果用的是struts
		//HttpServletResponse response = ServletActionContext.getResponse();
		// 设置输出为文字流
		response.setContentType("text/plain");
		// 设置字符集
		res
    
                                
    • 
                                
  • FineReport的公式编辑框的语法简介
                                    老A不折腾
finereport公式总结
                                    
    FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。 
简单的说下自己感觉的公式要注意的几个地方： 
  
1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
    
                                
    • 
                                
  • linux mysql 数据库乱码的解决办法
                                    墙头上一根草
linuxmysql数据库乱码
                                    
    linux 上mysql数据库区分大小写的配置 
lower_case_table_names=1 1-不区分大小写 0-区分大小写 
  
修改/etc/my.cnf 具体的修改内容如下: 
  
[client] 
default-character-set=utf8 
  
[mysqld] 
datadir=/var/lib/mysql 
socket=/va
    
                                
    • 
                                
  • 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想
                                    aijuans
Spring 3
                                    
    ApplicationContext能读取多个Bean定义文件，方法是： 
 
 
ApplicationContext appContext = new ClassPathXmlApplicationContext（

new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
    
                                
    • 
                                
  • mysql 基准测试之sysbench
                                    annan211
基准测试mysql基准测试MySQL测试sysbench
                                    
    1 执行如下命令，安装sysbench-0.5： 
 tar xzvf sysbench-0.5.tar.gz  
 cd sysbench-0.5  
 chmod +x autogen.sh  
 ./autogen.sh  
 ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
    
                                
    • 
                                
  • sql的复杂查询使用案列与技巧
                                    百合不是茶
oraclesql函数数据分页合并查询
                                    
      
本片博客使用的数据库表是oracle中的scott用户表; 
  
   
    -------------------  自然连接查询 
          查询 smith 的上司(两种方法) 
&
    
                                
    • 
                                
  • 深入学习Thread类
                                    bijian1013
javathread多线程java多线程
                                    
    一．             线程的名字 
下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。 
同时，Thr
    
                                
    • 
                                
  • JSON串转换成Map以及如何转换到对应的数据类型
                                    bijian1013
javafastjsonnet.sf.json
                                    
            在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。 
一.fastjson实例 
JsonUtil.java 
package com.study;

impor
    
                                
    • 
                                
  • 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架
                                    bit1129
spring
                                    
    HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成 
  在
【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
    
                                
    • 
                                
  • 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析
                                    bit1129
Mahout
                                    
    #!/bin/bash
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information re
    
                                
    • 
                                
  • nginx三种获取用户真实ip的方法
                                    ronin47

                                    
    随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。 
实例环境： 用户IP 120.22.11.11 
    
                                
    • 
                                
  • java-判断二叉树是不是平衡
                                    bylijinnan
java
                                    
    参考了 
http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 
但是用java来实现有一个问题。 
由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass 
 
 

import ljn.help.*;
public class BalancedBTree {

    
                                
    • 
                                
  • BeanUtils.copyProperties VS PropertyUtils.copyProperties
                                    诸葛不亮
PropertyUtilsBeanUtils
                                    
     BeanUtils.copyProperties VS  PropertyUtils.copyProperties  
作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
    
                                
    • 
                                
  • [金融与信息安全]最简单的数据结构最安全
                                    comsci
数据结构
                                    
     
 
      现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？ 
 
       从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
    
                                
    • 
                                
  • vi区段删除
                                    Cwind
linuxvi区段删除
                                    
    区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。 
  
vi概述  
  
引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。 
  
vi区段删除步骤： 
1. 在末行模式下使用:set nu显示行号 
非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
    
                                
    • 
                                
  • 清除tomcat缓存的方法总结
                                    dashuaifu
tomcat缓存
                                    
    用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。 
出现这种现象的原因主要是tomcat缓存的原因。 
解决办法如下: 
在jsp文件头加上 
<meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
    
                                
    • 
                                
  • 不要盲目的在项目中使用LESS CSS
                                    dcj3sjt126com
Webless
                                    
    　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》 
　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。 
　　比如它的引用功能    
?        
.rounded_corners{   
    
    
                                
    • 
                                
  • [入门]更上一层楼
                                    dcj3sjt126com
PHPyii2
                                    
    更上一层楼 
通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。 
本章将介绍一些有助于更好使用 Yii 的资源： 

    
                                
    • 
                                
  • Apache HttpClient使用详解
                                    eksliang
httpclienthttp协议
                                    
    Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
    
                                
    • 
                                
  • zxing二维码扫描功能
                                    gundumw100
androidzxing
                                    
    经常要用到二维码扫描功能 
现给出示例代码 
 
 

import com.google.zxing.WriterException;
import com.zxing.activity.CaptureActivity;
import com.zxing.encoding.EncodingHandler;

import android.app.Activity;
import an
    
                                
    • 
                                
  • 纯HTML+CSS带说明的黄色导航菜单
                                    ini
htmlWebhtml5csshovertree
                                    
    HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航 
  
在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果： 
  
<!DOCTYPE html >
<html >
<head>
<title>HoverTree
    
                                
    • 
                                
  • fastjson初始化对性能的影响
                                    kane_xie
fastjson序列化
                                    
    之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。 
  
网上的说法： 
   fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。 

    
                                
    • 
                                
  • 基于Mybatis封装的增删改查实现通用自动化sql
                                    mengqingyu
DAO
                                    
    1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 
2.支持自定义注解包括主键生成、列重复验证、列名、表名等 
3.支持批量插入、批量更新、批量删除 
 
 
<bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
    
                                
    • 
                                
  • js控制input输入框的方法封装(数字，中文，字母，浮点数等)
                                    qifeifei
javascript js
                                    
    在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。   /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/          
funct
    
                                
    • 
                                
  • java 计时器应用
                                    tangqi609567707
javatimer
                                    
    mport java.util.TimerTask;   import java.util.Calendar;   public class MyTask extends TimerTask {        private static final int 
    
                                
    • 
                                
  • erlang输出调用栈信息
                                    wudixiaotie
erlang
                                    
    在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。 
也可以用这个函数：erlang:get_s
    
                                
    •