pursuing_tech
pursuing_tech

美团cat源码解析

写在前面

cat是美团开源的监控系统，目前在github有14k+的star，美团cat能够以300:1的监控比例收集实时指标，来提供系统丰富的性能指标、健康状况、实时告警等。
美团技术团队也写过cat的相关文章：
1.https://tech.meituan.com/2018/11/01/cat-in-depth-java-application-monitoring.html
2.https://tech.meituan.com/2018/11/01/cat-pr.html

美团cat架构图

client

先来看client怎么处理指标数据的，以下是一个嵌入业务代码的demo。首先会调用Cat.newTransaction生成transaction指标，然后可以调用logEvent、logMetricForCount生成其他指标，最后标记transaction状态，调用complete结束指标。

Transaction t = Cat.newTransaction("URL", "pageName");

try {
    Cat.logEvent("URL.Server", "serverIp", Event.SUCCESS, "ip=${serverIp}");
    Cat.logMetricForCount("metric.key");
    Cat.logMetricForDuration("metric.key", 5);

    yourBusiness();

    t.setStatus(Transaction.SUCCESS);
} catch (Exception e) {
    t.setStatus(e);
    Cat.logError(e);
} finally {
    t.complete();
}

Cat.newTransaction会继续调用MessageProducer的newTransaction进行。

    public static Transaction newTransaction(String type, String name) {
        try {
            return Cat.getProducer().newTransaction(type, name);
        } catch (Exception e) {
            errorHandler(e);
            return NullMessage.TRANSACTION;
        }
    }

MessageProducer的newTransaction会先检查线程ThreadLocal的Context或者MessageTree是否为空，是则需要初始化。初始化就是判断是否命中采样，生成Context并且设置到ThreadLocal即可。然后生成DefaultTransaction，设置到消息树并推入栈，最后返回transaction。

    @Override
    public Transaction newTransaction(String type, String name) {
        // this enable CAT client logging cat message without explicit setup
        if (!m_manager.hasContext()) {
            m_manager.setup();
        }

        DefaultTransaction transaction = new DefaultTransaction(type, name, m_manager);

        m_manager.start(transaction, false);
        return transaction;
    }

    @Override
    public boolean hasContext() {
        Context context = m_context.get();
        boolean has = context != null;

        if (has) {
            MessageTree tree = context.m_tree;

            if (tree == null) {
                return false;
            }
        }
        return has;
    }

    @Override
    public void setup() {
        Context ctx;

        if (m_domain != null) {
            ctx = new Context(m_domain.getId(), m_hostName, m_domain.getIp());
        } else {
            ctx = new Context("Unknown", m_hostName, "");
        }
        double samplingRate = m_configManager.getSampleRatio();

        if (samplingRate < 1.0 && hitSample(samplingRate)) {
            ctx.m_tree.setHitSample(true);
        }
        m_context.set(ctx);
    }

    @Override
    public void start(Transaction transaction, boolean forked) {
        Context ctx = getContext();

        if (ctx != null) {
            ctx.start(transaction, forked);

            if (transaction instanceof TaggedTransaction) {
                TaggedTransaction tt = (TaggedTransaction) transaction;

                m_taggedTransactions.put(tt.getTag(), tt);
            }
        } else if (m_firstMessage) {
            m_firstMessage = false;
            m_logger.warn("CAT client is not enabled because it's not initialized yet");
        }
    }

        public void start(Transaction transaction, boolean forked) {
            if (!m_stack.isEmpty()) {
                // Do NOT make strong reference from parent transaction to forked transaction.
                // Instead, we create a "soft" reference to forked transaction later, via linkAsRunAway()
                // By doing so, there is no need for synchronization between parent and child threads.
                // Both threads can complete() anytime despite the other thread.
                if (!(transaction instanceof ForkedTransaction)) {
                    Transaction parent = m_stack.peek();
                    addTransactionChild(transaction, parent);
                }
            } else {
                m_tree.setMessage(transaction);
            }

            if (!forked) {
                m_stack.push(transaction);
            }
        }

Cat.logEvent会调用newEvent生成Event，然后将nameValuePairs设置到data字段中，接着设置status字段，最后调用complete结束指标。complete方法会对event的m_completed字段设置为true，然后调用m_manager.add将event加入到transaction中。其他指标也会像Event一样处理，就不细说了。

    @Override
    public void logEvent(String type, String name, String status, String nameValuePairs) {
        Event event = newEvent(type, name);

        if (nameValuePairs != null && nameValuePairs.length() > 0) {
            event.addData(nameValuePairs);
        }

        event.setStatus(status);
        event.complete();
    }

    @Override
    public void complete() {
        setCompleted(true);

        if (m_manager != null) {
            m_manager.add(this);
        }
    }

    @Override
    public void add(Message message) {
        Context ctx = getContext();

        if (ctx != null) {
            ctx.add(message);
        }
    }

    public void add(Message message) {
            if (m_stack.isEmpty()) {
                MessageTree tree = m_tree.copy();

                tree.setMessage(message);
                flush(tree, true);
            } else {
                Transaction parent = m_stack.peek();

                addTransactionChild(message, parent);
            }
        }

最后看一下transaction的complete，如果transaction已经完成过了，则加入一个BadInstrument的event到子指标中，否则设置m_completed字段为true，然后调用m_manager.end继续处理，最后清除ThreadLocal。m_manager.end会继续调用Context的end方法，将栈上的transaction弹出直至栈为空或者弹出的transaction是当前transaction，然后判断栈是否为空，为空的话将调用manager.flush，将消息树发送到server进行处理。

@Override
    public void complete() {
        try {
            if (isCompleted()) {
                // complete() was called more than once
                DefaultEvent event = new DefaultEvent("cat", "BadInstrument");

                event.setStatus("TransactionAlreadyCompleted");
                event.complete();
                addChild(event);
            } else {
                if (m_durationInMicro == -1) {
                    m_durationInMicro = (System.nanoTime() - m_durationStart) / 1000L;
                }
                setCompleted(true);
                if (m_manager != null) {
                    m_manager.end(this);
                }
            }
        } catch (Exception e) {
            // ignore
        }
    }

    @Override
    public void end(Transaction transaction) {
        Context ctx = getContext();

        if (ctx != null && transaction.isStandalone()) {
            if (ctx.end(this, transaction)) {
                m_context.remove();
            }
        }
    }

    public boolean end(DefaultMessageManager manager, Transaction transaction) {
            if (!m_stack.isEmpty()) {
                Transaction current = m_stack.pop();

                if (transaction == current) {
                    m_validator.validate(m_stack.isEmpty() ? null : m_stack.peek(), current);
                } else {
                    while (transaction != current && !m_stack.empty()) {
                        m_validator.validate(m_stack.peek(), current);

                        current = m_stack.pop();
                    }
                }

                if (m_stack.isEmpty()) {
                    MessageTree tree = m_tree.copy();

                    m_tree.setMessageId(null);
                    m_tree.setMessage(null);

                    if (m_totalDurationInMicros > 0) {
                        adjustForTruncatedTransaction((Transaction) tree.getMessage());
                    }

                    manager.flush(tree, true);
                    return true;
                }
            }

            return false;
        }

接下来看manager.flush，调用m_transportManager.getSender获取到MessageSender(TcpSocketSender)，然后调用其send方法发送消息树。

    public void flush(MessageTree tree, boolean clearContext) {
        MessageSender sender = m_transportManager.getSender();

        if (sender != null && isMessageEnabled()) {
            sender.send(tree);

            if (clearContext) {
                reset();
            }
        } else {
            m_throttleTimes++;

            if (m_throttleTimes % 10000 == 0 || m_throttleTimes == 1) {
                m_logger.info("Cat Message is throttled! Times:" + m_throttleTimes);
            }
        }
    }

    @Override
    public void send(MessageTree tree) {
        if (!m_configManager.isBlock()) {
            double sampleRatio = m_configManager.getSampleRatio();

            if (tree.canDiscard() && sampleRatio < 1.0 && (!tree.isHitSample())) {
                processTreeInClient(tree);
            } else {
                offer(tree);
            }
        }
    }

TcpSocketSender的send方法会看消息树是否采样与丢弃等，若需要发送则调用offer继续处理，offer方法就是将消息树丢到queue中返回。

    @Override
    public void send(MessageTree tree) {
        if (!m_configManager.isBlock()) {
            double sampleRatio = m_configManager.getSampleRatio();

            if (tree.canDiscard() && sampleRatio < 1.0 && (!tree.isHitSample())) {
                processTreeInClient(tree);
            } else {
                offer(tree);
            }
        }
    }

    private void offer(MessageTree tree) {
        if (m_configManager.isAtomicMessage(tree)) {
            boolean result = m_atomicQueue.offer(tree);

            if (!result) {
                logQueueFullInfo(tree);
            }
        } else {
            boolean result = m_queue.offer(tree);

            if (!result) {
                logQueueFullInfo(tree);
            }
        }
    }

会有线程调用processNormalMessage对queue上的消息树进行取出然后发送，将消息树进行系列化，然后调用writeAndFlush发送到server即可。

private void processNormalMessage() {
        while (true) {
            ChannelFuture channel = m_channelManager.channel();

            if (channel != null) {
                try {
                    MessageTree tree = m_queue.poll();

                    if (tree != null) {
                        sendInternal(channel, tree);
                        tree.setMessage(null);
                    } else {
                        try {
                            Thread.sleep(5);
                        } catch (Exception e) {
                            m_active = false;
                        }
                        break;
                    }
                } catch (Throwable t) {
                    m_logger.error("Error when sending message over TCP socket!", t);
                }
            } else {
                try {
                    Thread.sleep(5);
                } catch (Exception e) {
                    m_active = false;
                }
            }
        }
    }

public void sendInternal(ChannelFuture channel, MessageTree tree) {
        if (tree.getMessageId() == null) {
            tree.setMessageId(m_factory.getNextId());
        }

        ByteBuf buf = m_codec.encode(tree);

        int size = buf.readableBytes();

        channel.channel().writeAndFlush(buf);

        if (m_statistics != null) {
            m_statistics.onBytes(size);
        }
    }

Server

来到server端，跟client端的TcpSocketSender对应的是server端的TcpSocketReceiver，当消息树传输到server端时，会通过decode方法解析，调用m_handler.handle进行处理。

        protected void decode(ChannelHandlerContext ctx, ByteBuf buffer, List out) throws Exception {
            if (buffer.readableBytes() < 4) {
                return;
            }
            buffer.markReaderIndex();
            int length = buffer.readInt();
            buffer.resetReaderIndex();
            if (buffer.readableBytes() < length + 4) {
                return;
            }
            try {
                if (length > 0) {
                    ByteBuf readBytes = buffer.readBytes(length + 4);

                    readBytes.markReaderIndex();
                    //readBytes.readInt();

                    DefaultMessageTree tree = (DefaultMessageTree) CodecHandler.decode(readBytes);

                    // readBytes.retain();
                    readBytes.resetReaderIndex();
                    tree.setBuffer(readBytes);
                    m_handler.handle(tree);
                    m_processCount++;

                    long flag = m_processCount % CatConstants.SUCCESS_COUNT;

                    if (flag == 0) {
                        m_serverStateManager.addMessageTotal(CatConstants.SUCCESS_COUNT);
                    }
                } else {
                    // client message is error
                    buffer.readBytes(length);
                    BufReleaseHelper.release(buffer);
                }
            } catch (Exception e) {
                m_serverStateManager.addMessageTotalLoss(1);
                m_logger.error(e.getMessage(), e);
            }
        }
    }
 
 
来到DefaultMessageHandler的handle方法，如果m_consumer没有初始化，则调用lookup进行初始化，然后调用其consume方法继续处理。
 
 
    @Override
    public void handle(MessageTree tree) {
        if (m_consumer == null) {
            m_consumer = lookup(MessageConsumer.class);
        }

        try {
            m_consumer.consume(tree);
        } catch (Throwable e) {
            m_logger.error("Error when consuming message in " + m_consumer + "! tree: " + tree, e);
        }
    }

 
 
来到RealtimeConsumer的consume方法，会根据消息树的时间戳调用m_periodManager.findPeriod找到对应的Period，然后调用其distribute方法处理消息树。
 
 
    @Override
    public void consume(MessageTree tree) {
        long timestamp = tree.getMessage().getTimestamp();
        Period period = m_periodManager.findPeriod(timestamp);

        if (period != null) {
            period.distribute(tree);
        } else {
            m_serverStateManager.addNetworkTimeError(1);
        }
    }

 
 
在其中很值得一提的是PeriodManager对Period的管理模式，PeriodManager的会不断检测当前时间是否需要预加载下一个Period，是否需要终结已经结束的上一个Period。
 
 
@Override
    public void run() {
        while (m_active) {
            try {
                long now = System.currentTimeMillis();
                long value = m_strategy.next(now);

                if (value > 0) {
                    startPeriod(value);
                } else if (value < 0) {
                    // last period is over,make it asynchronous
                    Threads.forGroup("cat").start(new EndTaskThread(-value));
                }
            } catch (Throwable e) {
                Cat.logError(e);
            }

            try {
                Thread.sleep(1000L);
            } catch (InterruptedException e) {
                break;
            }
        }
    }

    private void startPeriod(long startTime) {
        long endTime = startTime + m_strategy.getDuration();
        Period period = new Period(startTime, endTime, m_analyzerManager, m_serverStateManager, m_logger);

        m_periods.add(period);
        period.start();
    }

    private void endPeriod(long startTime) {
        int len = m_periods.size();

        for (int i = 0; i < len; i++) {
            Period period = m_periods.get(i);

            if (period.isIn(startTime)) {
                period.finish();
                m_periods.remove(i);
                break;
            }
        }
    }

 
 
回到正题，period.distribute会遍历所有类型的PeriodTask，若存在相同类型的PeriodTask，则根据哈希随机到其中一个PeriodTask，调用其enqueue进行处理。enqueue则会将消息树丢进m_queue中。
 
 
public void distribute(MessageTree tree) {
        m_serverStateManager.addMessageTotal(tree.getDomain(), 1);
        boolean success = true;
        String domain = tree.getDomain();

        for (Entry> entry : m_tasks.entrySet()) {
            List tasks = entry.getValue();
            int length = tasks.size();
            int index = 0;
            boolean manyTasks = length > 1;

            if (manyTasks) {
                index = Math.abs(domain.hashCode()) % length;
            }
            PeriodTask task = tasks.get(index);
            boolean enqueue = task.enqueue(tree);

            if (!enqueue) {
                if (manyTasks) {
                    task = tasks.get((index + 1) % length);
                    enqueue = task.enqueue(tree);

                    if (!enqueue) {
                        success = false;
                    }
                } else {
                    success = false;
                }
            }
        }

        if ((!success) && (!tree.isProcessLoss())) {
            m_serverStateManager.addMessageTotalLoss(tree.getDomain(), 1);

            tree.setProcessLoss(true);
        }
    }

    public boolean enqueue(MessageTree tree) {
        if (m_analyzer.isEligable(tree)) {
            boolean result = m_queue.offer(tree);

            if (!result) { // trace queue overflow
                m_queueOverflow++;

                if (m_queueOverflow % (10 * CatConstants.ERROR_COUNT) == 0) {
                    String date = new SimpleDateFormat("yyyy-MM-dd HH:mm").format(new Date(m_analyzer.getStartTime()));
                    m_logger.warn(m_analyzer.getClass().getSimpleName() + " queue overflow number " + m_queueOverflow + " analyzer time:" + date);
                }
            }
            return result;
        } else {
            return true;
        }
    }

 
 
PeriodTask会不断调用m_analyzer.analyze，处理m_queue中的消息树。
 
 
    @Override
    public void run() {
        try {
            m_analyzer.analyze(m_queue);
        } catch (Exception e) {
            Cat.logError(e);
        }
    }

 
 
来到AbstractMessageAnalyzer的analyze方法，会调用抽象方法process继续处理。
 
 
@Override
    public void analyze(MessageQueue queue) {
        while (!isTimeout() && isActive()) {
            MessageTree tree = queue.poll();

            if (tree != null) {
                try {
                    process(tree);
                } catch (Throwable e) {
                    m_errors++;

                    if (m_errors == 1 || m_errors % 10000 == 0) {
                        Cat.logError(e);
                    }
                }
            }
        }

        while (true) {
            MessageTree tree = queue.poll();

            if (tree != null) {
                try {
                    process(tree);
                } catch (Throwable e) {
                    m_errors++;

                    if (m_errors == 1 || m_errors % 10000 == 0) {
                        Cat.logError(e);
                    }
                }
            } else {
                break;
            }
        }
    }

 
 
我们重点分析一下TransactionAnalyzer和DumpAnalyzer两个分析器，分别是报表和logview的核心分析器。
 
 
TransactionAnalyzer的process方法会取出当前小时的报表，然后调用processTransaction或者processBatchTransaction进行处理。
 
 
    @Override
    public void process(MessageTree tree) {
        String domain = tree.getDomain();
        TransactionReport report = m_reportManager.getHourlyReport(getStartTime(), domain, true);
        List transactions = tree.findOrCreateTransactions();

        for (Transaction t : transactions) {
            String data = String.valueOf(t.getData());

            if (data.length() > 0 && data.charAt(0) == CatConstants.BATCH_FLAG) {
                processBatchTransaction(tree, report, t, data);
            } else {
                processTransaction(report, tree, t);
            }
        }

        if (System.currentTimeMillis() > m_nextClearTime) {
            m_nextClearTime = m_nextClearTime + TimeHelper.ONE_MINUTE;

            Threads.forGroup("cat").start(new Runnable() {

                @Override
                public void run() {
                    cleanUpReports();
                }
            });
        }
    }

 
 
选取processTransaction进行分析，会先调用findOrCreateMachine找到对应的Machine，然后调用findOrCreateType找到对应的TransactionType，再调用findOrCreateName找到对应的TransactionName，最后调用processTypeAndName继续处理。
 
 
    private void processTransaction(TransactionReport report, MessageTree tree, Transaction t) {
        String type = t.getType();
        String name = t.getName();

        if (!m_filterConfigManager.discardTransaction(type, name)) {
            boolean valid = checkForTruncatedMessage(tree, t);

            if (valid) {
                String ip = tree.getIpAddress();
                TransactionType transactionType = findOrCreateType(report.findOrCreateMachine(ip), type);
                TransactionName transactionName = findOrCreateName(transactionType, name, report.getDomain());

                processTypeAndName(t, transactionType, transactionName, tree, t.getDurationInMillis());
            }
        }
    }

 
 
先看一下findOrCreateMachine、findOrCreateType、findOrCreateName这三个方法的处理。对应的关系是machine->type->name。
 
 
   public Machine findOrCreateMachine(String ip) {
      Machine machine = m_machines.get(ip);

      if (machine == null) {
         synchronized (m_machines) {
            machine = m_machines.get(ip);

            if (machine == null) {
               machine = new Machine(ip);
               m_machines.put(ip, machine);
            }
         }
      }

      return machine;
   }

   public TransactionType findOrCreateType(String id) {
      TransactionType type = m_types.get(id);

      if (type == null) {
         synchronized (m_types) {
            type = m_types.get(id);

            if (type == null) {
               type = new TransactionType(id);
               m_types.put(id, type);
            }
         }
      }

      return type;
   }

  public TransactionName findOrCreateName(String id) {
      TransactionName name = m_names.get(id);

      if (name == null) {
         synchronized (m_names) {
            name = m_names.get(id);

            if (name == null) {
               name = new TransactionName(id);
               m_names.put(id, name);
            }
         }
      }

      return name;
   }

 
 
接下来继续看processTypeAndName，是对transaction的报表的总体指标进行统计，包括总数、失败总数、最长最短耗时、总耗时、每个耗时的总数等，然后继续调用processNameGraph和processTypeRange继续处理。
 
 
private void processTypeAndName(Transaction t, TransactionType type, TransactionName name, MessageTree tree,
                            double duration) {
        String messageId = tree.getMessageId();

        type.incTotalCount();
        name.incTotalCount();

        type.setSuccessMessageUrl(messageId);
        name.setSuccessMessageUrl(messageId);

        if (!t.isSuccess()) {
            type.incFailCount();
            name.incFailCount();

            String statusCode = formatStatus(t.getStatus());

            findOrCreateStatusCode(name, statusCode).incCount();
        }

        int allDuration = DurationComputer.computeDuration((int) duration);
        double sum = duration * duration;

        if (type.getMax() <= duration) {
            type.setLongestMessageUrl(messageId);
        }
        if (name.getMax() <= duration) {
            name.setLongestMessageUrl(messageId);
        }
        name.setMax(Math.max(name.getMax(), duration));
        name.setMin(Math.min(name.getMin(), duration));
        name.setSum(name.getSum() + duration);
        name.setSum2(name.getSum2() + sum);
        name.findOrCreateAllDuration(allDuration).incCount();

        type.setMax(Math.max(type.getMax(), duration));
        type.setMin(Math.min(type.getMin(), duration));
        type.setSum(type.getSum() + duration);
        type.setSum2(type.getSum2() + sum);
        type.findOrCreateAllDuration(allDuration).incCount();

        long current = t.getTimestamp() / 1000 / 60;
        int min = (int) (current % (60));
        boolean statistic = m_statisticManager.shouldStatistic(type.getId(), tree.getDomain());

        processNameGraph(t, name, min, duration, statistic, allDuration);
        processTypeRange(t, type, min, duration, statistic, allDuration);
    }

 
 
processNameGraph和processTypeRange主要是对分钟范围的总数、失败总数、总耗时、最大耗时、最小耗时、每个耗时的总数的指标统计。
 
 
    private void processNameGraph(Transaction t, TransactionName name, int min, double d, boolean statistic,
                            int allDuration) {
        int dk = formatDurationDistribute(d);

        Duration duration = name.findOrCreateDuration(dk);
        Range range = name.findOrCreateRange(min);

        duration.incCount();
        range.incCount();

        if (!t.isSuccess()) {
            range.incFails();
        }

        range.setSum(range.getSum() + d);
        range.setMax(Math.max(range.getMax(), d));
        range.setMin(Math.min(range.getMin(), d));

        if (statistic) {
            range.findOrCreateAllDuration(allDuration).incCount();
        }
    }

private void processTypeRange(Transaction t, TransactionType type, int min, double d, boolean statistic,
                            int allDuration) {
        Range2 range = type.findOrCreateRange2(min);

        if (!t.isSuccess()) {
            range.incFails();
        }

        range.incCount();
        range.setSum(range.getSum() + d);
        range.setMax(Math.max(range.getMax(), d));
        range.setMin(Math.min(range.getMin(), d));

        if (statistic) {
            range.findOrCreateAllDuration(allDuration).incCount();
        }
    }

 
 
另外提一下报表的存储，当结束一个PeriodTask的时候，会调用m_analyzer.doCheckpoint将报表存储在文件和db上。
 
 
    public void finish() {
        try {
            m_analyzer.doCheckpoint(true);
            m_analyzer.destroy();
        } catch (Exception e) {
            Cat.logError(e);
        }
    }

 
 
来看一下TransactionAnalyzer的doCheckpoint方法，会判断是否是结束并且非本地模式，是的话就将报表存储在文件和db上，否则只存储在文件上。
 
 
    @Override
    public synchronized void doCheckpoint(boolean atEnd) {
        if (atEnd && !isLocalMode()) {
            m_reportManager.storeHourlyReports(getStartTime(), StoragePolicy.FILE_AND_DB, m_index);
        } else {
            m_reportManager.storeHourlyReports(getStartTime(), StoragePolicy.FILE, m_index);
        }
    }

 
 
继续分析DefaultReportManager的storeHourlyReports方法，除了执行钩子方法之外，就是调用storeFile存储报表到文件上，调用storeDatabase存储报表到db上。
 
 
    @Override
    public void storeHourlyReports(long startTime, StoragePolicy policy, int index) {
        Transaction t = Cat.newTransaction("Checkpoint", m_name);
        Map reports = m_reports.get(startTime);
        ReportBucket bucket = null;

        try {
            t.addData("reports", reports == null ? 0 : reports.size());

            if (reports != null) {
                Set errorDomains = new HashSet();

                for (String domain : reports.keySet()) {
                    if (!m_validator.validate(domain)) {
                        errorDomains.add(domain);
                    }
                }
                for (String domain : errorDomains) {
                    reports.remove(domain);
                }
                if (!errorDomains.isEmpty()) {
                    m_logger.info("error domain:" + errorDomains);
                }

                m_reportDelegate.beforeSave(reports);

                if (policy.forFile()) {
                    bucket = m_bucketManager.getReportBucket(startTime, m_name, index);

                    try {
                        storeFile(reports, bucket);
                    } finally {
                        m_bucketManager.closeBucket(bucket);
                    }
                }

                if (policy.forDatabase()) {
                    storeDatabase(startTime, reports);
                }
            }
            t.setStatus(Message.SUCCESS);
        } catch (Throwable e) {
            Cat.logError(e);
            t.setStatus(e);
            m_logger.error(String.format("Error when storing %s reports of %s!", m_name, new Date(startTime)), e);
        } finally {
            cleanup(startTime);
            t.complete();

            if (bucket != null) {
                m_bucketManager.closeBucket(bucket);
            }
        }
    }

 
 
storeFile将报表序列化为xml格式，将报表存储在m_writeDataFile上，并且写入具体index到m_writeIndexFile上。
 
 
    private void storeFile(Map reports, ReportBucket bucket) {
        for (T report : reports.values()) {
            try {
                String domain = m_reportDelegate.getDomain(report);
                String xml = m_reportDelegate.buildXml(report);

                bucket.storeById(domain, xml);
            } catch (Exception e) {
                Cat.logError(e);
            }
        }
    }

    @Override
    public boolean storeById(String id, String report) throws IOException {
        byte[] content = report.getBytes("utf-8");
        int length = content.length;
        byte[] num = String.valueOf(length).getBytes("utf-8");

        m_writeLock.lock();

        try {
            m_writeDataFile.write(num);
            m_writeDataFile.write('\n');
            m_writeDataFile.write(content);
            m_writeDataFile.write('\n');
            m_writeDataFile.flush();

            long offset = m_writeDataFileLength;
            String line = id + '\t' + offset + '\n';
            byte[] data = line.getBytes("utf-8");

            m_writeDataFileLength += num.length + 1 + length + 1;
            m_writeIndexFile.write(data);
            m_writeIndexFile.flush();
            m_idToOffsets.put(id, offset);
            return true;
        } finally {
            m_writeLock.unlock();
        }
    }

 
 
storeDatabase先将HourlyReport写入db，再将报表信息HourlyReportContent写入db，然后调用m_reportDelegate.createHourlyTask生成周、月等聚合报表。
 
 
private void storeDatabase(long startTime, Map reports) {
        Date period = new Date(startTime);
        String ip = NetworkInterfaceManager.INSTANCE.getLocalHostAddress();

        for (T report : reports.values()) {
            try {
                String domain = m_reportDelegate.getDomain(report);
                HourlyReport r = m_reportDao.createLocal();

                r.setName(m_name);
                r.setDomain(domain);
                r.setPeriod(period);
                r.setIp(ip);
                r.setType(1);

                m_reportDao.insert(r);

                int id = r.getId();
                byte[] binaryContent = m_reportDelegate.buildBinary(report);
                HourlyReportContent content = m_reportContentDao.createLocal();

                content.setReportId(id);
                content.setContent(binaryContent);
                content.setPeriod(period);
                m_reportContentDao.insert(content);
                m_reportDelegate.createHourlyTask(report);
            } catch (Throwable e) {
                Cat.getProducer().logError(e);
            }
        }
    }

 
 
继续分析createHourlyTask，会创建不同周期的task并存储在db上，等待工作线程捞取处理。
 
 
    @Override
    public boolean createHourlyTask(TransactionReport report) {
        String domain = report.getDomain();

        if (domain.equals(Constants.ALL) || m_configManager.validateDomain(domain)) {
            return m_taskManager.createTask(report.getStartTime(), domain, TransactionAnalyzer.ID,
                  TaskProlicy.ALL_EXCLUED_HOURLY);
        } else {
            return true;
        }
    }

    public boolean createTask(Date period, String domain, String name, TaskCreationPolicy prolicy) {
        try {
            if (prolicy.shouldCreateHourlyTask()) {
                insertToDatabase(period, domain, name, REPORT_HOUR);
            }

            Calendar cal = Calendar.getInstance();
            cal.setTime(period);

            int hour = cal.get(Calendar.HOUR_OF_DAY);
            cal.add(Calendar.HOUR_OF_DAY, -hour);
            Date currentDay = cal.getTime();

            if (prolicy.shouldCreateDailyTask()) {
                insertToDatabase(new Date(currentDay.getTime() - ONE_DAY), domain, name, REPORT_DAILY);
            }

            if (prolicy.shouldCreateWeeklyTask()) {
                int dayOfWeek = cal.get(Calendar.DAY_OF_WEEK);
                if (dayOfWeek == 7) {
                    insertToDatabase(new Date(currentDay.getTime() - 7 * ONE_DAY), domain, name, REPORT_WEEK);
                }
            }
            if (prolicy.shouldCreateMonthTask()) {
                int dayOfMonth = cal.get(Calendar.DAY_OF_MONTH);

                if (dayOfMonth == 1) {
                    cal.add(Calendar.MONTH, -1);
                    insertToDatabase(cal.getTime(), domain, name, REPORT_MONTH);
                }
            }
            return true;
        } catch (DalException e) {
            Cat.logError(e);
            return false;
        }
    }

    protected void insertToDatabase(Date period, String domain, String name, int reportType) throws DalException {
        Task task = m_taskDao.createLocal();
        task.setCreationDate(new Date());
        task.setProducer(NetworkInterfaceManager.INSTANCE.getLocalHostAddress());
        task.setReportDomain(domain);
        task.setReportName(name);
        task.setReportPeriod(period);
        task.setStatus(STATUS_TODO);
        task.setTaskType(reportType);
        m_taskDao.insert(task);
    }

 
 
在TaskConsumer中，会不断捞取待处理的task并调用processTask处理。
 
 
@Override
    public void run() {
        String localIp = getLoaclIp();
        while (m_running) {
            try {
                if (checkTime()) {
                    Task task = findDoingTask(localIp);
                    if (task == null) {
                        task = findTodoTask();
                    }
                    boolean again = false;
                    if (task != null) {
                        try {
                            task.setConsumer(localIp);
                            if (task.getStatus() == TaskConsumer.STATUS_DOING || updateTodoToDoing(task)) {
                                int retryTimes = 0;
                                while (!processTask(task)) {
                                    retryTimes++;
                                    if (retryTimes < MAX_TODO_RETRY_TIMES) {
                                        taskRetryDuration();
                                    } else {
                                        updateDoingToFailure(task);
                                        again = true;
                                        break;
                                    }
                                }
                                if (!again) {
                                    updateDoingToDone(task);
                                }
                            }
                        } catch (Throwable e) {
                            Cat.logError(task.toString(), e);
                        }
                    } else {
                        taskNotFoundDuration();
                    }
                } else {
                    try {
                        Thread.sleep(60 * 1000);
                    } catch (InterruptedException e) {
                        // Ignore
                    }
                }
            } catch (Throwable e) {
                Cat.logError(e);
            }
        }
        m_stopped = true;
    }

 
 
processTask会继续调用m_reportFacade.builderReport处理，最终调用不同的bulidTask方法处理。
 
 
@Override
    protected boolean processTask(Task doing) {
        boolean result = false;
        Transaction t = Cat.newTransaction("Task", doing.getReportName());

        t.addData(doing.toString());
        try {
            result = m_reportFacade.builderReport(doing);
            t.setStatus(Transaction.SUCCESS);
        } catch (Throwable e) {
            Cat.logError(e);
            t.setStatus(e);
        } finally {
            t.complete();
        }
        return result;
    }

    public boolean builderReport(Task task) {
        try {
            if (task == null) {
                return false;
            }
            int type = task.getTaskType();
            String reportName = task.getReportName();
            String reportDomain = task.getReportDomain();
            Date reportPeriod = task.getReportPeriod();
            TaskBuilder reportBuilder = getReportBuilder(reportName);

            if (reportBuilder == null) {
                Cat.logError(new RuntimeException("no report builder for type:" + " " + reportName));
                return false;
            } else {
                boolean result = false;

                if (type == TaskManager.REPORT_HOUR) {
                    result = reportBuilder.buildHourlyTask(reportName, reportDomain, reportPeriod);
                } else if (type == TaskManager.REPORT_DAILY) {
                    result = reportBuilder.buildDailyTask(reportName, reportDomain, reportPeriod);
                } else if (type == TaskManager.REPORT_WEEK) {
                    result = reportBuilder.buildWeeklyTask(reportName, reportDomain, reportPeriod);
                } else if (type == TaskManager.REPORT_MONTH) {
                    result = reportBuilder.buildMonthlyTask(reportName, reportDomain, reportPeriod);
                }
                if (result) {
                    return result;
                } else {
                    m_logger.error(task.toString());
                }
            }
        } catch (Exception e) {
            m_logger.error("Error when building report," + e.getMessage(), e);
            Cat.logError(e);
            return false;
        }
        return false;
    }

 
 
来看一下TransactionReportBuilder的buildMonthlyTask方法，主要是调用queryDailyReportsByDuration得到月聚合报表，然后生成MonthlyReport写入db。
 
 
    @Override
    public boolean buildMonthlyTask(String name, String domain, Date period) {
        Date end = null;

        if (period.equals(TimeHelper.getCurrentMonth())) {
            end = TimeHelper.getCurrentDay();
        } else {
            end = TaskHelper.nextMonthStart(period);
        }
        TransactionReport transactionReport = queryDailyReportsByDuration(domain, period, end);
        MonthlyReport report = new MonthlyReport();

        report.setCreationDate(new Date());
        report.setDomain(domain);
        report.setIp(NetworkInterfaceManager.INSTANCE.getLocalHostAddress());
        report.setName(name);
        report.setPeriod(period);
        report.setType(1);
        byte[] binaryContent = DefaultNativeBuilder.build(transactionReport);
        return m_reportService.insertMonthlyReport(report, binaryContent);
    }

 
 
queryDailyReportsByDuration方法内部通过TransactionReportDailyGraphCreator生成GraphTrend(每天趋势图)，HistoryTransactionReportMerger聚合生成月机器级别聚合TransactionReport，通过TransactionReportCountFilter聚合所有机器总体指标。里面大量使用访问者模式，有兴趣的可以自己翻代码研究一下。
 
 
    private TransactionReport queryDailyReportsByDuration(String domain, Date start, Date end) {
        long startTime = start.getTime();
        long endTime = end.getTime();
        double duration = (end.getTime() - start.getTime()) * 1.0 / TimeHelper.ONE_DAY;

        HistoryTransactionReportMerger merger = new HistoryTransactionReportMerger(new TransactionReport(domain)).setDuration(duration);
        TransactionReport transactionReport = merger.getTransactionReport();

        TransactionReportDailyGraphCreator creator = new TransactionReportDailyGraphCreator(transactionReport, (int) duration, start);

        for (; startTime < endTime; startTime += TimeHelper.ONE_DAY) {
            try {
                TransactionReport reportModel = m_reportService.queryReport(domain, new Date(startTime), new Date(startTime + TimeHelper.ONE_DAY));
                creator.createGraph(reportModel);
                reportModel.accept(merger);
            } catch (Exception e) {
                Cat.logError(e);
            }
        }
        transactionReport.setStartTime(start);
        transactionReport.setEndTime(end);

        new TransactionReportCountFilter(m_serverConfigManager.getMaxTypeThreshold(),
                m_atomicMessageConfigManager.getMaxNameThreshold(domain), m_serverConfigManager.getTypeNameLengthLimit())
                .visitTransactionReport(transactionReport);
        return transactionReport;
    }

 
 
home
 
 
home是美团cat的管理端，可以查看报表或者logview，我们分别对查询当前报表、历史报表、logview的处理进行分析。
 
 
首先看到transaction下的Handler.handleOutbound方法，会根据请求调用不同的方法处理后返回，查询当前报表对应HOURLY_REPORT，查询历史报表对应HISTORY_REPORT。
 
 
@Override
    @OutboundActionMeta(name = "t")
    public void handleOutbound(Context ctx) throws ServletException, IOException {
        Cat.logMetricForCount("http-request-transaction");
        
        Model model = new Model(ctx);
        Payload payload = ctx.getPayload();

        normalize(model, payload);
        String domain = payload.getDomain();
        Action action = payload.getAction();
        String ipAddress = payload.getIpAddress();
        String group = payload.getGroup();
        String type = payload.getType();
        String name = payload.getName();
        String ip = payload.getIpAddress();
        Date start = payload.getHistoryStartDate();
        Date end = payload.getHistoryEndDate();

        if (StringUtils.isEmpty(group)) {
            group = m_configManager.queryDefaultGroup(domain);
            payload.setGroup(group);
        }
        model.setGroupIps(m_configManager.queryIpByDomainAndGroup(domain, group));
        model.setGroups(m_configManager.queryDomainGroup(payload.getDomain()));

        switch (action) {
        case HOURLY_REPORT:
            TransactionReport report = getHourlyReport(payload);
            report = m_mergeHelper.mergeAllMachines(report, ipAddress);

            if (report != null) {
                model.setReport(report);
                buildTransactionMetaInfo(model, payload, report);
            }
            break;
        case HISTORY_REPORT:
            report = m_reportService.queryReport(domain, payload.getHistoryStartDate(), payload.getHistoryEndDate());
            report = m_mergeHelper.mergeAllMachines(report, ipAddress);

            if (report != null) {
                model.setReport(report);
                buildTransactionMetaInfo(model, payload, report);
            }
            break;
        case HISTORY_GRAPH:
            report = m_reportService.queryReport(domain, start, end);

            if (Constants.ALL.equalsIgnoreCase(ip)) {
                buildDistributionInfo(model, type, name, report);
            }

            report = m_mergeHelper.mergeAllMachines(report, ip);
            new TransactionTrendGraphBuilder().buildTrendGraph(model, payload, report);
            break;
        case GRAPHS:
            report = getHourlyGraphReport(model, payload);

            if (Constants.ALL.equalsIgnoreCase(ipAddress)) {
                buildDistributionInfo(model, type, name, report);
            }
            if (name == null || name.length() == 0) {
                name = Constants.ALL;
            }

            report = m_mergeHelper.mergeAllNames(report, ip, name);

            model.setReport(report);
            buildTransactionNameGraph(model, report, type, name, ip);
            break;
        case HOURLY_GROUP_REPORT:
            report = getHourlyReport(payload);
            report = filterReportByGroup(report, domain, group);
            report = m_mergeHelper.mergeAllMachines(report, ipAddress);

            if (report != null) {
                model.setReport(report);

                buildTransactionMetaInfo(model, payload, report);
            }
            break;
        case HISTORY_GROUP_REPORT:
            report = m_reportService.queryReport(domain, payload.getHistoryStartDate(), payload.getHistoryEndDate());
            report = filterReportByGroup(report, domain, group);
            report = m_mergeHelper.mergeAllMachines(report, ipAddress);

            if (report != null) {
                model.setReport(report);
                buildTransactionMetaInfo(model, payload, report);
            }
            break;
        case GROUP_GRAPHS:
            report = getHourlyGraphReport(model, payload);
            report = filterReportByGroup(report, domain, group);
            buildDistributionInfo(model, type, name, report);

            if (name == null || name.length() == 0) {
                name = Constants.ALL;
            }
            report = m_mergeHelper.mergeAllNames(report, ip, name);

            model.setReport(report);
            buildTransactionNameGraph(model, report, type, name, ip);
            break;
        case HISTORY_GROUP_GRAPH:
            report = m_reportService.queryReport(domain, start, end);
            report = filterReportByGroup(report, domain, group);

            buildDistributionInfo(model, type, name, report);

            report = m_mergeHelper.mergeAllMachines(report, ip);
            new TransactionTrendGraphBuilder().buildTrendGraph(model, payload, report);
            break;
        }

        if (payload.isXml()) {
            m_xmlViewer.view(ctx, model);
        } else {
            m_jspViewer.view(ctx, model);
        }
    }

 
 
HOURLY_REPORT请求会先调用getHourlyReport，请求各个server获取到机器的实时报表，然后通过聚合获取到TransactionReport。
 
 
private TransactionReport getHourlyReport(Payload payload) {
        String domain = payload.getDomain();
        String ipAddress = payload.getIpAddress();
        ModelRequest request = new ModelRequest(domain, payload.getDate()).setProperty("type", payload.getType())
                                .setProperty("ip", ipAddress);

        if (m_service.isEligable(request)) {
            ModelResponse response = m_service.invoke(request);
            TransactionReport report = response.getModel();

            return report;
        } else {
            throw new RuntimeException("Internal error: no eligable transaction service registered for " + request + "!");
        }
    }

    @Override
    public ModelResponse invoke(final ModelRequest request) {
        int requireSize = 0;
        final List> responses = Collections.synchronizedList(new ArrayList>());
        final Semaphore semaphore = new Semaphore(0);
        final Transaction t = Cat.getProducer().newTransaction("ModelService", getClass().getSimpleName());
        int count = 0;

        t.setStatus(Message.SUCCESS);
        t.addData("request", request);
        t.addData("thread", Thread.currentThread());

        for (final ModelService service : m_allServices) {
            if (!service.isEligable(request)) {
                continue;
            }

            // save current transaction so that child thread can access it
            if (service instanceof ModelServiceWithCalSupport) {
                ((ModelServiceWithCalSupport) service).setParentTransaction(t);
            }
            requireSize++;

            m_configManager.getModelServiceExecutorService().submit(new Runnable() {
                @Override
                public void run() {
                    try {
                        ModelResponse response = service.invoke(request);

                        if (response.getException() != null) {
                            logError(response.getException());
                        }
                        if (response != null && response.getModel() != null) {
                            responses.add(response);
                        }
                    } catch (Exception e) {
                        logError(e);
                        t.setStatus(e);
                    } finally {
                        semaphore.release();
                    }
                }
            });

            count++;
        }

        try {
            semaphore.tryAcquire(count, 10000, TimeUnit.MILLISECONDS); // 10 seconds timeout
        } catch (InterruptedException e) {
            // ignore it
            t.setStatus(e);
        } finally {
            t.complete();
        }

        String requireAll = request.getProperty("requireAll");

        if (requireAll != null && responses.size() != requireSize) {
            String data = "require:" + requireSize + " actual:" + responses.size();
            Cat.logEvent("FetchReportError:" + this.getClass().getSimpleName(), request.getDomain(), Event.SUCCESS, data);

            return null;
        }
        ModelResponse aggregated = new ModelResponse();
        T report = merge(request, responses);

        aggregated.setModel(report);
        return aggregated;
    }

 
 
如果是查询ALL维度的报表，则会调用TransactionMergeHelper的mergeAllMachines进行继续的聚合所有机器的指标。
 
 
    public TransactionReport mergeAllMachines(TransactionReport report, String ipAddress) {
        if (StringUtils.isEmpty(ipAddress) || Constants.ALL.equalsIgnoreCase(ipAddress)) {
            AllMachineMerger all = new AllMachineMerger();

            all.visitTransactionReport(report);
            report = all.getReport();
        }
        return report;
    }

 
 
HISTORY_REPORT请求会先调用m_reportService.queryReport从数据库获取到对应的历史报表，如MonthlyReport为例。获取到报表后，还是会判断是否需要聚合所有机器指标，就不细说了。
 
 
    @Override
    public TransactionReport queryMonthlyReport(String domain, Date start) {
        TransactionReport transactionReport = new TransactionReport(domain);

        try {
            MonthlyReport entity = m_monthlyReportDao
                                    .findReportByDomainNamePeriod(start, domain, TransactionAnalyzer.ID,    MonthlyReportEntity.READSET_FULL);
            transactionReport = queryFromMonthlyBinary(entity.getId(), domain);
        } catch (DalNotFoundException e) {
            // ignore
        } catch (Exception e) {
            Cat.logError(e);
        }
        return convert(transactionReport);
    }

 
 
logview下的Handler.getLogView方法，对应着查询logview的处理。
 
 
@Override
    @OutboundActionMeta(name = "m")
    public void handleOutbound(Context ctx) throws ServletException, IOException {
        Model model = new Model(ctx);
        Payload payload = ctx.getPayload();

        model.setAction(payload.getAction());
        model.setPage(ReportPage.LOGVIEW);
        model.setDomain(payload.getDomain());
        model.setDate(payload.getDate());

        String messageId = getMessageId(payload);
        String logView = null;
        MessageId msgId = MessageId.parse(messageId);

        if (checkStorageTime(msgId)) {
            logView = getLogView(messageId, payload.isWaterfall());

            if (logView == null || logView.length() == 0) {
                Cat.logEvent("Logview", msgId.getDomain() + ":Fail", Event.SUCCESS, messageId);
            } else {
                Cat.logEvent("Logview", "Success", Event.SUCCESS, messageId);
            }
        } else {
            Cat.logEvent("Logview", "OldMessage", Event.SUCCESS, messageId);
        }

        switch (payload.getAction()) {
        case VIEW:
            model.setTable(logView);
            break;
        }

        m_jspViewer.view(ctx, model);
    }

    private String getLogView(String messageId, boolean waterfall) {
        try {
            if (messageId != null) {
                MessageId id = MessageId.parse(messageId);
                long timestamp = id.getTimestamp();
                ModelRequest request = new ModelRequest(id.getDomain(), timestamp) //
                                        .setProperty("messageId", messageId) //
                                        .setProperty("waterfall", String.valueOf(waterfall)) //
                                        .setProperty("timestamp", String.valueOf(timestamp));

                if (m_service.isEligable(request)) {
                    ModelResponse response = m_service.invoke(request);
                    String logview = response.getModel();

                    return logview;
                } else {
                    throw new RuntimeException("Internal error: no eligible logview service registered for " + request + "!");
                }
            }
        } catch (Exception e) {
            Cat.logError(e);
            return null;
        }

        return null;
    }

 
 
一样的，会请求各个server获取到机器存储在磁盘的logview，原理是通过MessageId找到index，再通过index读取data并返回。选取拥有结果的response返回，上文已经分析过logview的写入，查找其实就是写入的反向操作，就不细说了。
 
 
    @Override
    protected String merge(ModelRequest request, List> responses) {
        for (ModelResponse response : responses) {
            if (response != null) {
                String model = response.getModel();

                if (model != null) {
                    return model;
                }
            }
        }

        return null;
    }

 
 
写在最后
 
 
1.https://zhuanlan.zhihu.com/p/114718897
 携程对cat的二次优化，指出了cat的不足之处，同时优化思路很值得借鉴。
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(美团cat源码解析)

        

            

                
    
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • 每日一题——第八十八题
                        互联网打工人no1
C语言程序设计每日一练c语言
                        
    题目：输入一个9位的无符号整数，判断其是否有重复数字#include#include#includeintmain(){charnum_str[10];printf("请输入一个9位数的无符号数：");scanf_s("%9d",&num_str);if(strlen(num_str)!=9){printf("输入的不是一个9位无符号整数，请重新输入");}else{if(hasDuplicate
    
                    
    • 
                    
  • SpringBlade dict-biz/list 接口 SQL 注入漏洞
                        文章永久免费只为良心
oracle数据库
                        
    SpringBladedict-biz/list接口SQL注入漏洞POC:构造请求包查看返回包你的网址/api/blade-system/dict-biz/list?updatexml(1,concat(0x7e,md5(1),0x7e),1)=1漏洞概述在SpringBlade框架中，如果dict-biz/list接口的后台处理逻辑没有正确地对用户输入进行过滤或参数化查询（PreparedSta
    
                    
    • 
                    
  • xilinx vivado PULLMODE 设置思路
                        坚持每天写程序
fpga开发
                        
    1.xilinx引脚分类XilinxIO的分类：以XC7A100TFGG484为例，其引脚分类如下：1.UserIO(用户IO)：用户使用的普通IO1.1专用(Dedicated)IO：命名为IO_LXXY_#、IO_XX_#的引脚，有固定的特定用途，多为底层特定功能的直接实现，如差分对信号、关键控制信号等，不能随意变更。1.2多功能(Multi-Function)IO：命名为IO_LXXY_ZZ
    
                    
    • 
                    
  • 自然语言处理_tf-idf
                        _feivirus_
算法机器学习和数学自然语言处理tf-idf逆文档频率词频
                        
    importpandasaspdimportmath1.数据预处理docA="Thecatsatonmyface"docB="Thedogsatonmybed"wordsA=docA.split("")wordsB=docB.split("")wordsSet=set(wordsA).union(set(wordsB))print(wordsSet){'on','my','face','sat',
    
                    
    • 
                    
  • ArrayList 源码解析
                        程序猿进阶
Java基础ArrayListListjava面试性能优化架构设计idea
                        
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
    
                    
    • 
                    
  • Python实现下载当前年份的谷歌影像
                        sand&wich
python开发语言
                        
    在GIS项目和地图应用中，获取最新的地理影像数据是非常重要的。本文将介绍如何使用Python代码从Google地图自动下载当前年份的影像数据，并将其保存为高分辨率的TIFF格式文件。这个过程涉及地理坐标转换、多线程下载和图像处理。关键功能该脚本的核心功能包括：坐标转换：支持WGS-84与WebMercator投影之间转换，以及处理中国GCJ-02偏移。自动化下载：多线程下载地图瓦片，提高效率。图像
    
                    
    • 
                    
  • 博客网站制作教程
                        2401_85194651
javamaven
                        
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
    
                    
    • 
                    
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署）
                        java毕设程序源码王哥
php课程设计vue.js
                        
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
    
                    
    • 
                    
  • RabbitMQ生产者重复机制与确认机制
                        java炒饭小能手
java-rabbitmqrabbitmqjava
                        
    重复机制生产者发送消息时，出现了网络故障，导致与MQ的连接中断。为了解决这个问题，SpringAMQP提供的消息发送时的重试机制。即：当RabbitTemplate与MQ连接超时后，多次重试。需要修该发送端模块的application.yaml文件，添加下面的内容：spring:rabbitmq:connection-timeout:1s#设置MQ的连接超时时间template:retry:ena
    
                    
    • 
                    
  • leetcode中等.数组(21-40)python
                        九日火
pythonleetcode
                        
    80.RemoveDuplicatesfromSortedArrayII(m-21)Givenasortedarraynums,removetheduplicatesin-placesuchthatduplicatesappearedatmosttwiceandreturnthenewlength.Donotallocateextraspaceforanotherarray,youmustdoth
    
                    
    • 
                    
  • 前端代码上传文件
                        余生逆风飞翔
前端javascript开发语言
                        
    点击上传文件import{ElNotification}from'element-plus'import{API_CONFIG}from'../config/index.js'import{UploadFilled}from'@element-plus/icons-vue'import{reactive}from'vue'import{BASE_URL}from'../config/index'i
    
                    
    • 
                    
  • Dockerfile命令详解之 FROM
                        清风怎不知意
容器化java前端javascript
                        
    许多同学不知道Dockerfile应该如何写，不清楚Dockerfile中的指令分别有什么意义，能达到什么样的目的，接下来我将在容器化专栏中详细的为大家解释每一个指令的含义以及用法。专栏订阅传送门https://blog.csdn.net/qq_38220908/category_11989778.html指令不区分大小写。但是，按照惯例，它们应该是大写的，以便更容易地将它们与参数区分开来。(引用
    
                    
    • 
                    
  • 《Veronika decides to die》
                        Ooutstanding

                        
    Whatismadness？——Madnessistheinabilitytocommunicate.Betweennormalityandmadness,whicharebasicallythesamething,thereexistsanintermediarystage：itiscalled"beingdifferent."Andpeoplewerebecomingmoreandmoreaf
    
                    
    • 
                    
  • Regular Expression 正则表达式
                        Aimyon_36
DataDevelopment正则表达式redis数据库
                        
    RegularExpression前言1.基本匹配2.元字符2.1点运算符.2.2字符集2.2.1否定字符集2.3重复次数2.3.1*号2.3.2+号2.3.3?号2.4{}号2.5(...)特征标群2.6|或运算符2.7转码特殊字符2.8锚点2.8.1^号2.8.2$号3.简写字符集4.零宽度断言（前后预查）4.1?=...正先行断言4.2?!...负先行断言4.3?Thefatcatsaton
    
                    
    • 
                    
  • spring mvc @RequestBody String类型参数
                        zoyation
spring-mvcspringmvc
                        
    通过如下配置：text/html;charset=UTF-8application/json;charset=UTF-8在springmvc的Controller层使用@RequestBody接收Content-Type为application/json的数据时，默认支持Map方式和对象方式参数@RequestMapping(value="/{code}/saveUser",method=Requ
    
                    
    • 
                    
  • Istio pilot-discovery服务发现源码解析（1.13版本）
                        xidianjiapei001
#Istioistio云原生服务发现
                        
    Istiopilot-discovery服务发现介绍工作机制初始化初始化Config控制器初始化Service控制器controller初始化NamespaceServiceNodePodPilotDiscovery各组件启动流程DiscoveryServer接收Envoy的gRPC连接请求流程Config变化后向Envoy推送更新的流程总结参考介绍IstioPilot的代码分为Pilot-Dis
    
                    
    • 
                    
  • Java -jar 如何在后台运行项目
                        vincent_hahaha

                        
    撸了今年阿里、头条和美团的面试，我有一个重要发现.......>>>说到运行jar包通常我们都会以下面的方式运行:java-jarspringboot-0.0.1-SNAPSHOT.jar这样运行的话会有一个问题，就是我们一关闭当前窗口就会停止运行项目，要想解决这个问题，就需要在后台运行。nohupjava-jarbabyshark-0.0.1-SNAPSHOT.jar >log.file 2>&
    
                    
    • 
                    
  • spring security中几大组件的作用和执行顺序
                        阿信在这里
javaspring
                        
    springsecurity中几大组件的作用和执行顺序在SpringSecurity中，AuthenticationProvider、GroupPermissionEvaluator、PermissionEvaluator、AbstractAuthenticationProcessingFilter、DefaultMethodSecurityExpressionHandler和ManageSecu
    
                    
    • 
                    
  • vant-element-ts一起使用存在的问题
                        flynn_
问题总结vue
                        
    由于vant-ui与element-ui部分组件存在冲突，导致在vue-typescript中出现错误:Subsequentpropertydeclarationsmusthavethesametype.Property'$notify'mustbeoftype'ElNotification',butherehastype'Notify'.方案：一个全局导入，一个按需导入,避免冲突的组件同时使用，
    
                    
    • 
                    
  • Ubuntu Juju 与 Ansible的区别
                        xidianjiapei001
#Kubernetesubuntuansiblelinux云原生Juju
                        
    JujuandAnsiblearebothpowerfultoolsusedformanagingandorchestratingITinfrastructureandapplications,buttheyhavedifferentapproachesandusecases.Here’sabreakdownofthekeydifferencesbetweenthem:1.ConceptualFo
    
                    
    • 
                    
  • 用kubedam搭建的k8s证书过期处理方法
                        我滴鬼鬼呀wks
k8s1024程序员节
                        
    kubeadm部署的k8s证书过期1、查看证书过期时间kubeadmalphacertscheck-expiration若证书已经过期无法试用kubectl命令建议修改服务器时间到未过期的时间段2、配置kube-controller-manager.yaml文件cat/etc/kubernetes/manifests/kube-controller-manager.yamlapiVersion:v
    
                    
    • 
                    
  • 云防火墙和Web应用防火墙（WAF）区别
                        快快小毛毛
前端网络
                        
    随着互联网的进一步发展，Web应用防火墙（WAF）和云防火墙步入大家的视野。防火墙针对web应用拥有很好的保护作用，由硬件和软件组合，在内部网和外部网、专用网和公共网之间形成一道强有力的保护屏障，使用者可配置不同保护级别的防火墙，高级别的保护会阻止运营一些服务。那么，我们如何理解这两种防火墙，他们有什么区别？一、web防火墙Web应用防火墙,属于硬件级别防火墙（WebApplicationFire
    
                    
    • 
                    
  • 有没有那么一个人或东西会让你一见或一吃就心情愉悦，嘴角上扬的.....
                        若然小妖

                        
    今天忙了半天，有点累。打开美团点了一份水果捞。吃到嘴里，那一瞬间疲倦全无，那一瞬间心情愉悦，嘴角上扬.....哇塞！这感觉真的是太美好啊！我还记得我每次生病的时候，那个时候妈妈总会给我买一瓶桃罐头，就那种玻璃瓶的大黄桃罐头，不知道为什么每次生病只要一吃就算再难受，心情都会瞬间愉悦，嘴角也会不经意上扬......还有火锅，还有小龙虾.....或许看到这里你会说这是吃货的本质啊！嘿嘿……其实不光对食物
    
                    
    • 
                    
  • python比较字符串是否一样,Python如何确定两个字符串是否相同
                        鲁东学子
python比较字符串是否一样
                        
    I'vetriedtounderstandwhenPythonstringsareidentical(akasharingthesamememorylocation).Howeverduringmytests,thereseemstobenoobviousexplanationwhentwostringvariablesthatareequalsharethesamememory:importsy
    
                    
    • 
                    
  • SQLIntegrityConstraintViolationException解决方案
                        lu520zxcv
java
                        
    java.sql.SQLIntegrityConstraintViolationException:Duplicateentry'2'forkey't_pay.PRIMARY'当项目中出现上述异常表示，唯一的键已存在，再次向数据库插入相同唯一键的数据，此时，我们只需要将唯一键字段换一个既可。
    
                    
    • 
                    
  • 静态常量（static const）|| 日志记录器
                        课堂随想
moveit2机器人
                        
    //AllsourcefilesthatuseROSloggingshoulddefineafile-specific//staticconstrclcpp::LoggernamedLOGGER,locatedatthetopofthefile//andinsidethenamespacewiththenarrowestscope(ifthereisone)staticconstrclcpp::L
    
                    
    • 
                    
  • webstorm报错TypeError: this.cliEngine is not a constructor
                        Blue_Color

                        
    点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
    
                    
    • 
                    
  • matlab游标标注移动,matlab实现图形窗口的数据游标
                        莫白想
matlab游标标注移动
                        
    DatacursorsforfigurewindowSeveralrelatedfunctions:CreateCursorsetsupaverticalcursoronallaxesinafigure.Thecursorscanbemovedaroundusingthemouse.MultiplecursorsaresupportedineachfigureGetCursorLocationre
    
                    
    • 
                    
  • 美团一面
                        Redstone Monstrosity
前端面试
                        
    1.为什么代码输出顺序是这样的？请尽可能详细地解释原理和过程。asyncfunctionasync1(){console.log('async1start');awaitasync2();console.log('async1end')}asyncfunctionasync2(){console.log('async2')}console.log('scriptstart');async1();c
    
                    
    • 
                                
  • mongodb3.03开启认证
                                    21jhf
mongodb
                                    
    下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下： 
（百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） 
Windows下我做了一个bat文件，用来启动mongodb，命令行如下： 
mongod --dbpath db\data --port 27017 --directoryperdb --logp
    
                                
    • 
                                
  • 【Spark103】Task not serializable
                                    bit1129
Serializable
                                    
    Task not serializable是Spark开发过程最令人头疼的问题之一，这里记录下出现这个问题的两个实例，一个是自己遇到的，另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在，至少目前阶段碰到此类问题，没有什么章法 
1. 
  
package spark.exampl
    
                                
    • 
                                
  • 你所熟知的 LRU(最近最少使用)
                                    dalan_123
java
                                    
    关于LRU这个名词在很多地方或听说，或使用，接下来看下lru缓存回收的实现 
1、大体的想法 
    a、查询出最近最晚使用的项 
    b、给最近的使用的项做标记 
通过使用链表就可以完成这两个操作，关于最近最少使用的项只需要返回链表的尾部；标记最近使用的项，只需要将该项移除并放置到头部，那么难点就出现 你如何能够快速在链表定位对应的该项？ 
这时候多
    
                                
    • 
                                
  • Javascript 跨域
                                    周凡杨
JavaScriptjsonp跨域cross-domain
                                    
      
                                 
    
                                
    • 
                                
  • linux下安装apache服务器
                                    g21121
apache
                                    
    安装apache  
下载windows版本apache，下载地址：http://httpd.apache.org/download.cgi 
   1.windows下安装apache   
Windows下安装apache比较简单，注意选择路径和端口即可，这里就不再赘述了。  2.linux下安装apache：  
下载之后上传到linux的相关目录，这里指定为/home/apach
    
                                
    • 
                                
  • FineReport的JS编辑框和URL地址栏语法简介
                                    老A不折腾
finereportweb报表报表软件语法总结
                                    
      JS编辑框： 
1.FineReport的js。 
作为一款BS产品，browser端的JavaScript是必不可少的。 
FineReport中的js是已经调用了finereport.js的。 
大家知道，预览报表时，报表servlet会将cpt模板转为html，在这个html的head头部中会引入FineReport的js，这个finereport.js中包含了许多内置的fun
    
                                
    • 
                                
  • 根据STATUS信息对MySQL进行优化
                                    墙头上一根草
status
                                    
    mysql  查看当前正在执行的操作，即正在执行的sql语句的方法为: 
     show processlist 命令 
  
mysql> show global status;可以列出MySQL服务器运行各种状态值，我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
    
                                
    • 
                                
  • 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名
                                    aijuans
Spring 3
                                    
    本文介绍如何给Spring的Bean配置文件的Bean定义别名？ 
 
原始的 
 
 
<bean id="business" class="onlyfun.caterpillar.device.Business">
    <property name="writer">
        <ref b
    
                                
    • 
                                
  • 高性能mysql 之 性能剖析
                                    annan211
性能mysqlmysql 性能剖析剖析
                                    
    

1 定义性能优化
  mysql服务器性能，此处定义为 响应时间。
  在解释性能优化之前，先来消除一个误解，很多人认为，性能优化就是降低cpu的利用率或者减少对资源的使用。
  这是一个陷阱。
  资源时用来消耗并用来工作的，所以有时候消耗更多的资源能够加快查询速度，保持cpu忙绿，这是必要的。很多时候发现
  编译进了新版本的InnoDB之后，cpu利用率上升的很厉害，这并不
    
                                
    • 
                                
  • 主外键和索引唯一性约束
                                    百合不是茶
索引唯一性约束主外键约束联机删除
                                    
    目标;第一步;创建两张表 用户表和文章表 
        第二步;发表文章 
  
  
  1,建表; 
    ---用户表 BlogUsers
    --userID唯一的
    --userName
    --pwd
    --sex
        

    create 
    
                                
    • 
                                
  • 线程的调度
                                    bijian1013
java多线程thread线程的调度java多线程
                                    
    1.       Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。 
  
2.       多数线程的调度是抢占式的（即我想中断程序运行就中断，不需要和将被中断的程序协商） 
a) 
    
                                
    • 
                                
  • 查看日志常用命令
                                    bijian1013
linux命令unix
                                    
    一.日志查找方法，可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log 
  
二.查看日志常用命令1.grep '关键字' error.log：在error.log中搜索'关键字'2.grep -C10 '关键字' error.log：显示关键字前后10行记录3.grep '关键字' error.l
    
                                
    • 
                                
  • 【持久化框架MyBatis3一】MyBatis版HelloWorld
                                    bit1129
helloworld
                                    
    MyBatis这个系列的文章，主要参考《Java Persistence with MyBatis 3》。 
  样例数据 
本文以MySQL数据库为例，建立一个STUDENTS表，插入两条数据，然后进行单表的增删改查 
  
  
CREATE TABLE STUDENTS
(
stud_id int(11) NOT NULL AUTO_INCREMENT,

    
                                
    • 
                                
  • 【Hadoop十五】Hadoop Counter
                                    bit1129
hadoop
                                    
      
 1. 只有Map任务的Map Reduce Job  
	File System Counters
		FILE: Number of bytes read=3629530
		FILE: Number of bytes written=98312
		FILE: Number of read operations=0
		FILE: Number of lar
    
                                
    • 
                                
  • 解决Tomcat数据连接池无法释放
                                    ronin47
tomcat 连接池　优化
                                    
     
 近段时间，公司的检测中心报表系统(SMC)的开发人员时不时找到我，说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作，发现用户不能登录时，都是在Tomcat中将这个项目Reload一下就好了，不过只是治标而已，因为大概几个小时之后又会 再次出现无法登录的情况。 
  
今天上午，开发人员小毛又找到我，要我协助将这个问题根治一下，拖太久用户难保不投诉。 
简单分析了一
    
                                
    • 
                                
  • java-75-二叉树两结点的最低共同父结点
                                    bylijinnan
java
                                    
    
import java.util.LinkedList;
import java.util.List;

import ljn.help.*;
public class BTreeLowestParentOfTwoNodes {

	public static void main(String[] args) {
		/*
		 * node data is stored in
    
                                
    • 
                                
  • 行业垂直搜索引擎网页抓取项目
                                    carlwu
LuceneNutchHeritrixSolr
                                    
    公司有一个搜索引擎项目，希望各路高人有空来帮忙指导，谢谢！ 
这是详细需求： 
（1） 通过提供的网站地址(大概100-200个网站)，网页抓取程序能不断抓取网页和其它类型的文件（如Excel、PDF、Word、ppt及zip类型），并且程序能够根据事先提供的规则，过滤掉不相干的下载内容。 
（2） 程序能够搜索这些抓取的内容，并能对这些抓取文件按照油田名进行分类，然后放到服务器不同的目录中。 

    
                                
    • 
                                
  • [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费
                                    comsci
资源
                                    
     
 
      降低通讯服务资费，就意味着有更多的用户进入，就意味着通讯服务提供商要接待和服务更多的用户，在总体运维成本没有由于技术升级而大幅下降的情况下，这种降低资费的行为将导致每个用户的平均带宽不断下降，而享受到的服务质量也在下降，这对用户和服务商都是不利的。。。。。。。。 
 
 
    &nbs
    
                                
    • 
                                
  • Java时区转换及时间格式
                                    Cwind
java
                                    
    本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用，以及不同时区时间相互转化的方法和原理。 
  
问题描述： 
向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如，服务器位于东八区（北京时间，GMT+8:00），而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。 

    
                                
    • 
                                
  • readonly,只读，不可用
                                    dashuaifu
jsjspdisablereadOnlyreadOnly
                                    
    readOnly 和 readonly 不同，在做js开发时一定要注意函数大小写和jsp黄线的警告！！！我就经历过这么一件事： 
使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能，有的就不行，而且函数readOnly有黄线警告！！！就这样被折磨了不短时间！！！（期间使用过disable函数，但是发现disable函数之后后台接收不到前台的的数据！！！） 
  
    
                                
    • 
                                
  • LABjs、RequireJS、SeaJS 介绍
                                    dcj3sjt126com
jsWeb
                                    
    LABjs 的核心是 LAB（Loading and Blocking）：Loading 指异步并行加载，Blocking 是指同步等待执行。LABjs 通过优雅的语法（script 和 wait）实现了这两大特性，核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器，倡导的是一种模块化开发理念，核心价值是让 JavaScript 的模块化开发变得更
    
                                
    • 
                                
  • [应用结构]入口脚本
                                    dcj3sjt126com
PHPyii2
                                    
    入口脚本 
入口脚本是应用启动流程中的第一环，一个应用（不管是网页应用还是控制台应用）只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。 
Web 应用的入口脚本必须放在终端用户能够访问的目录下，通常命名为 index.php，也可以使用 Web 服务器能定位到的其他名称。 
控制台应用的入口脚本一般在应用根目录下命名为 yii（后缀为.php），该文
    
                                
    • 
                                
  • haoop shell命令
                                    eksliang
hadoophadoop shell
                                    
     
 cat 
 chgrp 
 chmod 
 chown 
 copyFromLocal 
 copyToLocal 
 cp 
 du 
 dus 
 expunge 
 get 
 getmerge 
 ls 
 lsr 
 mkdir 
 movefromLocal 
 mv 
 put 
 rm 
 rmr 
 setrep 
 stat 
 tail 
 test 
 text 
 
    
                                
    • 
                                
  • MultiStateView不同的状态下显示不同的界面
                                    gundumw100
android
                                    
    只要将指定的view放在该控件里面，可以该view在不同的状态下显示不同的界面，这对ListView很有用，比如加载界面，空白界面，错误界面。而且这些见面由你指定布局，非常灵活。 
 
PS：ListView虽然可以设置一个EmptyView，但使用起来不方便，不灵活，有点累赘。 
 
 

<com.kennyc.view.MultiStateView xmlns:android=&qu
    
                                
    • 
                                
  • jQuery实现页面内锚点平滑跳转
                                    ini
JavaScripthtmljqueryhtml5css
                                    
    平时我们做导航滚动到内容都是通过锚点来做，刷的一下就直接跳到内容了，没有一丝的滚动效果，而且 url 链接最后会有“小尾巴”，就像#keleyi，今天我就介绍一款 jquery 做的滚动的特效，既可以设置滚动速度，又可以在 url 链接上没有“小尾巴”。 
  
效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码： 
&
    
                                
    • 
                                
  • kafka offset迁移
                                    kane_xie
kafka
                                    
    在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。 
  
到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。 
  
从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适
    
                                
    • 
                                
  • android > 搭建 cordova 环境
                                    mft8899
android
                                    
      
1 , 安装 node.js   
     http://nodejs.org 
     
node -v   查看版本 
  
2, 安装 npm 
  
可以先从  https://github.com/isaacs/npm/tags  下载 源码 解压到
    
                                
    • 
                                
  • java封装的比较器，比较是否全相同，获取不同字段名字
                                    qifeifei

                                    
     非常实用的java比较器，贴上代码： 
import java.util.HashSet;
import java.util.List;
import java.util.Set;

import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
import net.sf.json.JsonConfig;

i
    
                                
    • 
                                
  • 记录一些函数用法
                                    .Aky.
位运算PHP数据库函数IP
                                    
    高手们照旧忽略。 
想弄个全天朝IP段数据库，找了个今天最新更新的国内所有运营商IP段，copy到文件，用文件函数，字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件，直接用phpmyadmin导入.csv文件的形式导入。（生命在于折腾，也许你们觉得我傻X，直接下载人家弄好的导入不就可以，做自己的菜鸟，让别人去说吧） 
 
当然用到了ip2long()函数把字符串转为整型数
    
                                
    • 
                                
  • sublime text 3 rust
                                    wudixiaotie
Sublime Text
                                    
    1.sublime text 3 => install package => Rust 
2.cd ~/.config/sublime-text-3/Packages 
3.mkdir rust 
4.git clone https://github.com/sp0/rust-style 
5.cd rust-style 
6.cargo build --release 
7.ctrl
    
                                
    •