codecraft
codecraft

聊聊storm的IEventLogger

序

本文主要研究一下storm的IEventLogger

IEventLogger

storm-2.0.0/storm-client/src/jvm/org/apache/storm/metric/IEventLogger.java

/**
 * EventLogger interface for logging the event info to a sink like log file or db for inspecting the events via UI for debugging.
 */
public interface IEventLogger {

    void prepare(Map conf, Map arguments, TopologyContext context);

    /**
     * This method would be invoked when the {@link EventLoggerBolt} receives a tuple from the spouts or bolts that has event logging
     * enabled.
     *
     * @param e the event
     */
    void log(EventInfo e);

    void close();

    /**
     * A wrapper for the fields that we would log.
     */
    class EventInfo {
        private long ts;
        private String component;
        private int task;
        private Object messageId;
        private List values;

        public EventInfo(long ts, String component, int task, Object messageId, List values) {
            this.ts = ts;
            this.component = component;
            this.task = task;
            this.messageId = messageId;
            this.values = values;
        }

        public long getTs() {
            return ts;
        }

        public String getComponent() {
            return component;
        }

        public int getTask() {
            return task;
        }

        public Object getMessageId() {
            return messageId;
        }

        public List getValues() {
            return values;
        }

        /**
         * Returns a default formatted string with fields separated by ","
         *
         * @return a default formatted string with fields separated by ","
         */
        @Override
        public String toString() {
            return new Date(ts).toString() + "," + component + "," + String.valueOf(task) + ","
                   + (messageId == null ? "" : messageId.toString()) + "," + values.toString();
        }
    }
} 
 
     
  
  • IEventLogger定义了log方法，同时也定义了EventInfo对象
    •  
 
 
 
FileBasedEventLogger
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/metric/FileBasedEventLogger.java
 
 
public class FileBasedEventLogger implements IEventLogger {
    private static final Logger LOG = LoggerFactory.getLogger(FileBasedEventLogger.class);

    private static final int FLUSH_INTERVAL_MILLIS = 1000;

    private Path eventLogPath;
    private BufferedWriter eventLogWriter;
    private ScheduledExecutorService flushScheduler;
    private volatile boolean dirty = false;

    private void initLogWriter(Path logFilePath) {
        try {
            LOG.info("logFilePath {}", logFilePath);
            eventLogPath = logFilePath;
            eventLogWriter = Files.newBufferedWriter(eventLogPath, StandardCharsets.UTF_8, StandardOpenOption.CREATE,
                                                     StandardOpenOption.WRITE, StandardOpenOption.APPEND);
        } catch (IOException e) {
            LOG.error("Error setting up FileBasedEventLogger.", e);
            throw new RuntimeException(e);
        }
    }


    private void setUpFlushTask() {
        ThreadFactory threadFactory = new ThreadFactoryBuilder()
            .setNameFormat("event-logger-flush-%d")
            .setDaemon(true)
            .build();

        flushScheduler = Executors.newSingleThreadScheduledExecutor(threadFactory);
        Runnable runnable = new Runnable() {
            @Override
            public void run() {
                try {
                    if (dirty) {
                        eventLogWriter.flush();
                        dirty = false;
                    }
                } catch (IOException ex) {
                    LOG.error("Error flushing " + eventLogPath, ex);
                    throw new RuntimeException(ex);
                }
            }
        };

        flushScheduler.scheduleAtFixedRate(runnable, FLUSH_INTERVAL_MILLIS, FLUSH_INTERVAL_MILLIS, TimeUnit.MILLISECONDS);
    }


    @Override
    public void prepare(Map conf, Map arguments, TopologyContext context) {
        String stormId = context.getStormId();
        int port = context.getThisWorkerPort();

        /*
         * Include the topology name & worker port in the file name so that
         * multiple event loggers can log independently.
         */
        String workersArtifactRoot = ConfigUtils.workerArtifactsRoot(conf, stormId, port);

        Path path = Paths.get(workersArtifactRoot, "events.log");
        File dir = path.toFile().getParentFile();
        if (!dir.exists()) {
            dir.mkdirs();
        }
        initLogWriter(path);
        setUpFlushTask();
    }

    @Override
    public void log(EventInfo event) {
        try {
            //TODO: file rotation
            eventLogWriter.write(buildLogMessage(event));
            eventLogWriter.newLine();
            dirty = true;
        } catch (IOException ex) {
            LOG.error("Error logging event {}", event, ex);
            throw new RuntimeException(ex);
        }
    }

    protected String buildLogMessage(EventInfo event) {
        return event.toString();
    }

    @Override
    public void close() {
        try {
            eventLogWriter.close();

        } catch (IOException ex) {
            LOG.error("Error closing event log.", ex);
        }

        closeFlushScheduler();
    }

    private void closeFlushScheduler() {
        if (flushScheduler != null) {
            flushScheduler.shutdown();
            try {
                if (!flushScheduler.awaitTermination(2, TimeUnit.SECONDS)) {
                    flushScheduler.shutdownNow();
                }
            } catch (InterruptedException ie) {
                // (Re-)Cancel if current thread also interrupted
                flushScheduler.shutdownNow();
                // Preserve interrupt status
                Thread.currentThread().interrupt();
            }
        }
    }
}
 
 
     
  
  • IEventLogger默认的实现为FileBasedEventLogger，它启动一个定时任务，每隔FLUSH_INTERVAL_MILLIS时间将数据flush到磁盘(如果是dirty的话)
    •  
  
  • 默认的文件路径为workersArtifactRoot目录下的events.log
    •  
 
 
 
StormCommon.addEventLogger
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/daemon/StormCommon.java
 
 
    public static void addEventLogger(Map conf, StormTopology topology) {
        Integer numExecutors = ObjectReader.getInt(conf.get(Config.TOPOLOGY_EVENTLOGGER_EXECUTORS),
                                                   ObjectReader.getInt(conf.get(Config.TOPOLOGY_WORKERS)));
        if (numExecutors == null || numExecutors == 0) {
            return;
        }
        HashMap componentConf = new HashMap<>();
        componentConf.put(Config.TOPOLOGY_TASKS, numExecutors);
        componentConf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, ObjectReader.getInt(conf.get(Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS)));
        Bolt eventLoggerBolt = Thrift.prepareSerializedBoltDetails(
            eventLoggerInputs(topology), new EventLoggerBolt(), null, numExecutors, componentConf);

        for (Object component : allComponents(topology).values()) {
            ComponentCommon common = getComponentCommon(component);
            common.put_to_streams(EVENTLOGGER_STREAM_ID, Thrift.outputFields(eventLoggerBoltFields()));
        }
        topology.put_to_bolts(EVENTLOGGER_COMPONENT_ID, eventLoggerBolt);
    }

    public static List eventLoggerBoltFields() {
        return Arrays.asList(EventLoggerBolt.FIELD_COMPONENT_ID, EventLoggerBolt.FIELD_MESSAGE_ID,
                             EventLoggerBolt.FIELD_TS, EventLoggerBolt.FIELD_VALUES);
    }

    public static Map eventLoggerInputs(StormTopology topology) {
        Map inputs = new HashMap();
        Set allIds = new HashSet();
        allIds.addAll(topology.get_bolts().keySet());
        allIds.addAll(topology.get_spouts().keySet());

        for (String id : allIds) {
            inputs.put(Utils.getGlobalStreamId(id, EVENTLOGGER_STREAM_ID),
                       Thrift.prepareFieldsGrouping(Arrays.asList("component-id")));
        }
        return inputs;
    }
 
 
     
  
  • 这里从Config.TOPOLOGY_EVENTLOGGER_EXECUTORS读取numExecutors，如果为null则使用Config.TOPOLOGY_WORKERS的值，默认是0，即禁用event logger
    •  
  
  • 这里还读取了Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS作为Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS
    •  
  
  • 这里创建了EventLoggerBolt，该bolt使用了fieldsGrouping("component-id")以及Utils.getGlobalStreamId(id, EVENTLOGGER_STREAM_ID)将所有的spout及bolt都作为该bolt的inputs，从而接收所有的tuple，其字段为ventLoggerBolt.FIELD_COMPONENT_ID,EventLoggerBolt.FIELD_MESSAGE_ID,EventLoggerBolt.FIELD_TS, EventLoggerBolt.FIELD_VALUES；同时也会对每个spout或bolt添加一个输出到名为EVENTLOGGER_STREAM_ID的stream的声明，这样使得数据得以流向EventLoggerBolt
    •  
 
 
 
EventLoggerBolt
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/metric/EventLoggerBolt.java
 
 
public class EventLoggerBolt implements IBolt {

    /*
     The below field declarations are also used in common.clj to define the event logger output fields
      */
    public static final String FIELD_TS = "ts";
    public static final String FIELD_VALUES = "values";
    public static final String FIELD_COMPONENT_ID = "component-id";
    public static final String FIELD_MESSAGE_ID = "message-id";
    private static final Logger LOG = LoggerFactory.getLogger(EventLoggerBolt.class);
    private List eventLoggers;

    @Override
    public void prepare(Map topoConf, TopologyContext context, OutputCollector collector) {
        LOG.info("EventLoggerBolt prepare called");

        eventLoggers = new ArrayList<>();
        List> registerInfo = (List>) topoConf.get(Config.TOPOLOGY_EVENT_LOGGER_REGISTER);
        if (registerInfo != null && !registerInfo.isEmpty()) {
            initializeEventLoggers(topoConf, context, registerInfo);
        } else {
            initializeDefaultEventLogger(topoConf, context);
        }
    }

    @Override
    public void execute(Tuple input) {
        LOG.debug("** EventLoggerBolt got tuple from sourceComponent {}, with values {}", input.getSourceComponent(), input.getValues());

        Object msgId = input.getValueByField(FIELD_MESSAGE_ID);
        EventInfo eventInfo = new EventInfo(input.getLongByField(FIELD_TS), input.getSourceComponent(),
                                            input.getSourceTask(), msgId, (List) input.getValueByField(FIELD_VALUES));

        for (IEventLogger eventLogger : eventLoggers) {
            eventLogger.log(eventInfo);
        }
    }

    @Override
    public void cleanup() {
        for (IEventLogger eventLogger : eventLoggers) {
            eventLogger.close();
        }
    }

    private void initializeEventLoggers(Map topoConf, TopologyContext context, List> registerInfo) {
        for (Map info : registerInfo) {
            String className = (String) info.get(TOPOLOGY_EVENT_LOGGER_CLASS);
            Map arguments = (Map) info.get(TOPOLOGY_EVENT_LOGGER_ARGUMENTS);

            IEventLogger eventLogger;
            try {
                eventLogger = (IEventLogger) Class.forName(className).newInstance();
            } catch (Exception e) {
                throw new RuntimeException("Could not instantiate a class listed in config under section "
                                           + Config.TOPOLOGY_EVENT_LOGGER_REGISTER + " with fully qualified name " + className, e);
            }

            eventLogger.prepare(topoConf, arguments, context);
            eventLoggers.add(eventLogger);
        }
    }

    private void initializeDefaultEventLogger(Map topoConf, TopologyContext context) {
        FileBasedEventLogger eventLogger = new FileBasedEventLogger();
        eventLogger.prepare(topoConf, null, context);
        eventLoggers.add(eventLogger);
    }
} 
 
     
  
  • EventLoggerBolt在prepare的时候，从topoConf读取Config.TOPOLOGY_EVENT_LOGGER_REGISTER信息，如果registerInfo为空的话则使用默认的FileBasedEventLogger，否则按registerInfo中注册的eventLoggers来初始化
    •  
  
  • 这里的execute方法就是挨个遍历eventLoggers，然后调用log方法
    •  
 
 
 
小结
 
 
     
  
  • 要开启EventLogger的话，要设置Config.TOPOLOGY_EVENTLOGGER_EXECUTORS的值大于0(conf.setNumEventLoggers)，默认为0，即禁用。开启了event logger的话，可以点击spout或bolt的debug，然后打开events链接，就可以在界面上查看debug期间的tuple数据。
    •  
  
  • 设置Config.TOPOLOGY_EVENTLOGGER_EXECUTORS大于0了之后，如果没有自己设置Config.TOPOLOGY_EVENT_LOGGER_REGISTER，则默认启用的是FileBasedEventLogger，当开启spout或bolt的debug的时候，会将EventInfo打印到workersArtifactRoot目录下的events.log
    •  
  
  • 如果自定义了Config.TOPOLOGY_EVENT_LOGGER_REGISTER(conf.registerEventLogger)，则StormCommon采用的是该配置来初始化EventLogger，默认的FileBasedEventLogger如果没有被设置进去的话，则不会被初始化；StormCommon在addEventLogger的时候，对所有的spout及bolt增加一个declareStream，输出到EVENTLOGGER_STREAM_ID；同时对EventLoggerBolt通过类似fieldsGrouping(componentId,Utils.getGlobalStreamId(id, EVENTLOGGER_STREAM_ID),new Fields("component-id"))将所有的spout及bolt作为inputs；输入到EventLoggerBolt的tuple的字段为ventLoggerBolt.FIELD_COMPONENT_ID,EventLoggerBolt.FIELD_MESSAGE_ID,EventLoggerBolt.FIELD_TS, EventLoggerBolt.FIELD_VALUES
    •  
 
 
 
doc
 
 
     
  
  • STORM-954 Topology Event Inspector
    •  
  
  • Topology event inspector
    •  
 
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(storm)

        

            

                
    
                    
  • html+css网页设计 旅游网站首页1个页面
                        html+css+js网页设计
htmlcss旅游
                        
    html+css网页设计旅游网站首页1个页面网页作品代码简单，可使用任意HTML辑软件（如：Dreamweaver、HBuilder、Vscode、Sublime、Webstorm、Text、Notepad++等任意html编辑软件进行运行及修改编辑等操作）。获取源码1，访问该网站https://download.csdn.net/download/qq_42431718/897527112，点击
    
                    
    • 
                    
  • webstorm报错TypeError: this.cliEngine is not a constructor
                        Blue_Color

                        
    点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
    
                    
    • 
                    
  • [附源码]SSM计算机毕业设计游戏账号交易平台JAVA
                        计算机程序源码
java游戏mysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Java中的大数据处理框架对比分析
                        省赚客app开发者
java开发语言
                        
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
    
                    
    • 
                    
  • Python+Django毕业设计校园易购二手交易平台（程序+LW+部署）
                        Python、JAVA毕设程序源码
课程设计javamysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Hbase - kerberos认证异常
                        kikiki2

                        
    之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
    
                    
    • 
                    
  • WebStorm 配置 PlantUML
                        weijia_kmys
其他webstormideuml
                        
    1.安装PlantUML插件在WebStorm插件市场搜索PlantUMLIntegration并安装，重启WebStorm使插件生效。2.安装GraphvizPlantUML需要Graphviz来生成图形。使用Homebrew安装Graphviz：打开终端（Terminal）。确保你已经安装了Homebrew。如果没有，请先安装Homebrew，可以在Homebrew官网获取安装命令。在终端中输
    
                    
    • 
                    
  • ReactNative 常用开源组件
                        2401_84875852
程序员reactnative开源react.js
                        
    WebStormReactNative的代码模板插件,包括:1.组件名称2.Api名称3.所有StyleSheets属性4.组件属性https://github.com/virtoolswebplayer/ReactNative-LiveTemplateReact-native调用cordova插件https://github.com/axemclion/react-native-cordova-
    
                    
    • 
                    
  • phpstorm 2018激活教程，phpstorm破解版下载
                        八重樱勿忘

                        
    前言：本次phpstorm2018激活教程非常详细，所有细节指导软件是phpstorm10.0是因新版本破解还不稳定，大家放心这个版本不影响开发和使用。文件以及教程都打包在群文件里了。第一步：解压并打开文件，运行“PhpStorm-10.0.3.exe”点击Next进入下一步第二步：选择软件安装目录自定义选择安装根目录-->点击Next进入下一步注意！后面还需要找安装目录里的文件，所以记住安装到一
    
                    
    • 
                    
  • Java Kafka生产者实现
                        stormsha
Javawebjavakafkalinq
                        
    欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
    
                    
    • 
                    
  • Python 开心消消乐
                        stormsha
Python基础python开发语言游戏
                        
    文章目录效果图项目结构程序代码完整代码：https://gitcode.com/stormsha1/games/overview效果图项目结构程序代码run.pyimportsysimportpygamefrompygame.localsimportKEYDOWN,QUIT,K_q,K_ESCAPE,MOUSEBUTTONDOWNfromdissipate.levelimportManagerfr
    
                    
    • 
                    
  • 玩手机的弹指之间，记忆受到了损坏，这是如何发生的？
                        跨鹿

                        
    一：从拍照损伤效应说起为了验证拍照损伤效应（photo-taking-impairmenteffect）——即拍照不利于记忆形成，加州大学圣克鲁斯分校的学者JuliaS.Soares和BenjaminC.Storm进行了两组实验（篇幅有限，不详细介绍该实验）：实验一：42名被试与三个独立变量：观察，相机（手机相机）和Snapchat（色拉布，美国的一款“阅后即焚”照片分享应用）——在观察条件下，参
    
                    
    • 
                    
  • 【附源码】计算机毕业设计java智慧后勤系统设计与实现
                        计算机毕设程序设计
javamybatismysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Apache Storm：入门了解
                        布说在见
apachestorm大数据
                        
    前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。以下是关于Storm的一些关键特性及其应用场景的详细介绍：特性实时处理：Storm能够实时处理数据流，而不是像Hadoop那样需要先收集一批数据再进行处理。它可以持续不断地处理数据，这意味着一旦数据到达，就会立即被处理。简单易用：开发者可以用多种
    
                    
    • 
                    
  • 大数据秋招面经之spark系列
                        wq17629260466
大数据spark
                        
    文章目录前言spark高频面试题汇总1.spark介绍2.spark分组取TopN方案总结：方案2是最佳方案。3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark的yarn-cluster模式执行流程：8.spark的job提交流程：9.spar
    
                    
    • 
                    
  • PhpStorm中配置调试功能
                        hong161688
phpstormandroidide
                        
    在PhpStorm中配置调试功能是一个相对直接且强大的过程，它允许开发者在开发过程中高效地定位和解决代码问题。以下是一个详细的步骤指南，涵盖了从安装PhpStorm到配置调试环境的整个过程，以及如何在PhpStorm中使用调试功能。一、安装PhpStorm首先，确保你已经从JetBrains的官方网站下载了最新版本的PhpStorm。安装过程相对简单，只需按照安装向导的指示逐步进行即可。在安装过程
    
                    
    • 
                    
  • 新闻编辑室第1季第4集台词
                        kuailexuewaiyu

                        
    英文中文♪TrytokeepmyheadaboveitthebestIcan♪♪我要努力挺过这一关♪♪That'swhyhereIam♪♪所以我才在这里♪♪Justwaitingforthisstormtopassmeby♪♪等着暴风雨经过♪♪Andthat'sthesoundofsunshine♪♪聆听阳光的声音♪♪Comingdown♪♪从空中洒下♪♪Andthat'sthesoundofsu
    
                    
    • 
                    
  • web期末作业网页设计——我的家乡黑龙江（网页源码）
                        软件技术NINI
html+css+js旅游旅游htmlcss
                        
    一、‍网站题目旅游，当地特色，历史文化，特色小吃等网站的设计与制作。二、✍️网站描述‍静态网站的编写主要是用HTMLDIV+CSS等来完成页面的排版设计‍,常用的网页设计软件有Dreamweaver、EditPlus、HBuilderX、VScode、Webstorm、Animate等等，用的最多的还是DW，当然不同软件写出的前端Html5代码都是一致的，本网页适合修改成为各种类型的产品展示网页，
    
                    
    • 
                    
  • 使用命令行创建任意大小文件的方法
                        拽拽夏天~
测试技巧linux功能测试
                        
    使用命令行创建任意大小文件的方法作为一个测试工程师，在工作中可能需要创建任意大小的文件。下面介绍下如何使用命令行创建任意大小的文件：1、Linux-dd命令：Linux下的dd命令很是强大，可以这样使用dd命令来创建指定大小的文件：生成固定大小文件ddif=/dev/zeroof=/home/bluestorm/100M.imgbs=1Mcount=1024(生成一个100M的文件，文件名为100
    
                    
    • 
                    
  • phpstorm 插件等功能
                        胡萝卜的兔
laravelphpstormphpphpstormide
                        
    插件MaterialThemeUIUI主题插件ChinesePHPDocumentphp基本函数的中文文档PHPcomposer.jsonsupport在做php组件开发时，编辑composer.json文件时有对应的属性和值的自动完成功能BackgroundImagePlus背景图设置，安装之后，在打开View选项，就可以看到SetBackgroundImage选项了。.envfilessupp
    
                    
    • 
                    
  • phpstrom连接远程服务器
                        努力学习的笨小孩

                        
    PHP开发工具phpstorm通过sftp和FTP远程连接服务器创建编辑远程项目PhpStorm是一个编辑PHP代码的PHP开发工具神器，应该说是目前世界上编辑PHP代码的最好用的PHP开发工具IDE了吧，本地项目的创建相信一般人都会，不过有时候我们可能项目运行在远程服务器上，比如有一种情况：在windows下使用PhpStorm编码，代码放在linux服务器上运行。还有一种情况,代码使用版本控制
    
                    
    • 
                    
  • JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）
                        卓杰计算机设计
java数据库开发语言
                        
    JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）目运行环境项配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1
    
                    
    • 
                    
  • JAVA毕设项目校园二手商品交易系统（java+VUE+Mybatis+Maven+Mysql）
                        贤杰程序源码
mybatisjavavue.js
                        
    JAVA毕设项目校园二手商品交易系统（java+VUE+Mybatis+Maven+Mysql）项目运行环境配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需
    
                    
    • 
                    
  • html5 css3 JavaScript响应式中文静态网页模板js源代码
                        Yucool01
html5javascriptcss3
                        
    该批次模板具备如下功能：首页，二级页面，三级页面登录页面均有，页面齐全，功能齐全，js+css+html,前端HTML纯静态页面，无后台，可用dreamweaver,sublime,webstorm等工具修改；部分网页模板效果图：有需要的同学可以下载学习一下：https://download.csdn.net/download/Yucool01/22408278https://download.c
    
                    
    • 
                    
  • 【python】python指南（十四）：**操作符解包字典传参
                        LDG_AGI
Pythonpython开发语言人工智能机器学习图像处理深度学习计算机视觉
                        
    目录一、引言二、**操作符应用2.1**操作符介绍2.2**操作符案例三、总结一、引言对于算法工程师来说，语言从来都不是关键，关键是快速学习以及解决问题的能力。大学的时候参加ACM/ICPC一直使用的是C语言，实习的时候做一个算法策略后台用的是php，毕业后做策略算法开发，因为要用spark，所以写了scala，后来用基于storm开发实时策略，用的java。至于python，从日常用hive做数
    
                    
    • 
                    
  • 2018-10-31
                        马修斯

                        
    WebStormmac下如何安装WebStorm+破解1、下载软件最好的地址就是官网了下载地址选择好系统版本以后点击DOWNLOAD下载Webstorm2、安装双击下载好的安装包、将WebStromt拖入application文件夹，然后在Launchpad中找到并打开安装.png3、等待一段时间后，WebStorm将进行第一次运行，当出现如下页面的时候第一行选择Activate,第二行选择Act
    
                    
    • 
                    
  • [附源码]JAVA毕业设计基于web旅游网站的设计与实现（系统+LW）
                        晶涛计算机毕设
java前端旅游
                        
    [附源码]JAVA毕业设计基于web旅游网站的设计与实现（系统+LW）目运行环境项配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是ja
    
                    
    • 
                    
  • [附源码]java毕业设计基于web旅游网站的设计与实现
                        李会计算机程序设计
java前端旅游
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Module not found: Error: Can‘t resolve ‘sass-loader‘ in...
                        Coisini_甜柚か
web前端sassvue.jscss
                        
    "sass-loader"报错！！！Failedtocompile../src/main.jsModulenotfound:Error:Can'tresolve'sass-loader'in'E:\study_software\JetBrains\WebStorm2021\WebstormProjects\vue-element-admin-master'npminstallsass-loader
    
                    
    • 
                    
  • pycharm 打开大文件代码洞察功能不可用的解决方法
                        weixin_44482092
intellij-ideajavaintellijidea
                        
    2019-11-13阅读1.3K0今天在使用WebStorm打开一个6.58MB的文件时，编辑器提示文件超过最大限制，代码洞察功能不可用。编辑器很多功能不可用，包括标签折叠、自动补齐、标签自动匹配等。Thefilesize(6.58MB)exceedsconfiquredlimit(2.56MB).Codeinsightfeaturesarenotavailable.其实JetBrains软件有一
    
                    
    • 
                                
  • eclipse maven
                                    IXHONG
eclipse
                                    
    eclipse中使用maven插件的时候，运行run as maven build的时候报错 
-Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME environment variable and mvn script match. 
  
可以设一个环境变量M2_HOME指
    
                                
    • 
                                
  • timer cancel方法的一个小实例
                                    alleni123
多线程timer
                                    
    package com.lj.timer;

import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;

public class MyTimer extends TimerTask
{

	private int a;
	
	private Timer timer;
	
	pub
    
                                
    • 
                                
  • MySQL数据库在Linux下的安装
                                    ducklsl
mysql
                                    
    1.建好一个专门放置MySQL的目录 
/mysql/db数据库目录 
/mysql/data数据库数据文件目录 
 
2.配置用户，添加专门的MySQL管理用户 
 
>groupadd mysql ----添加用户组
>useradd -g mysql mysql ----在mysql用户组中添加一个mysql用户 
3.配置，生成并安装MySQL 
 
>cmake -D
    
                                
    • 
                                
  • spring------>>cvc-elt.1: Cannot find the declaration of element
                                    Array_06
springbean
                                    
    将-------- 
 
<?xml version="1.0" encoding="UTF-8"?> 
<beans xmlns="http://www.springframework.org/schema/beans" 
    xmlns:xsi="http://www.w3
    
                                
    • 
                                
  • maven发布第三方jar的一些问题
                                    cugfy
maven
                                    
    maven中发布 第三方jar到nexus仓库使用的是 deploy:deploy-file命令 
 
有许多参数，具体可查看 
 
http://maven.apache.org/plugins/maven-deploy-plugin/deploy-file-mojo.html 
 
以下是一个例子： 
 
mvn  deploy:deploy-file -DgroupId=xpp3 
    
                                
    • 
                                
  • MYSQL下载及安装
                                    357029540
mysql
                                    
        好久没有去安装过MYSQL，今天自己在安装完MYSQL过后用navicat for mysql去厕测试链接的时候出现了10061的问题，因为的的MYSQL是最新版本为5.6.24，所以下载的文件夹里没有my.ini文件，所以在网上找了很多方法还是没有找到怎么解决问题，最后看到了一篇百度经验里有这个的介绍，按照其步骤也完成了安装，在这里给大家分享下这个链接的地址
    
                                
    • 
                                
  • ios TableView cell的布局
                                    张亚雄
tableview
                                    
      cell.imageView.image = [UIImage imageNamed:[imageArray objectAtIndex:[indexPath row]]]; 
    
  
    CGSize itemSize = CGSizeMake(60, 50); 
 
  &nbs
    
                                
    • 
                                
  • Java编码转义
                                    adminjun
java编码转义
                                    
        import java.io.UnsupportedEncodingException;

    /**
    * 转换字符串的编码
    */
    public class ChangeCharset {
    /** 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 */
    public static final Strin
    
                                
    • 
                                
  • Tomcat 配置和spring
                                    aijuans
spring
                                    
    简介 
Tomcat启动时，先找系统变量CATALINA_BASE，如果没有，则找CATALINA_HOME。然后找这个变量所指的目录下的conf文件夹，从中读取配置文件。最重要的配置文件：server.xml 。要配置tomcat，基本上了解server.xml，context.xml和web.xml。 
 
 Server.xml --  tomcat主
    
                                
    • 
                                
  • Java打印当前目录下的所有子目录和文件
                                    ayaoxinchao
递归File
                                    
    其实这个没啥技术含量，大湿们不要操笑哦，只是做一个简单的记录，简单用了一下递归算法。 
  
import java.io.File;

/**
 * @author Perlin
 * @date 2014-6-30
 */
public class PrintDirectory {
	
	public static void printDirectory(File f
    
                                
    • 
                                
  • linux安装mysql出现libs报冲突解决
                                    BigBird2012
linux
                                    
    linux安装mysql出现libs报冲突解决 
安装mysql出现 
file /usr/share/mysql/ukrainian/errmsg.sys from install of MySQL-server-5.5.33-1.linux2.6.i386 conflicts with file from package mysql-libs-5.1.61-4.el6.i686 
 
    
                                
    • 
                                
  • jedis连接池使用实例
                                    bijian1013
redisjedis连接池jedis
                                    
    实例代码： 
package com.bijian.study;

import java.util.ArrayList;
import java.util.List;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoo
    
                                
    • 
                                
  • 关于朋友
                                    bingyingao
朋友兴趣爱好维持
                                    
      成为朋友的必要条件： 
   志相同，道不合，可以成为朋友。譬如马云、周星驰一个是商人，一个是影星，可谓道不同，但都很有梦想，都要在各自领域里做到最好，当他们遇到一起，互相欣赏，可以畅谈两个小时。   
  志不同，道相合，也可以成为朋友。譬如有时候看到两个一个成绩很好每次考试争做第一，一个成绩很差的同学是好朋友。他们志向不相同，但他
    
                                
    • 
                                
  • 【Spark七十九】Spark RDD API一
                                    bit1129
spark
                                    
    aggregate 
package spark.examples.rddapi

import org.apache.spark.{SparkConf, SparkContext}

//测试RDD的aggregate方法
object AggregateTest {
  def main(args: Array[String]) {
    val conf = new Spar
    
                                
    • 
                                
  • ktap 0.1 released
                                    bookjovi
kerneltracing
                                    
    Dear,

I'm pleased to announce that ktap release v0.1, this is the first official
release of ktap project, it is expected that this release is not fully
functional or very stable and we welcome bu
    
                                
    • 
                                
  • 能保存Properties文件注释的Properties工具类
                                    BrokenDreams
properties
                                    
            今天遇到一个小需求：由于java.util.Properties读取属性文件时会忽略注释，当写回去的时候，注释都没了。恰好一个项目中的配置文件会在部署后被某个Java程序修改一下，但修改了之后注释全没了，可能会给以后的参数调整带来困难。所以要解决这个问题。 
    &nb
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-外观模式-Facade
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



/*
 * 百度百科的定义：
 * Facade（外观）模式为子系统中的各类（或结构与方法）提供一个简明一致的界面，
 * 隐藏子系统的复杂性，使子系统更加容易使用。他是为子系统中的一组接口所提供的一个一致的界面
 * 
 * 可简单地
    
                                
    • 
                                
  • After Effects教程收集
                                    cherishLC
After Effects
                                    
    1、中文入门 
 
http://study.163.com/course/courseMain.htm?courseId=730009 
 
 2、videocopilot英文入门教程（中文字幕） 
 
http://www.youku.com/playlist_show/id_17893193.html 
英文原址： 
http://www.videocopilot.net/basic/ 
素
    
                                
    • 
                                
  • Linux Apache 安装过程
                                    crabdave
apache
                                    
    Linux Apache 安装过程 
  
下载新版本： 
apr-1.4.2.tar.gz（下载网站：http://apr.apache.org/download.cgi） 
apr-util-1.3.9.tar.gz（下载网站：http://apr.apache.org/download.cgi） 
httpd-2.2.15.tar.gz（下载网站：http://httpd.apac
    
                                
    • 
                                
  • Shell学习 之 变量赋值和引用
                                    daizj
shell变量引用赋值
                                    
    本文转自：http://www.cnblogs.com/papam/articles/1548679.html 
 
Shell编程中，使用变量无需事先声明，同时变量名的命名须遵循如下规则： 
 
首个字符必须为字母（a-z，A-Z） 
中间不能有空格，可以使用下划线（_） 
不能使用标点符号 
不能使用bash里的关键字（可用help命令查看保留关键字） 
需要给变量赋值时，可以这么写： 
 

    
                                
    • 
                                
  • Java SE 第一讲（Java SE入门、JDK的下载与安装、第一个Java程序、Java程序的编译与执行）
                                    dcj3sjt126com
javajdk
                                    
    Java SE 第一讲： 
 
Java SE：Java Standard Edition 
Java ME: Java Mobile Edition 
Java EE：Java Enterprise Edition 
 
Java是由Sun公司推出的（今年初被Oracle公司收购）。 
 
收购价格：74亿美金 
 
J2SE、J2ME、J2EE 
 
JDK：Java Development 
    
                                
    • 
                                
  • YII给用户登录加上验证码
                                    dcj3sjt126com
yii
                                    
    1、在SiteController中添加如下代码： 
    /**
     * Declares class-based actions.
     */
    public function actions() {
        return array(
            // captcha action renders the CAPTCHA image displ
    
                                
    • 
                                
  • Lucene使用说明
                                    dyy_gusi
Lucenesearch分词器
                                    
    Lucene使用说明 
1、lucene简介 
1.1、什么是lucene 
    Lucene是一个全文搜索框架，而不是应用产品。因此它并不像baidu或者googleDesktop那种拿来就能用，它只是提供了一种工具让你能实现这些产品和功能。 
1.2、lucene能做什么 
    要回答这个问题，先要了解lucene的本质。实际
    
                                
    • 
                                
  • 学习编程并不难,做到以下几点即可!
                                    gcq511120594
数据结构编程算法
                                    
    不论你是想自己设计游戏，还是开发iPhone或安卓手机上的应用，还是仅仅为了娱乐，学习编程语言都是一条必经之路。编程语言种类繁多，用途各 异，然而一旦掌握其中之一，其他的也就迎刃而解。作为初学者，你可能要先从Java或HTML开始学，一旦掌握了一门编程语言，你就发挥无穷的想象，开发 各种神奇的软件啦。 
1、确定目标 
学习编程语言既充满乐趣，又充满挑战。有些花费多年时间学习一门编程语言的大学生到
    
                                
    • 
                                
  • Java面试十问之三：Java与C++内存回收机制的差别
                                    HNUlanwei
javaC++finalize()堆栈内存回收
                                    
    大家知道， Java 除了那 8 种基本类型以外，其他都是对象类型（又称为引用类型）的数据。 JVM 会把程序创建的对象存放在堆空间中，那什么又是堆空间呢？其实，堆（ Heap）是一个运行时的数据存储区，从它可以分配大小各异的空间。一般，运行时的数据存储区有堆（ Heap）和堆栈（ Stack），所以要先看它们里面可以分配哪些类型的对象实体，然后才知道如何均衡使用这两种存储区。一般来说，栈中存放的
    
                                
    • 
                                
  • 第二章 Nginx+Lua开发入门
                                    jinnianshilongnian
nginxlua
                                    
    Nginx入门 
本文目的是学习Nginx+Lua开发，对于Nginx基本知识可以参考如下文章： 
nginx启动、关闭、重启 
http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html 
agentzh 的 Nginx 教程 
http://openresty.org/download/agentzh-nginx-tutor
    
                                
    • 
                                
  • MongoDB windows安装 基本命令
                                    liyonghui160com

                                    
      
windows安装 
  
 安装目录： 
  
D:\MongoDB\ 
  
新建目录 
  
D:\MongoDB\data\db 
  
4.启动进城： 
  
cd D:\MongoDB\bin 
  
mongod -dbpath D:\MongoDB\data\db 
  
&n
    
                                
    • 
                                
  • Linux下通过源码编译安装程序
                                    pda158
linux
                                    
    一、程序的组成部分   　　Linux下程序大都是由以下几部分组成：   　　二进制文件：也就是可以运行的程序文件   　　库文件：就是通常我们见到的lib目录下的文件   　　配置文件：这个不必多说，都知道   　　帮助文档：通常是我们在linux下用man命令查看的命令的文档   　　 
二、linux下程序的存放目录   　　linux程序的存放目录大致有三个地方：   　　/etc, /b
    
                                
    • 
                                
  • WEB开发编程的职业生涯４个阶段
                                    shw3588
编程Web工作生活
                                    
    觉得自己什么都会 
2007年从学校毕业，凭借自己原创的ASP毕业设计，以为自己很厉害似的，信心满满去东莞找工作，找面试成功率确实很高，只是工资不高，但依旧无法磨灭那过分的自信，那时候什么考勤系统、什么OA系统、什么ERP，什么都觉得有信心，这样的生涯大概持续了约一年。 
 
根本不是自己想的那样 
2008年开始接触很多工作相关的东西，发现太多东西自己根本不会，都需要去学，不管是asp还是js，
    
                                
    • 
                                
  • 遭遇jsonp同域下变作post请求的坑
                                    vb2005xu
jsonp同域post
                                    
    今天迁移一个站点时遇到一个坑爹问题,同一个jsonp接口在跨域时都能调用成功,但是在同域下调用虽然成功,但是数据却有问题. 此处贴出我的后端代码片段 
$mi_id = htmlspecialchars(trim($_GET['mi_id ']));
$mi_cv = htmlspecialchars(trim($_GET['mi_cv '])); 
 贴出我前端代码片段: 
$.aj
    
                                
    •