codecraft
codecraft

聊聊storm WindowTridentProcessor的FreshCollector

序

本文主要研究一下storm WindowTridentProcessor的FreshCollector

实例

        TridentTopology topology = new TridentTopology();
        topology.newStream("spout1", spout)
                .partitionBy(new Fields("user"))
                .window(windowConfig,windowsStoreFactory,new Fields("user","score"),new UserCountAggregator(),new Fields("aggData"))
                .parallelismHint(1)
                .each(new Fields("aggData"), new PrintEachFunc(),new Fields());
  • 这个实例在window操作之后跟了一个each操作

WindowTridentProcessor

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/windowing/WindowTridentProcessor.java

public class WindowTridentProcessor implements TridentProcessor {
    
    private FreshCollector collector;

    //......

    public void prepare(Map stormConf, TopologyContext context, TridentContext tridentContext) {
        this.topologyContext = context;
        List parents = tridentContext.getParentTupleFactories();
        if (parents.size() != 1) {
            throw new RuntimeException("Aggregation related operation can only have one parent");
        }

        Long maxTuplesCacheSize = getWindowTuplesCacheSize(stormConf);

        this.tridentContext = tridentContext;
        collector = new FreshCollector(tridentContext);
        projection = new TridentTupleView.ProjectionFactory(parents.get(0), inputFields);

        windowStore = windowStoreFactory.create(stormConf);
        windowTaskId = windowId + WindowsStore.KEY_SEPARATOR + topologyContext.getThisTaskId() + WindowsStore.KEY_SEPARATOR;
        windowTriggerInprocessId = getWindowTriggerInprocessIdPrefix(windowTaskId);

        tridentWindowManager = storeTuplesInStore ?
                new StoreBasedTridentWindowManager(windowConfig, windowTaskId, windowStore, aggregator, tridentContext.getDelegateCollector(), maxTuplesCacheSize, inputFields)
                : new InMemoryTridentWindowManager(windowConfig, windowTaskId, windowStore, aggregator, tridentContext.getDelegateCollector());

        tridentWindowManager.prepare();
    }

    public void finishBatch(ProcessorContext processorContext) {

        Object batchId = processorContext.batchId;
        Object batchTxnId = getBatchTxnId(batchId);

        LOG.debug("Received finishBatch of : [{}] ", batchId);
        // get all the tuples in a batch and add it to trident-window-manager
        List tuples = (List) processorContext.state[tridentContext.getStateIndex()];
        tridentWindowManager.addTuplesBatch(batchId, tuples);

        List pendingTriggerIds = null;
        List triggerKeys = new ArrayList<>();
        Iterable triggerValues = null;

        if (retriedAttempt(batchId)) {
            pendingTriggerIds = (List) windowStore.get(inprocessTriggerKey(batchTxnId));
            if (pendingTriggerIds != null) {
                for (Integer pendingTriggerId : pendingTriggerIds) {
                    triggerKeys.add(triggerKey(pendingTriggerId));
                }
                triggerValues = windowStore.get(triggerKeys);
            }
        }

        // if there are no trigger values in earlier attempts or this is a new batch, emit pending triggers.
        if(triggerValues == null) {
            pendingTriggerIds = new ArrayList<>();
            Queue pendingTriggers = tridentWindowManager.getPendingTriggers();
            LOG.debug("pending triggers at batch: [{}] and triggers.size: [{}] ", batchId, pendingTriggers.size());
            try {
                Iterator pendingTriggersIter = pendingTriggers.iterator();
                List values = new ArrayList<>();
                StoreBasedTridentWindowManager.TriggerResult triggerResult = null;
                while (pendingTriggersIter.hasNext()) {
                    triggerResult = pendingTriggersIter.next();
                    for (List aggregatedResult : triggerResult.result) {
                        String triggerKey = triggerKey(triggerResult.id);
                        triggerKeys.add(triggerKey);
                        values.add(aggregatedResult);
                        pendingTriggerIds.add(triggerResult.id);
                    }
                    pendingTriggersIter.remove();
                }
                triggerValues = values;
            } finally {
                // store inprocess triggers of a batch in store for batch retries for any failures
                if (!pendingTriggerIds.isEmpty()) {
                    windowStore.put(inprocessTriggerKey(batchTxnId), pendingTriggerIds);
                }
            }
        }

        collector.setContext(processorContext);
        int i = 0;
        for (Object resultValue : triggerValues) {
            collector.emit(new ConsList(new TriggerInfo(windowTaskId, pendingTriggerIds.get(i++)), (List) resultValue));
        }
        collector.setContext(null);
    }
} 
 
     
  
  • WindowTridentProcessor在prepare的时候创建了FreshCollector
    •  
  
  • finishBatch的时候，调用FreshCollector.emit将窗口的aggregate的结果集传递过去
    •  
  
  • 传递的数据结构为ConsList，其实是个AbstractList的实现，由Object类型的first元素，以及List结构的_elems组成 
  
 
    FreshCollector
     
 
    storm-core-1.2.2-sources.jar!/org/apache/storm/trident/planner/processor/FreshCollector.java
     
 
    public class FreshCollector implements TridentCollector {
    FreshOutputFactory _factory;
    TridentContext _triContext;
    ProcessorContext context;
    
    public FreshCollector(TridentContext context) {
        _triContext = context;
        _factory = new FreshOutputFactory(context.getSelfOutputFields());
    }
                
    public void setContext(ProcessorContext pc) {
        this.context = pc;
    }

    @Override
    public void emit(List values) {
        TridentTuple toEmit = _factory.create(values);
        for(TupleReceiver r: _triContext.getReceivers()) {
            r.execute(context, _triContext.getOutStreamId(), toEmit);
        }            
    }

    @Override
    public void reportError(Throwable t) {
        _triContext.getDelegateCollector().reportError(t);
    } 

    public Factory getOutputFactory() {
        return _factory;
    }    
} 
 
       
  
    • FreshCollector在构造器里头根据context的selfOutputFields(第一个field固定为_task_info，之后的几个field为用户在window方法定义的functionFields)构造FreshOutputFactory
      •  
  
    • emit方法，首先使用FreshOutputFactory根据outputFields构造TridentTupleView，之后获取TupleReceiver，调用TupleReceiver的execute方法把TridentTupleView传递过去
      •  
  
    • 这里的TupleReceiver有ProjectedProcessor、PartitionPersistProcessor
      •  
 
     
 
    TridentTupleView.FreshOutputFactory
     
 
    storm-core-1.2.2-sources.jar!/org/apache/storm/trident/tuple/TridentTupleView.java
     
 
        public static class FreshOutputFactory  implements Factory {
        Map _fieldIndex;
        ValuePointer[] _index;

        public FreshOutputFactory(Fields selfFields) {
            _fieldIndex = new HashMap<>();
            for(int i=0; i selfVals) {
            return new TridentTupleView(PersistentVector.EMPTY.cons(selfVals), _index, _fieldIndex);
        }

        @Override
        public Map getFieldIndex() {
            return _fieldIndex;
        }

        @Override
        public int numDelegates() {
            return 1;
        }
        
        @Override
        public List getOutputFields() {
            return indexToFieldsList(_index);
        }        
    }
     
 
       
  
    • FreshOutputFactory是TridentTupleView的一个静态类，其构造方法主要是计算_index以及_fieldIndex
      •  
  
    • _fieldIndex是一个map，key是field字段，value是ValuePointer，记录其delegateIndex(这里固定为0)、index及field信息；第一个field为_task_info，index为0；之后的fields为用户在window方法定义的functionFields
      •  
  
    • 这里的create方法主要是构造TridentTupleView，其构造器第一个值为IPersistentVector，第二个值为_index，第三个值为_fieldIndex
      •  
 
     
 
    ValuePointer
     
 
    storm-core-1.2.2-sources.jar!/org/apache/storm/trident/tuple/ValuePointer.java
     
 
    public class ValuePointer {
    public static Map buildFieldIndex(ValuePointer[] pointers) {
        Map ret = new HashMap();
        for(ValuePointer ptr: pointers) {
            ret.put(ptr.field, ptr);
        }
        return ret;        
    }

    public static ValuePointer[] buildIndex(Fields fieldsOrder, Map pointers) {
        if(fieldsOrder.size()!=pointers.size()) {
            throw new IllegalArgumentException("Fields order must be same length as pointers map");
        }
        ValuePointer[] ret = new ValuePointer[pointers.size()];
        for(int i=0; i
     
 
       
  
    • 这里的buildIndex，主要是根据selfOutputFields的顺序返回ValuePointer数组
      •  
 
     
 
    ProjectedProcessor
     
 
    storm-core-1.2.2-sources.jar!/org/apache/storm/trident/planner/processor/ProjectedProcessor.java
     
 
    public class ProjectedProcessor implements TridentProcessor {
    Fields _projectFields;
    ProjectionFactory _factory;
    TridentContext _context;
    
    public ProjectedProcessor(Fields projectFields) {
        _projectFields = projectFields;
    }
    
    @Override
    public void prepare(Map conf, TopologyContext context, TridentContext tridentContext) {
        if(tridentContext.getParentTupleFactories().size()!=1) {
            throw new RuntimeException("Projection processor can only have one parent");
        }
        _context = tridentContext;
        _factory = new ProjectionFactory(tridentContext.getParentTupleFactories().get(0), _projectFields);
    }

    @Override
    public void cleanup() {
    }

    @Override
    public void startBatch(ProcessorContext processorContext) {
    }

    @Override
    public void execute(ProcessorContext processorContext, String streamId, TridentTuple tuple) {
        TridentTuple toEmit = _factory.create(tuple);
        for(TupleReceiver r: _context.getReceivers()) {
            r.execute(processorContext, _context.getOutStreamId(), toEmit);
        }
    }

    @Override
    public void finishBatch(ProcessorContext processorContext) {
    }

    @Override
    public Factory getOutputFactory() {
        return _factory;
    }
}
     
 
       
  
    • ProjectedProcessor在prepare的时候，创建了ProjectionFactory，其_projectFields就是window方法定义的functionFields，这里还使用tridentContext.getParentTupleFactories().get(0)提取了parent的第一个Factory，由于是FreshCollector传递过来的，因而这里是TridentTupleView.FreshOutputFactory
      •  
  
    • execute的时候，首先调用ProjectionFactory.create方法，对TridentTupleView进行字段提取操作，toEmit就是根据window方法定义的functionFields重新提取的TridentTupleView
      •  
  
    • execute方法之后对_context.getReceivers()挨个调用execute操作，将toEmit传递过去，这里的receiver就是window操作之后的各种processor了，比如EachProcessor
      •  
 
     
 
    TridentTupleView.ProjectionFactory
     
 
    storm-core-1.2.2-sources.jar!/org/apache/storm/trident/tuple/TridentTupleView.java
     
 
    public static class ProjectionFactory implements Factory {
        Map _fieldIndex;
        ValuePointer[] _index;
        Factory _parent;

        public ProjectionFactory(Factory parent, Fields projectFields) {
            _parent = parent;
            if(projectFields==null) projectFields = new Fields();
            Map parentFieldIndex = parent.getFieldIndex();
            _fieldIndex = new HashMap<>();
            for(String f: projectFields) {
                _fieldIndex.put(f, parentFieldIndex.get(f));
            }            
            _index = ValuePointer.buildIndex(projectFields, _fieldIndex);
        }
        
        public TridentTuple create(TridentTuple parent) {
            if(_index.length==0) return EMPTY_TUPLE;
            else return new TridentTupleView(((TridentTupleView)parent)._delegates, _index, _fieldIndex);
        }

        @Override
        public Map getFieldIndex() {
            return _fieldIndex;
        }

        @Override
        public int numDelegates() {
            return _parent.numDelegates();
        }

        @Override
        public List getOutputFields() {
            return indexToFieldsList(_index);
        }
    }
     
 
       
  
    • ProjectionFactory是TridentTupleView的静态类，它在构造器里头根据projectFields构造_index及_fieldIndex，这样create方法就能根据所需的字段创建TridentTupleView
      •  
 
     
 
    EachProcessor
     
 
    storm-core-1.2.2-sources.jar!/org/apache/storm/trident/planner/processor/EachProcessor.java
     
 
    public class EachProcessor implements TridentProcessor {
    Function _function;
    TridentContext _context;
    AppendCollector _collector;
    Fields _inputFields;
    ProjectionFactory _projection;
    
    public EachProcessor(Fields inputFields, Function function) {
        _function = function;
        _inputFields = inputFields;
    }
    
    @Override
    public void prepare(Map conf, TopologyContext context, TridentContext tridentContext) {
        List parents = tridentContext.getParentTupleFactories();
        if(parents.size()!=1) {
            throw new RuntimeException("Each operation can only have one parent");
        }
        _context = tridentContext;
        _collector = new AppendCollector(tridentContext);
        _projection = new ProjectionFactory(parents.get(0), _inputFields);
        _function.prepare(conf, new TridentOperationContext(context, _projection));
    }

    @Override
    public void cleanup() {
        _function.cleanup();
    }    

    @Override
    public void execute(ProcessorContext processorContext, String streamId, TridentTuple tuple) {
        _collector.setContext(processorContext, tuple);
        _function.execute(_projection.create(tuple), _collector);
    }

    @Override
    public void startBatch(ProcessorContext processorContext) {
    }

    @Override
    public void finishBatch(ProcessorContext processorContext) {
    }

    @Override
    public Factory getOutputFactory() {
        return _collector.getOutputFactory();
    }    
}
     
 
       
  
    • EachProcessor的execute方法，首先设置_collector的context为processorContext，然后调用_function.execute方法
      •  
  
    • 这里调用了_projection.create(tuple)来提取字段，主要是根据_function定义的inputFields来提取
      •  
  
    • 这里传递给_function的collector为AppendCollector
      •  
 
     
 
    AppendCollector
     
 
    storm-core-1.2.2-sources.jar!/org/apache/storm/trident/planner/processor/AppendCollector.java
     
 
    public class AppendCollector implements TridentCollector {
    OperationOutputFactory _factory;
    TridentContext _triContext;
    TridentTuple tuple;
    ProcessorContext context;
    
    public AppendCollector(TridentContext context) {
        _triContext = context;
        _factory = new OperationOutputFactory(context.getParentTupleFactories().get(0), context.getSelfOutputFields());
    }
                
    public void setContext(ProcessorContext pc, TridentTuple t) {
        this.context = pc;
        this.tuple = t;
    }

    @Override
    public void emit(List values) {
        TridentTuple toEmit = _factory.create((TridentTupleView) tuple, values);
        for(TupleReceiver r: _triContext.getReceivers()) {
            r.execute(context, _triContext.getOutStreamId(), toEmit);
        }
    }

    @Override
    public void reportError(Throwable t) {
        _triContext.getDelegateCollector().reportError(t);
    } 
    
    public Factory getOutputFactory() {
        return _factory;
    }
} 
 
       
  
    • AppendCollector在构造器里头创建了OperationOutputFactory，其emit方法也是提取OperationOutputFields，然后挨个调用_triContext.getReceivers()的execute方法；如果each之后没有其他操作，那么AppendCollector的_triContext.getReceivers()就为空
      •  
 
     
 
    小结
     
 
       
  
    • WindowTridentProcessor里头使用的是FreshCollector，WindowTridentProcessor在finishBatch的时候，会从TridentWindowManager提取window创建的pendingTriggers(提取之后会将其数据从pendingTriggers移除)，里头包含了窗口累积的数据，然后使用FreshCollector发射这些数据，默认第一个value为TriggerInfo，第二个value就是窗口累积发射的values
      •  
  
    • FreshCollector的emit方法首先使用TridentTupleView.FreshOutputFactory根据selfOutputFields(第一个field固定为_task_info，之后的几个field为用户在window方法定义的functionFields)构建TridentTupleView，然后挨个调用_triContext.getReceivers()的execute方法
      •  
  
    • 后续的receivers中有一个ProjectedProcessor，用于根据window方法定义的functionFields重新提取的TridentTupleView，它的execute方法也类似FreshCollector.emit方法，先提取所需字段构造TridentTupleView，然后挨个调用_triContext.getReceivers()的execute方法(比如EachProcessor.execute)
      •  
  
    • EachProcessor使用的collector为AppendCollector，它的emit方法也类似FreshCollector的emit方法，先进行字段提取构造TridentTupleView，然后挨个调用_triContext.getReceivers()的execute方法
      •  
  
    • FreshCollector的emit方法与ProjectedProcessor的execute方法以及AppendCollector的emit方法都非常类似，首先是使用Factory提取所需字段构建TridentTupleView，然后挨个调用_triContext.getReceivers()的execute方法；当一个_triContext没有receiver的时候，tuple的传递也就停止了
      •  
 
     
 
    doc
     
 
       
  
    • Windowing Support in Core Storm
      •  
 
     

                            
                        
                    
                    
                    
    
                    
                    
                    
    
                
                
    
                    
                
    
            
        
    
    
    
        
    你可能感兴趣的:(storm)
    
        
    
            
    
                
      
                    
    • Springboot毕设项目动物园售票管理系统96zau（java+VUE+Mybatis+Maven+Mysql）
                        韩元计算机毕设
mybatisjavaspringboot
                        
      项目运行环境配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：Springboot+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也
      
                    
      • 
                    
    • 差分进化算法(Differential evolution,DE)(附详细注释的Python代码)
                        XijueJa
算法python开发语言
                        
      概念与基本原理差分进化算法（DifferentialEvolution，简称DE）是一种基于种群的随机优化算法，由Storm和Price在1995年提出。它主要应用于解决非线性、非凸、连续和离散的优化问题。DE算法以其简单性、鲁棒性和高效性而受到广泛关注。差分进化算法的基本思想是通过模拟自然进化过程中的遗传和变异机制来寻找问题的最优解，类似于遗传算法。通过变异、交叉与选择，使得初始化的种群不断朝最
      
                    
      • 
                    
    • ssm+java计算机毕业设计智能家居系统c82b7（程序+lw+源码+远程部署)
                        秋名计算机毕设程序源码
java课程设计智能家居
                        
      项目运行项目含有源码(见文末)、文档、程序、数据库、配套开发软件、软件安装教程环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+JSP等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是jav
      
                    
      • 
                    
    • Java 大视界 -- Java 驱动大数据流处理：Storm 与 Flink 入门（六）
                        青云交
大数据新视界Java大视界FlinkStorm大数据流处理实时数据处理架构实时监控数据分析java
                        
      亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
      
                    
      • 
                    
    • phpstorm jetbrain 配置review code
                        fendouweiqian
开发工具phpstormide
                        
      禁用UnusedCSSselector步骤：在PhpStorm中，点击顶部菜单File>Settings（Windows/Linux）或PhpStorm>Preferences（macOS）。在Inspections界面左侧的搜索框中输入CSS。展开CSS部分，找到UnusedCSSselector（未使用的CSS选择器）。取消勾选UnusedCSSselector禁用Unusedparamete
      
                    
      • 
                    
    • PHP 与 AI 的强力组合，PHP 如何积极拥抱 AI 的
                        Ai 编码
Ai编码工具idea插件php教程php人工智能开发语言
                        
      PHP与AI的结合正在成为开发者探索的一个新领域。虽然PHP传统上并不是人工智能和机器学习应用的首选语言，但通过现代工具和技术的结合，PHP已经能够积极拥抱AI，推动创新和应用开发。点击：phpstorm里的JetBrainsAI有哪些好用的功能 以下是几种方法和实践，通过它们PHP可以与AI强力结合。1.集成现有的AI服务和API对于很多开发者来说，最简单的方法是通过集成现有的AI服务和API。
      
                    
      • 
                    
    • 论文高级GPT指令推荐
                        MaximusCoder
gpt网络人工智能
                        
      一、科研选题与方向确认二、文献综述与整理一、科研选题与方向确认头脑风暴选题指令：Brainstormpotentialresearchtopicswithin[你的研究领域],focusingonareaswithlimitedexistingresearchandsignificantpotentialimpact.Foreachtopic,provideaconciseexplanationo
      
                    
      • 
                    
    • 超详细搭建PhpStorm+PhpStudy开发环境
                        网络安全成叔
phpstormandroid网络安全phpPhpStormPhpStudy
                        
      刚开始接触PHP开发，搭建开发环境是第一步，网上下载PhpStorm和PhpStudy软件，怎样安装和激活就不详细说了，我们重点来看一看怎样搭配这两个开发环境。前提：现在假设你已经安装完PhpStorm和PhpStudy软件。我的PhpStorm使用的是默认安装目录，这个没什么疑问的，PhpStudy软件我选择解压的目录是G:\ProgramFiles\。在PhpStudy软件的解压目录下的www
      
                    
      • 
                    
    • html+css网页设计 旅游网站首页1个页面
                        html+css+js网页设计
htmlcss旅游
                        
      html+css网页设计旅游网站首页1个页面网页作品代码简单，可使用任意HTML辑软件（如：Dreamweaver、HBuilder、Vscode、Sublime、Webstorm、Text、Notepad++等任意html编辑软件进行运行及修改编辑等操作）。获取源码1，访问该网站https://download.csdn.net/download/qq_42431718/897527112，点击
      
                    
      • 
                    
    • webstorm报错TypeError: this.cliEngine is not a constructor
                        Blue_Color

                        
      点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
      
                    
      • 
                    
    • [附源码]SSM计算机毕业设计游戏账号交易平台JAVA
                        计算机程序源码
java游戏mysql
                        
      项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
      
                    
      • 
                    
    • Java中的大数据处理框架对比分析
                        省赚客app开发者
java开发语言
                        
      Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
      
                    
      • 
                    
    • Python+Django毕业设计校园易购二手交易平台（程序+LW+部署）
                        Python、JAVA毕设程序源码
课程设计javamysql
                        
      项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
      
                    
      • 
                    
    • Hbase - kerberos认证异常
                        kikiki2

                        
      之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
      
                    
      • 
                    
    • WebStorm 配置 PlantUML
                        weijia_kmys
其他webstormideuml
                        
      1.安装PlantUML插件在WebStorm插件市场搜索PlantUMLIntegration并安装，重启WebStorm使插件生效。2.安装GraphvizPlantUML需要Graphviz来生成图形。使用Homebrew安装Graphviz：打开终端（Terminal）。确保你已经安装了Homebrew。如果没有，请先安装Homebrew，可以在Homebrew官网获取安装命令。在终端中输
      
                    
      • 
                    
    • ReactNative 常用开源组件
                        2401_84875852
程序员reactnative开源react.js
                        
      WebStormReactNative的代码模板插件,包括:1.组件名称2.Api名称3.所有StyleSheets属性4.组件属性https://github.com/virtoolswebplayer/ReactNative-LiveTemplateReact-native调用cordova插件https://github.com/axemclion/react-native-cordova-
      
                    
      • 
                    
    • phpstorm 2018激活教程，phpstorm破解版下载
                        八重樱勿忘

                        
      前言：本次phpstorm2018激活教程非常详细，所有细节指导软件是phpstorm10.0是因新版本破解还不稳定，大家放心这个版本不影响开发和使用。文件以及教程都打包在群文件里了。第一步：解压并打开文件，运行“PhpStorm-10.0.3.exe”点击Next进入下一步第二步：选择软件安装目录自定义选择安装根目录-->点击Next进入下一步注意！后面还需要找安装目录里的文件，所以记住安装到一
      
                    
      • 
                    
    • Java Kafka生产者实现
                        stormsha
Javawebjavakafkalinq
                        
      欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
      
                    
      • 
                    
    • Python 开心消消乐
                        stormsha
Python基础python开发语言游戏
                        
      文章目录效果图项目结构程序代码完整代码：https://gitcode.com/stormsha1/games/overview效果图项目结构程序代码run.pyimportsysimportpygamefrompygame.localsimportKEYDOWN,QUIT,K_q,K_ESCAPE,MOUSEBUTTONDOWNfromdissipate.levelimportManagerfr
      
                    
      • 
                    
    • 玩手机的弹指之间，记忆受到了损坏，这是如何发生的？
                        跨鹿

                        
      一：从拍照损伤效应说起为了验证拍照损伤效应（photo-taking-impairmenteffect）——即拍照不利于记忆形成，加州大学圣克鲁斯分校的学者JuliaS.Soares和BenjaminC.Storm进行了两组实验（篇幅有限，不详细介绍该实验）：实验一：42名被试与三个独立变量：观察，相机（手机相机）和Snapchat（色拉布，美国的一款“阅后即焚”照片分享应用）——在观察条件下，参
      
                    
      • 
                    
    • 【附源码】计算机毕业设计java智慧后勤系统设计与实现
                        计算机毕设程序设计
javamybatismysql
                        
      项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
      
                    
      • 
                    
    • Apache Storm：入门了解
                        布说在见
apachestorm大数据
                        
      前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。以下是关于Storm的一些关键特性及其应用场景的详细介绍：特性实时处理：Storm能够实时处理数据流，而不是像Hadoop那样需要先收集一批数据再进行处理。它可以持续不断地处理数据，这意味着一旦数据到达，就会立即被处理。简单易用：开发者可以用多种
      
                    
      • 
                    
    • 大数据秋招面经之spark系列
                        wq17629260466
大数据spark
                        
      文章目录前言spark高频面试题汇总1.spark介绍2.spark分组取TopN方案总结：方案2是最佳方案。3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark的yarn-cluster模式执行流程：8.spark的job提交流程：9.spar
      
                    
      • 
                    
    • PhpStorm中配置调试功能
                        hong161688
phpstormandroidide
                        
      在PhpStorm中配置调试功能是一个相对直接且强大的过程，它允许开发者在开发过程中高效地定位和解决代码问题。以下是一个详细的步骤指南，涵盖了从安装PhpStorm到配置调试环境的整个过程，以及如何在PhpStorm中使用调试功能。一、安装PhpStorm首先，确保你已经从JetBrains的官方网站下载了最新版本的PhpStorm。安装过程相对简单，只需按照安装向导的指示逐步进行即可。在安装过程
      
                    
      • 
                    
    • 新闻编辑室第1季第4集台词
                        kuailexuewaiyu

                        
      英文中文♪TrytokeepmyheadaboveitthebestIcan♪♪我要努力挺过这一关♪♪That'swhyhereIam♪♪所以我才在这里♪♪Justwaitingforthisstormtopassmeby♪♪等着暴风雨经过♪♪Andthat'sthesoundofsunshine♪♪聆听阳光的声音♪♪Comingdown♪♪从空中洒下♪♪Andthat'sthesoundofsu
      
                    
      • 
                    
    • web期末作业网页设计——我的家乡黑龙江（网页源码）
                        软件技术NINI
html+css+js旅游旅游htmlcss
                        
      一、‍网站题目旅游，当地特色，历史文化，特色小吃等网站的设计与制作。二、✍️网站描述‍静态网站的编写主要是用HTMLDIV+CSS等来完成页面的排版设计‍,常用的网页设计软件有Dreamweaver、EditPlus、HBuilderX、VScode、Webstorm、Animate等等，用的最多的还是DW，当然不同软件写出的前端Html5代码都是一致的，本网页适合修改成为各种类型的产品展示网页，
      
                    
      • 
                    
    • 使用命令行创建任意大小文件的方法
                        拽拽夏天~
测试技巧linux功能测试
                        
      使用命令行创建任意大小文件的方法作为一个测试工程师，在工作中可能需要创建任意大小的文件。下面介绍下如何使用命令行创建任意大小的文件：1、Linux-dd命令：Linux下的dd命令很是强大，可以这样使用dd命令来创建指定大小的文件：生成固定大小文件ddif=/dev/zeroof=/home/bluestorm/100M.imgbs=1Mcount=1024(生成一个100M的文件，文件名为100
      
                    
      • 
                    
    • phpstorm 插件等功能
                        胡萝卜的兔
laravelphpstormphpphpstormide
                        
      插件MaterialThemeUIUI主题插件ChinesePHPDocumentphp基本函数的中文文档PHPcomposer.jsonsupport在做php组件开发时，编辑composer.json文件时有对应的属性和值的自动完成功能BackgroundImagePlus背景图设置，安装之后，在打开View选项，就可以看到SetBackgroundImage选项了。.envfilessupp
      
                    
      • 
                    
    • phpstrom连接远程服务器
                        努力学习的笨小孩

                        
      PHP开发工具phpstorm通过sftp和FTP远程连接服务器创建编辑远程项目PhpStorm是一个编辑PHP代码的PHP开发工具神器，应该说是目前世界上编辑PHP代码的最好用的PHP开发工具IDE了吧，本地项目的创建相信一般人都会，不过有时候我们可能项目运行在远程服务器上，比如有一种情况：在windows下使用PhpStorm编码，代码放在linux服务器上运行。还有一种情况,代码使用版本控制
      
                    
      • 
                    
    • JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）
                        卓杰计算机设计
java数据库开发语言
                        
      JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）目运行环境项配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1
      
                    
      • 
                                
    • 如何用ruby来写hadoop的mapreduce并生成jar包
                                    wudixiaotie
mapreduce
                                    
      ruby来写hadoop的mapreduce，我用的方法是rubydoop。怎么配置环境呢： 
1.安装rvm： 
    不说了 网上有 
2.安装ruby： 
    由于我以前是做ruby的，所以习惯性的先安装了ruby，起码调试起来比jruby快多了。 
3.安装jruby： 
    rvm install jruby然后等待安
      
                                
      • 
                                
    • java编程思想 -- 访问控制权限
                                    百合不是茶
java访问控制权限单例模式
                                    
      访问权限是java中一个比较中要的知识点,它规定者什么方法可以访问,什么不可以访问 
  
一:包访问权限; 
  
自定义包: 
package com.wj.control;
//包
public class Demo {
  //定义一个无参的方法
	public void DemoPackage(){
		System.out.println("调用
      
                                
      • 
                                
    • [生物与医学]请审慎食用小龙虾
                                    comsci
生物
                                    
       
     现在的餐馆里面出售的小龙虾,有一些是在野外捕捉的,这些小龙虾身体里面可能带有某些病毒和细菌,人食用以后可能会导致一些疾病,严重的甚至会死亡..... 
 
     所以,参加聚餐的时候,最好不要点小龙虾...就吃养殖的猪肉,牛肉,羊肉和鱼,等动物蛋白质 
    
      
                                
      • 
                                
    • org.apache.jasper.JasperException: Unable to compile class for JSP:
                                    商人shang
maven2.2jdk1.8
                                    
      环境： jdk1.8    maven  tomcat7-maven-plugin  2.0 
原因： tomcat7-maven-plugin  2.0 不知吃 jdk 1.8，换成 tomcat7-maven-plugin  2.2就行，即 
  
  
<plugin>
				
      
                                
      • 
                                
    • 你的垃圾你处理掉了吗?GC
                                    oloz
GC
                                    
      前序:本人菜鸟，此文研究学习来自网络，各位牛牛多指教　 
 
 
 
1.垃圾收集算法的核心思想 
　　Java语言建立了垃圾收集机制，用以跟踪正在使用的对象和发现并回收不再使用(引用)的对象。该机制可以有效防范动态内存分配中可能发生的两个危险：因内存垃圾过多而引发的内存耗尽，以及不恰当的内存释放所造成的内存非法引用。 
　　垃圾收集算法的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别
      
                                
      • 
                                
    • shiro 和 SESSSION
                                    杨白白
shiro
                                    
      shiro 在web项目里默认使用的是web容器提供的session，也就是说shiro使用的session是web容器产生的，并不是自己产生的，在用于非web环境时可用其他来源代替。在web工程启动的时候它就和容器绑定在了一起，这是通过web.xml里面的shiroFilter实现的。通过session.getSession()方法会在浏览器cokkice产生JESSIONID，当关闭浏览器，此
      
                                
      • 
                                
    • 移动互联网终端 淘宝客如何实现盈利
                                    小桔子
移動客戶端淘客淘寶App
                                    
             2012年淘宝联盟平台为站长和淘宝客带来的分成收入突破30亿元，同比增长100%。而来自移动端的分成达1亿元，其中美丽说、蘑菇街、果库、口袋购物等App运营商分成近5000万元。 可以看出，虽然目前阶段PC端对于淘客而言仍旧是盈利的大头，但移动端已经呈现出爆发之势。而且这个势头将随着智能终端(手机，平板)的加速普及而更加迅猛
      
                                
      • 
                                
    • wordpress小工具制作
                                    aichenglong
wordpress小工具
                                    
      wordpress 使用侧边栏的小工具，很方便调整页面结构 
小工具的制作过程 
1 在自己的主题文件中新建一个文件夹(如widget)，在文件夹中创建一个php(AWP_posts-category.php) 
小工具是一个类,想侧边栏一样，还得使用代码注册，他才可以再后台使用，基本的代码一层不变 
<?php 
 class AWP_Post_Category extends WP_Wi
      
                                
      • 
                                
    • JS微信分享
                                    AILIKES
js
                                    
      // 所有功能必须包含在 WeixinApi.ready 中进行 
   WeixinApi.ready(function(Api) { 
       // 微信分享的数据 
           var wxData = { 
      &nb
      
                                
      • 
                                
    • 封装探讨
                                    百合不是茶
JAVA面向对象 封装
                                    
      //封装   属性 方法 将某些东西包装在一起，通过创建对象或使用静态的方法来调用，称为封装；封装其实就是有选择性地公开或隐藏某些信息，它解决了数据的安全性问题，增加代码的可读性和可维护性 
  
在 Aname类中申明三个属性，将其封装在一个类中：通过对象来调用 
  
例如   1： 
	//属性 将其设为私有
	姓名 name 可以公开

      
                                
      • 
                                
    • jquery radio/checkbox change事件不能触发的问题
                                    bijian1013
JavaScriptjquery
                                    
      我想让radio来控制当前我选择的是机动车还是特种车，如下所示：  
<html> 
<head> 
<script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js" type="text/javascript"><
      
                                
      • 
                                
    • AngularJS中安全性措施
                                    bijian1013
JavaScriptAngularJS安全性XSRFJSON漏洞
                                    
              在使用web应用中，安全性是应该首要考虑的一个问题。AngularJS提供了一些辅助机制，用来防护来自两个常见攻击方向的网络攻击。 
一.JSON漏洞 
        当使用一个GET请求获取JSON数组信息的时候（尤其是当这一信息非常敏感，
      
                                
      • 
                                
    • [Maven学习笔记九]Maven发布web项目
                                    bit1129
maven
                                    
      基于Maven的web项目的标准项目结构 
user-project 
    user-core 
    user-service 
    user-web 
       src 
     
      
                                
      • 
                                
    • 【Hive七】Hive用户自定义聚合函数(UDAF)
                                    bit1129
hive
                                    
      用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。 
问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？ 
  
Double evaluate(Double a, Double b) 
 
      
                                
      • 
                                
    • 通过 nginx-lua 给 Nginx 增加 OAuth 支持
                                    ronin47

                                    
      前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGeek 在过去几年中取得了发展，我们已经积累了不少针对各种任务的不同管理接口。我们通常为新的展示需求创建新模块，比如我们自己的博客、图表等。我们还定期开发内部工具来处理诸如部署、可视化操作及事件处理等事务。在处理这些事务中，我们使用了几个不同的接口来认证： 
&n
      
                                
      • 
                                
    • 利用tomcat-redis-session-manager做session同步时自定义类对象属性保存不上的解决方法
                                    bsr1983
session
                                    
      在利用tomcat-redis-session-manager做session同步时，遇到了在session保存一个自定义对象时，修改该对象中的某个属性，session未进行序列化，属性没有被存储到redis中。   在 tomcat-redis-session-manager的github上有如下说明：   Session Change Tracking 
As noted in the &qu
      
                                
      • 
                                
    • 《代码大全》表驱动法-Table Driven Approach-1
                                    bylijinnan
java算法
                                    
      关于Table Driven Approach的一篇非常好的文章： 
 
http://www.codeproject.com/Articles/42732/Table-driven-Approach 
 
 
package com.ljn.base;

import java.util.Random;

public class TableDriven {

    public 
      
                                
      • 
                                
    • Sybase封锁原理
                                    chicony
Sybase
                                    
             昨天在操作Sybase IQ12.7时意外操作造成了数据库表锁定，不能删除被锁定表数据也不能往其中写入数据。由于着急往该表抽入数据，因此立马着手解决该表的解锁问题。     无奈此前没有接触过Sybase IQ12.7这套数据库产品，加之当时已属于下班时间无法求助于支持人员支持，因此只有借助搜索引擎强大的
      
                                
      • 
                                
    • java异常处理机制
                                    CrazyMizzz
java
                                    
      java异常关键字有以下几个，分别为 try catch final throw throws 
他们的定义分别为 
try：    Opening exception-handling statement. 
catch：  Captures the exception. 
finally： Runs its code before terminating
      
                                
      • 
                                
    • hive 数据插入DML语法汇总
                                    daizj
hiveDML数据插入
                                    
      Hive的数据插入DML语法汇总1、Loading files into tables语法：1) LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]解释：1)、上面命令执行环境为hive客户端环境下： hive>l
      
                                
      • 
                                
    • 工厂设计模式
                                    dcj3sjt126com
设计模式
                                    
        使用设计模式是促进最佳实践和良好设计的好办法。设计模式可以提供针对常见的编程问题的灵活的解决方案。  工厂模式 
工厂模式（Factory）允许你在代码执行时实例化对象。它之所以被称为工厂模式是因为它负责“生产”对象。工厂方法的参数是你要生成的对象对应的类名称。  
Example #1 调用工厂方法（带参数）   
<?phpclass Example{ 
      
                                
      • 
                                
    • mysql字符串查找函数
                                    dcj3sjt126com
mysql
                                    
        
FIND_IN_SET(str,strlist) 
假如字符串str 在由N 子链组成的字符串列表strlist 中，则返回值的范围在1到 N 之间。一个字符串列表就是一个由一些被‘,’符号分开的自链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则   FIND_IN_SET() 函数被优化，使用比特计算。如果str不在strlist 或st
      
                                
      • 
                                
    • jvm内存管理
                                    easterfly
jvm
                                    
      一、JVM堆内存的划分 
 分为年轻代和年老代。年轻代又分为三部分：一个eden,两个survivor。 
 工作过程是这样的：e区空间满了后，执行minor gc，存活下来的对象放入s0, 对s0仍会进行minor gc，存活下来的的对象放入s1中，对s1同样执行minor gc，依旧存活的对象就放入年老代中； 
 年老代满了之后会执行major gc，这个是stop the word模式，执行
      
                                
      • 
                                
    • CentOS-6.3安装配置JDK-8
                                    gengzg
centos
                                    
      JAVA_HOME=/usr/java/jdk1.8.0_45
JRE_HOME=/usr/java/jdk1.8.0_45/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME
      
                                
      • 
                                
    • 【转】关于web路径的获取方法
                                    huangyc1210
Web路径
                                    
      假定你的web application 名称为news,你在浏览器中输入请求路径：  http://localhost:8080/news/main/list.jsp  则执行下面向行代码后打印出如下结果：  1、 System.out.println(request.getContextPath()); //可返回站点的根路径。也就是项
      
                                
      • 
                                
    • php里获取第一个中文首字母并排序
                                    远去的渡口
数据结构PHP
                                    
      很久没来更新博客了，还是觉得工作需要多总结的好。今天来更新一个自己认为比较有成就的问题吧。 最近在做储值结算，需求里结算首页需要按门店的首字母A-Z排序。我的数据结构原本是这样的： 
Array
(
    [0] => Array
        (
            [sid] => 2885842
            [recetcstoredpay] =&g
      
                                
      • 
                                
    • java内部类
                                    hm4123660
java内部类匿名内部类成员内部类方法内部类
                                    
           　在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。内部类仍然是一个独立的类，在编译之后内部类会被编译成独立的.class文件，但是前面冠以外部类的类名和$符号。内部类可以间接解决多继承问题,可以使用内部类继承一个类，外部类继承一个类，实现多继承。 
     &nb
      
                                
      • 
                                
    • Caused by: java.lang.IncompatibleClassChangeError: class org.hibernate.cfg.Exten
                                    zhb8015

                                    
      maven pom.xml关于hibernate的配置和异常信息如下，查了好多资料，问题还是没有解决。只知道是包冲突，就是不知道是哪个包....遇到这个问题的分享下是怎么解决的。。 
  
maven pom: 
  
		<dependency>
			<groupId>org.hibernate</groupId>
			<ar
      
                                
      • 
                                
    • Spark 性能相关参数配置详解－任务调度篇
                                    Stark_Summer
sparkcachecpu任务调度yarn
                                    
      随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。 
  
由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便
      
                                
      • 
                                
    • css3滤镜
                                    wangkeheng
htmlcss
                                    
      经常看到一些网站的底部有一些灰色的图标，鼠标移入的时候会变亮，开始以为是js操作src或者bg呢，搜索了一下，发现了一个更好的方法：通过css3的滤镜方法。 
 
html代码： 
 
<a href='' class='icon'><img src='utv.jpg' /></a> 
css代码： 
 
.icon{-webkit-filter: graysc
      
                                
      •