jinfeiteng2008
jinfeiteng2008

Storm处理Stream Join的简单实例

转自：http://blog.csdn.net/kaitankedemao/article/details/50381023

源码是分析的storm-starter中的SingleJoinExample，对两个简单的流进行聚合：[id,gender]和[id,age]经过join后[id,gender,age]

分析过程直接写在注释里面，所以就不再分离出来。

SingleJoinBolt.java
[java]  view plain  copy
 print ?
  1. package com.wxt.storm.SingleJoinExample.bolt;  
  2.   
  3. import java.util.ArrayList;  
  4. import java.util.HashMap;  
  5. import java.util.HashSet;  
  6. import java.util.List;  
  7. import java.util.Map;  
  8. import java.util.Set;  
  9.   
  10. import backtype.storm.Config;  
  11. import backtype.storm.generated.GlobalStreamId;  
  12. import backtype.storm.task.OutputCollector;  
  13. import backtype.storm.task.TopologyContext;  
  14. import backtype.storm.topology.OutputFieldsDeclarer;  
  15. import backtype.storm.topology.base.BaseRichBolt;  
  16. import backtype.storm.tuple.Fields;  
  17. import backtype.storm.tuple.Tuple;  
  18. import backtype.storm.utils.TimeCacheMap;  
  19.   
  20. public class SimpleJoinBolt extends BaseRichBolt {  
  21.     private OutputCollector _collector;  
  22.     private Fields _outFields;  
  23.     private Fields _idFields;  
  24.     int _numSources;  
  25.     Map _fieldLocations;  
  26.       
  27.     //在内存中保留近期活跃的对象  
  28.     //由于bolt在接收两个数据源的流数据时，同一id两个数据流很可能不会再一个时间点同时发出，因此需要对数据流先进行缓存，直到所有  
  29.     //id相同的数据源都被后被聚合处理，做完聚合处理后再将对应的tuple信息从缓存中删除。在  
  30.     TimeCacheMap,Map> _pending;  
  31.       
  32.     //传进的Fields是聚合后将被输出的字段  
  33.     public SimpleJoinBolt(Fields outFields){  
  34.         this._outFields=outFields;  
  35.     }  
  36.     public void execute(Tuple tuple) {  
  37.         // TODO Auto-generated method stub  
  38.         //从tuple中获取_idFields字段，如果不存在于等待被处理的队列_pending中，则加入一行  
  39.         List id=tuple.select(_idFields);  
  40.         GlobalStreamId streamId=new GlobalStreamId(tuple.getSourceComponent(),tuple.getSourceStreamId());  
  41.         //打印当前处理元组的来源Spout  
  42.         System.out.println("元组来源："+tuple.getSourceComponent());  
  43.         //打印当前元组  
  44.         System.out.println("接收的元组："+tuple.getFields().get(0)+" = "+tuple.getValues().get(0)+" , "+tuple.getFields().get(1)+" = "+tuple.getValues().get(1));  
  45.         //如果当前pending中还不存在join key为此id的元组，则将该条记录加入  
  46.         if(!_pending.containsKey(id)){  
  47.             _pending.put(id, new HashMap());  
  48.         }  
  49.         //从_pending队列中获取当前GlobalStreamId对应的HashMap对象  
  50.         Map parts=_pending.get(id);  
  51.         //如果streamId已经包含其中，则抛出异常，接收到同一个spout中的两条一样id的tuple，否则将该streamId加入parts中  
  52.         if(parts.containsKey(streamId)){  
  53.              throw new RuntimeException("Received same side of single join twice");  
  54.         }  
  55.         parts.put(streamId, tuple);  
  56.           
  57.         //如果parts中已经包含了聚合数据源的个数，则从_pending队列中移除这条记录  
  58.         if(parts.size()==_numSources){  
  59.             _pending.remove(id);  
  60.             List joinResult=new ArrayList();  
  61.             for(String outField:_outFields){  
  62.                 GlobalStreamId loc=_fieldLocations.get(outField);  
  63.                 joinResult.add(parts.get(loc).getValueByField(outField));  
  64.             }  
  65.             //输出聚合结果  
  66.             System.out.print("两条关系流中id值为"+id.get(0)+"的元组均已收到，聚合结果为：");  
  67.             for(Object obj:joinResult){  
  68.                 System.out.print(obj+" ");  
  69.             }  
  70.             System.out.println();  
  71.               
  72.             //多锚定  
  73.             _collector.emit(new ArrayList(parts.values()),joinResult);  
  74.             for (Tuple part : parts.values()) {  
  75.                 _collector.ack(part);  
  76.             }  
  77.         }else{  
  78.             System.out.println("只从一个关系流中收取到id值为"+id+"的元组，不可进行join操作");  
  79.         }  
  80.     }  
  81.   
  82.     public void prepare(Map conf, TopologyContext context, OutputCollector collector) {  
  83.         // TODO Auto-generated method stub  
  84.          _fieldLocations = new HashMap();  
  85.         this._collector=collector;  
  86.         //创建TimeCacheMap对象，设置超时回调接口，用于tuple处理失败时fail消息  
  87.         int timeout=((Number)conf.get(Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS)).intValue();  
  88.         _pending=new TimeCacheMap,Map>(timeout,new ExpireCallback());  
  89.         //记录数据源的数据个数  
  90.         _numSources=context.getThisSources().size();  
  91.           
  92.         Set idFields=null;  
  93.         //遍历TopologyContext中不同的数据源:genderSpout和ageSpout  
  94.         System.out.println(context.getThisSources().keySet());  
  95.         for(GlobalStreamId source:context.getThisSources().keySet()){  
  96.             //得到公共的Fields字段id,保存到_idFields中  
  97.             Fields fields=context.getComponentOutputFields(source.get_componentId(),source.get_streamId());  
  98.             //fields:[id,gender],[id,age]  
  99.             Set setFields=new HashSet(fields.toList());  
  100.             if(idFields==null){  
  101.                 idFields=setFields;  
  102.             }else{  
  103.                 //求交集  
  104.                 idFields.retainAll(setFields);  
  105.                 System.out.println(idFields);  
  106.             }  
  107.             //同时将_outFields中字段所在数据源记录下来，保存到一张HashMap _fieldLocations中，以便聚合后获取对应的字段值  
  108.             for(String outfield:_outFields){  
  109.                 for(String sourcefield:fields){  
  110.                     if(outfield.equals(sourcefield)){  
  111.                         _fieldLocations.put(outfield, source);  
  112.                     }  
  113.                 }  
  114.             }  
  115.             //打印结果:gender=GlobalStreamId(componentId=gender-spout,streamId=default)  
  116.             //age=GlobalStreamId(componentId=age-spout,streamId=default)  
  117.             System.out.println(_fieldLocations);  
  118.               
  119.         }  
  120.         _idFields=new Fields(new ArrayList(idFields));  
  121.         if(_fieldLocations.size()!=_outFields.size()){  
  122.             throw new RuntimeException("Cannot find all outfields among sources");  
  123.         }  
  124.     }  
  125.   
  126.     public void declareOutputFields(OutputFieldsDeclarer declarer) {  
  127.         // TODO Auto-generated method stub  
  128.         declarer.declare(_outFields);  
  129.     }  
  130.       
  131.     private class ExpireCallback implements TimeCacheMap.ExpiredCallback, Map>{  
  132.   
  133.         public void expire(List key, Map tuples) {  
  134.             // TODO Auto-generated method stub  
  135.             for(Tuple tuple:tuples.values()){  
  136.                 _collector.fail(tuple);  
  137.             }  
  138.         }  
  139.           
  140.     }  
  141.   
  142. }  

    143. SingleJoinExample.java(Topology)
    [java]  view plain  copy
     print ?
    1. package com.wxt.storm.SingleJoinExample;  
    2.   
    3. import com.wxt.storm.SingleJoinExample.bolt.SimpleJoinBolt;  
    4.   
    5. import backtype.storm.Config;  
    6. import backtype.storm.LocalCluster;  
    7. import backtype.storm.testing.FeederSpout;  
    8. import backtype.storm.topology.TopologyBuilder;  
    9. import backtype.storm.tuple.Fields;  
    10. import backtype.storm.tuple.Values;  
    11. import backtype.storm.utils.Utils;  
    12.   
    13. public class SingleJoinExample {  
    14.       public static void main(String[] args) {  
    15.         FeederSpout genderSpout = new FeederSpout(new Fields("id", "gender"));  
    16.         FeederSpout ageSpout = new FeederSpout(new Fields("id", "age"));  
    17.   
    18.         TopologyBuilder builder = new TopologyBuilder();  
    19.         builder.setSpout(CommonKeys.GENDER_SPOUT, genderSpout);  
    20.         builder.setSpout(CommonKeys.AGE_SPOUT, ageSpout);  
    21.         builder.setBolt(CommonKeys.JOIN_BOLT, new SimpleJoinBolt(new Fields("gender", "age"))).fieldsGrouping(CommonKeys.GENDER_SPOUT, new Fields("id"))  
    22.             .fieldsGrouping(CommonKeys.AGE_SPOUT, new Fields("id"));  
    23.   
    24.         Config conf = new Config();  
    25.         conf.setDebug(true);  
    26.   
    27.         LocalCluster cluster = new LocalCluster();  
    28.         cluster.submitTopology(CommonKeys.JOIN_TOPOLOGY, conf, builder.createTopology());  
    29.   
    30.         for (int i = 0; i < 10; i++) {  
    31.           String gender;  
    32.           if (i % 2 == 0) {  
    33.             gender = "male";  
    34.           }  
    35.           else {  
    36.             gender = "female";  
    37.           }  
    38.           genderSpout.feed(new Values(i, gender));  
    39.         }  
    40.   
    41.         for (int i = 9; i >= 0; i--) {  
    42.           ageSpout.feed(new Values(i, i + 20));  
    43.         }  
    44.   
    45.         Utils.sleep(2000);  
    46.         cluster.shutdown();  
    47.       }  
    48.     }  

    你可能感兴趣的:(jstorm)

    • JStorm源码分析-5.Supervisor 史圣杰
      Supervisor用于执行拓扑中指定的组件任务，是实际响应nimubus分配，控制worker运行的程序。1.启动Supervisor启动Supervisor时，只需要输入jstormsupervisorjstorm.py脚本会将supervisor子命令解析为如下命令：java-server-Djstorm.home=/Users/shishengjie/software/jstorm-0.9
    • 微服务 - 微服务哪些框架 撸帝
      学习完整课程请移步互联网Java全栈工程师Dubbo是阿里巴巴服务化治理的核心框架，并被广泛应用于阿里巴巴集团的各成员站点。阿里巴巴近几年对开源社区的贡献不论在国内还是国外都是引人注目的，比如：JStorm捐赠给Apache并加入Apache基金会等，为中国互联网人争足了面子，使得阿里巴巴在国人眼里已经从电商升级为一家科技公司了。SpringCloud从命名我们就可以知道，它是SpringSour
    • JStorm源码分析-6.Worker 史圣杰
      Worker由Supervisor根据分配的任务启动。主要负责启动由各个组件封装后的task。1.程序分析1.1入口JStorm源码分析-5.Supervisor中的最后，我们已经知道了Worker由com.alibaba.jstorm.daemon.worker.Worker启动。启动时，Supervisor向Worker传递了如下几个参数：拓扑ID，topology_idSupervisor的
    • 用python抓取yarn和jstorm界面资源信息在grafana展示 运维仙人 大数据Pythonpythongrafana开发语言
      背景：大数据系统分布式计算和存储强大功能推动了科技的进步，而在大数据运维过程中计算资源是时刻要关注的指标。为了能够快速了解集群资源使用率，写了个python脚本将数据入到MySQL，再通过grafana在界面进行展示，当然可以把数据落到时序数据库：tdengine或opntsdb上。本文只用于交流和学习。#！/usr/bin/envpython3#-*-coding:UTF-8-*-#抓取yarn
    • Flink CDC 1.0至3.0回忆录 乙真仙人 大数据开源建设flinkcdc大数据
      FlinkCDC1.0至3.0回忆录一、引言二、CDC概述三、FlinkCDC1.0：扬帆起航3.1架构设计3.2版本痛点四、FlinkCDC2.0：成长突破4.1DBlog无锁算法4.2FLIP-27架构实现4.3整体流程五、FlinkCDC3.0：应运而生六、FlinkCDC的影响和价值七、结语一、引言回想起2020下半年，刚从Storm/JStorm转到Flink完成了一些中间件重构，Fli
    • 大数据-Storm流式框架（四）---storm容错机制 30岁老阿姨 Storm大数据storm
      1、集群节点宕机Nimbus服务器硬件单点故障？可以搭建HAjStorm搭建nimbus的HAnimbus的信息存储到zookeeper中，只要下游没问题（进程退出）nimbus退出就不会有问题，如果在nimbus宕机，也不能提交作业。非Nimbus服务器硬件supervisor故障时，该节点上所有Task任务都会超时，Nimbus会将这些Task任务重新分配到其他服务器上运行2、进程挂掉Work
    • JStorm源码分析-7.Ack机制的实现 史圣杰
      1.Ack的使用通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理。，从而可以让开发者采取动作。比如成功被处理，即可更新偏移量，当失败时，重复发送数据。spout发送的每一条消息：在规定的时间内，spout收到Acker的ack响应，即认为该tuple被后续bolt成功处理在规定的时间内，spout没有收到Acker的ack响应tuple，就触发fail动作，即认为该
    • Flink如何处理反压问题 灵境旅行家 实战精华java开发语言
      流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
    • Jstorm到Flink 在今日头条的迁移实践 转 生活的探路者
      本文内容如下：引入Flink的背景Flink集群的构建过程构建流式管理平台引入Flink的背景下面这幅图展示的是字节跳动公司的业务场景首先，应用层有广告，也有AB测，也有推送和数据仓库的一些业务。然后在使用Jstorm的过程中，增加了一层模板主要应用于storm的计算模型，使用的语言是python。所以说中间相对抽象了一个schema，跑在最下面一层Jstorm计算引擎的上面。字节跳动公司有很多J
    • Blink学习（一）：运行状态管理 WanderingScorpion Blink
      Blink是一个非常优秀的流处理任务开发框架，相对于之前的jstorm开发框架，它最显著的特点是具备非常完备的状态管理体系，解决了流处理任务中让人非常头疼的“保证EXACTLYONCE的错误断点恢复”问题。下面着重梳理下blink是如何进行状态管理的。1CheckpointBarrier在处理数据流时，定期插入checkpointbarrier，当一个计算节点收到checkpointbarrier
    • JStorm基础问题 w黄杨w
      若bolt的并发度为N（N>1），则会有N个task来执行此component。那这些task是公用一个bolt实例，还是为每个task都创建一个bolt实例呢？答：从Task的创建过来看，每个task都会创建自己的bolt实例。com.alibaba.jstorm.task.TaskpublicTask(WorkerDataworkerData,inttaskId)throwsException
    • Flink 笔记01：安装部署与快速入门 章鱼哥TuNan&Z #Flinkflink
      stypora-copy-images-to:imgtypora-root-url:./Flink笔记01：安装部署与快速入门一、课程回安排与内容提纲大数据技术框架转折点：2017年，天猫双十一大屏展示，由以前JStorm框架变为Blink（Flink）。Flink1.10版本，阿里将Blink中模块组件开源融合到ApacheFlink中，FlinkSQL模块主要就是阿里贡献。学习Flink分析引
    • JStorm学习 MechelleWang
      1集群架构集群.png1.1NimbusNimbus是整个集群的调度器，负责分发Topology到各个Supervisor、分配Task、监控Supervisor以及Topology，并且通过ZK与Supervisor交互。1.2Supervisor任务执行者，通过ZK接收Nimbus指令，负责接收任务、执行任务。2基本概念2.1StreamJStorm包含抽象的概念流，流是一个连续的无界Tupl
    • 阿里超大规模 Flink 集群运维体系介绍
      摘要：本文整理自阿里云实时计算高级运维专家王华(尚付)在FlinkForwardAsia2021生产实践专场的演讲。主要内容包括：演进历史和运维挑战集群运维FlinkCluster应用运维FlinkJob点击查看直播回放&演讲PDF一、演进历史和运维挑战阿里的实时计算经历了近10年的快速发展，总体来说可以分成三大时代：1.0时代：2013年到2017年，三大实时计算引擎并存。大家熟悉的Jstorm
    • Storm核心组件、编程模型 __豆约翰__
      Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果。而Storm
    • jstorm QA topwqp
      1、topology和nimbus以及worker的关系，如何进行通信，nimbus如何高HA2、Worker，Excutor以及task之间的关系3、Acker如何工作？使用zookeeper时，建议使用curator，但不要使用过高的curator版本.Curator是Netflix开源的一套ZooKeeper客户端框架.Netflix在使用ZooKeeper的过程中发现ZooKeeper自带
    • JStorm使用问题 w黄杨w
      基本执行流程以SequenceTopology为例，其加载流程为：用户提交拓扑的时候，会先将自己的代码打成jar包，通过nimbus提交拓扑到集群nimbus执行jar时调用StormSubmitter.submitTopology，通过TopologyBuilder来创建拓扑的基本结构(即为spout和bolt创建了对象实例)，并设置一些相关的conf接着将创建出来的拓扑对象进行序列化，通过ni
    • 《编程狂人》第一零一期，程序员必看的技术周刊 推酷
      推酷诚意满满的技术周刊《编程狂人》，下面是内容列表，干货多多，也可以移步到官网进一步阅读。业界新闻数据可视化平台Plotly开源强大的JS图表库GitLab宣布支持Git大文件存储(GitLFS)封仲淹：Storm2.0将会基于JStorm，阿里巴巴全程参与Flutter：Google工程师开发的针对iOS和Android的高性能跨平台框架.NET平台上的分布式编程框架MBrace发布1.0版本I
    • Storm核心组件、编程模型 piziyang12138
      Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果。而Storm
    • Flink 原理与实现：如何处理反压问题 尼小摩
      流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
    • 【中间件2】在虚拟机搭建JStrom Wu_Being Alibaba中间件
      文章目录2.1ZooKeeper单机安装与配置2.1.1下载zookeeper安装包2.1.2解压zookeeper安装包2.1.3设置环境变量2.1.4配置zoo.cfg2.1.5启动zookeeper3.3.2例子3.3.3在提交jar的节点上执行3.4在tomcat服务器安装JStormWebUI[^tomcat]3.5启动JStorm四更多链接4.1Zookeeper知识更多链接4.2JS
    • 基于Docker Swarm的JStorm集群实践 timestatic DockerJStormdockerswarmjstorm
      现在是9102年,虽然JStorm已经过时了,DockerSwarm也是明日黄花,但是这一点也不妨碍我写下这篇文章?本文项目源码基本概念SwarmJStorm集群搭建初始化Swarm集群网络初始化Composefilev3参考部署JStrom集群提交JStorm计算任务启动任务更新总结基本概念SwarmDockerSwarm是Docker原生的集群管理工具,用于管理多台服务器上的Docker容器集
    • 浅谈代码如何进行分层设计 飘叶入海 Java
      产生背景业务复杂、需求不断、人员变更快、问题多等诸多原因导致项目分层混乱，服务技术是基于PaaS开发的服务定义JstormTopo的一个分布式服务。存在问题服务初始化混乱，如有通过PostConstruct注解初始化，有通过Spout的open初始化，有通过Bolt的prepare方法初始化，有通过其他一些初始化方法初始化的；服务没有按需初始化，例如Spout、Bolt需要的依赖数据是不一样的，分
    • 大数据学习笔记之Storm（一）：Storm Leesin Dong #BigData------Storm
      一Storm概述1.1离线计算是什么？离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据1.2流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Redis实
    • 实战SparkStream+Kafka+Redis实时计算商品销售额 赵侠客 spark大数据scala
      写在前面2016年天猫双十一当天，零点的倒计时话音未落，52秒交易额冲破10亿。随后，又迅速在0时6分28秒，达到100亿！每一秒开猫大屏上的交易额都在刷新，这种时实刷新的大屏看着感觉超爽。天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka,可以
    • 实战SparkStream+Kafka+Redis实时计算商品销售额 小小的_我
      2016年天猫双十一当天，零点的倒计时话音未落，52秒交易额冲破10亿。随后，又迅速在0时6分28秒，达到100亿！每一秒开猫大屏上的交易额都在刷新，这种时实刷新的大屏看着感觉超爽。天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka,可以简单模仿
    • 流式计算、实时计算和离线计算 风雅车手 Storm（流式计算）
      流式计算和批处理计算实时计算和离线计算以水为例，Hadoop可以看作是纯净水，一桶桶地搬；而Storm是用水管，预先接好（Topology），然后打开水龙头，水就源源不断地流出来了。1、流式计算流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(m
    • org.apache.storm.zookeeper.KeeperException.SystemErrorException feng348
      在storm中往kafka发送数据，storm提交后，task，failed掉了。报异常:java.lang.NoClassDefFoundError:org/apache/storm/zookeeper/KeeperException$SystemErrorException原因，该类在storm中定义，平台为jstorm，所以找不到该类，去掉这个异常类后，代码正常运行。
    • Flink 原理与实现：如何处理反压问题 weixin_33725239
      流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
    • 天池阿里中间件性能挑战赛 jiji87432 中间件
      一、这次用到的技术是阿里的开源几个框架，JStorm-2.1.1，RocketMQ-3.2.6，Tair-2.3.5；考察点：（1）只要满足功能要求即可，让选手自己学会如何使用RocketMQ／JStorm／Tair，并学会如何搭建这3套系统，如何使用这3件产品；（2）可以让选手前期进行自我学习，我们提供模拟交易的数据，让用户自行下载，自行搭建测试环境。二、参赛过程中遇到的一些问题（1）环境的搭建
    • 插入表主键冲突做更新 a-john
      有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sql语
    • Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
      一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello"   2.引用系统资源。格式：@android:type/name     android:textColor="@android:color/opaque_red"
    • 数据结构的基本介绍 天子之骄 数据结构散列表树、图线性结构价格标签
      数据结构的基本介绍 数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。   经典的数据结构大致如下：   一：线性数据结构 (1)：列表 a
    • 通过二维码开放平台的API快速生成二维码 一炮送你回车库 api
       现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。        html代码如下:(二维码将生成在这div下) ? 1  &nbs
    • ImageIO读取一张图片改变大小 3213213333332132 javaIOimageBufferedImage
      package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
    • myeclipse集成svn（一针见血） 7454103 eclipseSVNMyEclipse
                                       &n
    • 装箱与拆箱----autoboxing和unboxing darkranger J2SE
      4.2　自动装箱和拆箱 基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
    • ajax传统的方式制作ajax aijuans Ajax
      //这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
    • 只用jre的eclipse是怎么编译java源文件的？ avords javaeclipsejdktomcat
      eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
    • 前端模块化 bee1314 模块化
      背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
    • 处理百万级以上的数据处理 bijian1013 oraclesql数据库大数据查询
      一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。         2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
    • mac 卸载 java 1.7 或更高版本 征客丶 javaOS
      卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
    • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
      第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析   本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
    • Erlang vs TNSDL bookjovi erlang
            TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
    • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
      　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 相关新闻： （1）IT行业成五大疾病重灾区：过劳死平均37.9岁
    • 读《研磨设计模式》-代码笔记-原型模式 bylijinnan java设计模式
      声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
    • 配置管理---svn工具之权限配置 chenyu19891124 SVN
      今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos    component    webapps 在conf里面的auth里赋予的权限配置为 [groups]
    • 浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
                                       浅谈程序员的数学修养
    • 批量执行 bulk collect与forall用法 daizj oraclesqlbulk collectforall
      BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。     有关FORALL语句的用法请参考：批量SQL之 F
    • Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
      1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
    • Yii CModel中rules验证规格 dcj3sjt126com rulesyiivalidate
      Yii cValidator主要用法分析：  yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError  
    • 基于vagrant的redis主从实验 dcj3sjt126com vagrant
      平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从   实现思路 制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box   制作sentos6.5+redis的box   mkdir vagrant_redis cd vagrant_
    • Memcached(二)、Centos安装Memcached服务器 frank1234 centosmemcached
      一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]： 建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
    • Remove Duplicates from Sorted List hcx2013 remove
      Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
    • Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
      Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
    • 浅谈enum与单例设计模式 247687009 java单例
      在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构 造器，导出静态成员变量，以便调用者访问。 第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
    • 使用switch条件语句需要注意的几点 openwrt cbreakswitch
      1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
    • 配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 springmybatisJUnit
      Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串 解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 第二个问题的具体实例是：    
    • Java 定时任务总结一 tuoni javaspringtimerquartztimertask
       Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
    • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank相似度计算文本相似度词袋模型余弦相似度
      本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。   最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：     1、注册多个账号（一般10个以上）。     2、从多个账号中选择一个账号，发表1-2篇博文