PacosonSWJTU
PacosonSWJTU

【2】flink数据流转换算子

【README】

本文记录了flink对数据的转换操作，包括

  1. 基本转换，map，flatMap，filter；
  2. 滚动聚合（min minBy max maxBy sum）；
  3. 规约聚合-reduce；
  4. 分流；
  5. connect连接流；
  6. union合流；
  7. 富函数；
  8. 重分区；

本文使用的flink为 1.14.4 版本；maven依赖如下：


            org.apache.flink
            flink-java
            1.14.4
        
 
        
            org.apache.flink
            flink-streaming-java_2.12
            1.14.4
        
        
            org.apache.flink
            flink-clients_2.12
            1.14.4

本文部分内容参考了 flink 官方文档：

概览 | Apache Flink算子 # 用户通过算子能将一个或多个 DataStream 转换成新的 DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。这部分内容将描述 Flink DataStream API 中基本的数据转换 API，数据转换后各种数据分区方式，以及算子的链接策略。数据流转换 # Map # DataStream → DataStream # 输入一个元素同时输出一个元素。下面是将输入流中元素数值加倍的 map function：Java DataStream dataStream = //... dataStream.map(new MapFunction() { @Override public Integer map(Integer value) throws Exception { return 2 * value; } }); Scala dataStream.map { x => x * 2 } Python data_stream = env.from_collection(collection=[1, 2, 3, 4, 5]) data_stream.map(lambda x: 2 * x, output_type=Types.,>https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/operators/overview/

【1】基本转换算子

包括 map-转换， flatMap-打散，filter-过滤；

1）代码如下：

/**
 * @Description flink对数据流的基本转换
 * @author xiao tang
 * @version 1.0.0
 * @createTime 2022年04月15日
 */
public class TransformTest1_Base {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从kafka读取数据
        DataStream baseStream = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor.txt");

        // 1-map-转换或映射或函数; 把string转为长度输出
//        DataStream mapStream =  baseStream.map(x->x.length());
          DataStream mapStream =  baseStream.map(String::length);

        // 2-flatMap-打散-按照逗号分割字段
        DataStream flatMapStream = baseStream.flatMap((String raw, Collector collector)->{
            for (String rd : raw.split(",")) {
                collector.collect(rd);
            }
        }).returns(Types.STRING);

        // 3-filter-过滤-筛选 sensor_1 开头的结束
        DataStream filterStream = baseStream.filter(x->x.startsWith("sensor_1"));

        // 打印输出
        mapStream.print("mapStream");
        flatMapStream.print("flatMapStream");
        filterStream.print("filterStream");
        // 执行
        env.execute("BaseTransformStreamJob");
    }
}

sensor 文本文件如下：

sensor_1,12341561,36.1
sensor_2,12341562,33.5
sensor_3,12341563,39.9
sensor_1,12341573,43.1

打印结果：

mapStream> 22
flatMapStream> sensor_1
flatMapStream> 12341561
flatMapStream> 36.1
filterStream> sensor_1,12341561,36.1
mapStream> 22
flatMapStream> sensor_2
flatMapStream> 12341562
flatMapStream> 33.5
mapStream> 22
flatMapStream> sensor_3
flatMapStream> 12341563
flatMapStream> 39.9
mapStream> 22
flatMapStream> sensor_1
flatMapStream> 12341573
flatMapStream> 43.1
filterStream> sensor_1,12341573,43.1

【2】滚动聚合算子

keyBy算子-根据key对数据流分组，因为聚合前必须前分组，类似于sql的group by；

keyBy算子的作用：

  • 逻辑把一个数据流拆分为多个分区（但还是同一个流），每个分区包含相同key（相同hash）的元素，底层对key求hash来实现；
  • 在逻辑上将流划分为不相交的分区。具有相同 key 的记录都分配到同一个分区。在内部， keyBy() 是通过哈希分区实现的。

keyBy可以形成 KeyedStream；

然后滚动聚合算子可以对 KeyStream 进行操作，滚动聚合算子如下：

  • sum
  • min
  • max
  • minBy
  • maxBy

【2.1】代码示例

/**
 * @Description 滚动聚合算子
 * @author xiao tang
 * @version 1.0.0
 * @createTime 2022年04月15日
 */
public class TransformTest2_RollingAgg {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从kafka读取数据
        DataStream inputStream = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor.txt");

        // 转换为 SensorReader pojo类型
        DataStream sensorStream = inputStream.map(x -> {
            String[] arr = x.split(",");
            return new SensorReading(arr[0], Long.valueOf(arr[1]), Double.valueOf(arr[2]));
        });

        // keyBy算子对数据流分组，并做滚动聚合（单字段分组）
        KeyedStream keyedStream = sensorStream.keyBy(SensorReading::getId);
        // keyBy 多字段分组
//        KeyedStream> keyedStream = sensorStream.keyBy(new KeySelector>() {
//            @Override
//            public Tuple1 getKey(SensorReading sensorReading) throws Exception {
//                return Tuple1.of(sensorReading.getId());
//            }
//        });

        // max聚合
        DataStream maxTempratureStream = keyedStream.max("temperature");

        // maxBy 聚合
        DataStream maxbyTempratureStream = keyedStream.maxBy("temperature");

        // 打印输出
        maxTempratureStream.print("maxTempratureStream");
        // 打印输出
        maxbyTempratureStream.print("maxbyTempratureStream");
        // 执行
        env.execute("maxTempratureStreamJob");
    }
}

sensor文本内容：

sensor_1,11,36.1
sensor_2,21,33.1
sensor_1,12,36.2
sensor_1,13,36.3
sensor_2,22,33.2

max聚合打印结果：

max> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
max> SensorRd{id='sensor_2', timestamp=21, temperature=33.1}
max> SensorRd{id='sensor_1', timestamp=11, temperature=36.2}
max> SensorRd{id='sensor_1', timestamp=11, temperature=36.3}
max> SensorRd{id='sensor_2', timestamp=21, temperature=33.2}

maxBy聚合打印结果：

maxBy> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
maxBy> SensorRd{id='sensor_2', timestamp=21, temperature=33.1}
maxBy> SensorRd{id='sensor_1', timestamp=12, temperature=36.2}
maxBy> SensorRd{id='sensor_1', timestamp=13, temperature=36.3}
maxBy> SensorRd{id='sensor_2', timestamp=22, temperature=33.2}

小结，max与maxBy区别：

  • max：把聚合字段（最大温度值）取出来，其他字段和第一条记录保持一致；
  • maxBy：把聚合字段（最大温度值）取出来，且连同最大温度值所在记录的其他字段一并取出来；

同理 min与minby，本文不再演示；

补充： 聚合时要先分组，可以根据单字段分组，也可以根据多个字段分组；

上述代码注释部分给出了多个字段分组的例子，一个组记录称为Tuple，元组；

1个字段叫 Tuple1,2个字段叫Tuple2；....

【2.2】规约聚合-reduce

定义：

在相同 key 的数据流上“滚动”执行 reduce。将当前元素与最后一次 reduce 得到的值组合然后输出新值。

场景：根据sensorid分组后，形成keyedStream，然后查询最大温度，且最新时间戳；即多个聚合算子；

代码

/**
 * @Description reduce规约聚合算子 
 * @author xiao tang
 * @version 1.0.0
 * @createTime 2022年04月15日
 */
public class TransformTest3_Reduce {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从kafka读取数据
        DataStream inputStream = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor.txt");

        // 转换为 SensorReader pojo类型
        DataStream sensorStream = inputStream.map(x -> {
            String[] arr = x.split(",");
            return new SensorReading(arr[0], Long.valueOf(arr[1]), Double.valueOf(arr[2]));
        });

        // keyBy算子对数据流分组，并做滚动聚合（单字段分组）
        KeyedStream keyedStream = sensorStream.keyBy(SensorReading::getId);

        // reduce规约聚合-查询最大温度，且最新时间戳
        DataStream reduceStream = keyedStream.reduce((a,b)->
                new SensorReading(a.getId(), Math.max(a.getTimestamp(),b.getTimestamp()), Math.max(a.getTemperature(),b.getTemperature())));

        // 打印输出
        reduceStream.print("reduceStream");
        // 执行
        env.execute("reduceStreamJob");
    }
}

sensor文本：

sensor_1,11,36.1
sensor_2,21,33.1
sensor_1,32,36.2
sensor_1,23,30.3
sensor_2,22,31.2

打印结果：

reduceStream> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
reduceStream> SensorRd{id='sensor_2', timestamp=21, temperature=33.1}
reduceStream> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
reduceStream> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
reduceStream> SensorRd{id='sensor_2', timestamp=22, temperature=33.1}

【3】分流（把一个流切分为多个流）

flink 1.14.4 移除了 split 算子，refer2  https://issues.apache.org/jira/browse/FLINK-19083

转而使用 side output 侧输出实现，refer2

Side Outputs | Apache Flink

【3.1】 切分流(flink移除了split方法，需要使用 side output 来实现流切分)

1）代码，启动大于30度算高温，否则低温；

通过实现  ProcessFunction 来实现；

public class TransformTest4_SplitStream {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从kafka读取数据
        DataStream inputStream = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor.txt");

        // 转换为 SensorReader pojo类型
        DataStream sensorStream = inputStream.map(x -> {
            String[] arr = x.split(",");
            return new SensorReading(arr[0], Long.valueOf(arr[1]), Double.valueOf(arr[2]));
        });

       // 1，分流，按照温度值是否大于30度，分为两条流-高温和低温
        OutputTag highTag = new OutputTag("high") {};
        OutputTag lowTag = new OutputTag("low") {};
        SingleOutputStreamOperator splitStream = sensorStream.process(new ProcessFunction() {
            @Override
            public void processElement(SensorReading record, Context context, Collector collector) throws Exception {
                // 把数据发送到侧输出
                context.output(record.getTemperature()>30? highTag : lowTag, record);
                // 把数据发送到常规输出
                collector.collect(record);
            }
        });

        // 2, 选择流打印输出
        splitStream.getSideOutput(highTag).print("high");
        splitStream.getSideOutput(lowTag).print("low");
        // 执行
        env.execute("reduceStreamJob");
    }
}

sensor文本：

sensor_1,11,36.1
sensor_2,21,23.1
sensor_1,32,36.2
sensor_1,23,30.3
sensor_2,22,11.2

打印结果：

high> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
low> SensorRd{id='sensor_2', timestamp=21, temperature=23.1}
high> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
high> SensorRd{id='sensor_1', timestamp=23, temperature=30.3}
low> SensorRd{id='sensor_2', timestamp=22, temperature=11.2}

以上分流代码refer2  Process function: a versatile tool in Flink datastream API | Develop Paper

【4】connect 连接流

1）定义： 把多个流连接为一个流，叫做连接流，连接流中的子流的各自元素类型可以不同；

2）步骤：

  • 把2个流 connect 连接再一起形成 ConnectedStream；
  • 把连接流 通过 map 得到数据流；

代码：

/**
 * @Description connect-连接流
 * @author xiao tang
 * @version 1.0.0
 * @createTime 2022年04月16日
 */
public class TransformTest5_ConnectStream {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从kafka读取数据
        DataStream inputStream = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor.txt");

        // 转换为 SensorReader pojo类型
        DataStream sensorStream = inputStream.map(x -> {
            String[] arr = x.split(",");
            return new SensorReading(arr[0], Long.valueOf(arr[1]), Double.valueOf(arr[2]));
        });

        // 1，分流，按照温度值是否大于30度，分为两条流-高温和低温
        OutputTag highTag = new OutputTag("high") {
        };
        OutputTag lowTag = new OutputTag("low") {
        };
        SingleOutputStreamOperator splitStream = sensorStream.process(new ProcessFunction() {
            @Override
            public void processElement(SensorReading record, Context context, Collector collector) throws Exception {
                // 把数据发送到侧输出
                context.output(record.getTemperature() > 30 ? highTag : lowTag, record);
                // 把数据发送到常规输出
                collector.collect(record);
            }
        });
        // 得到高温和低温流
        DataStream highStream = splitStream.getSideOutput(highTag);
        DataStream lowStream = splitStream.getSideOutput(lowTag);

        // 2 把2个流连接为1个流（子流1的元素为3元组，子流2的元素为2元组）
        ConnectedStreams connectedStreams = highStream.connect(lowStream);
        DataStream resultStream = connectedStreams.map(new CoMapFunction() {
            @Override
            public Object map1(SensorReading rd) throws Exception {
                return new Tuple3<>(rd.getId(), rd.getTemperature(), "high"); // map1 作用于第1个流 highStream
            }
            @Override
            public Object map2(SensorReading rd) throws Exception {
                return new Tuple2<>(rd.getId(), rd.getTemperature()); // map2 作用于第2个流 lowStream
            }
        });

        // 3 打印结果
        resultStream.print("connectedStream");
        // 执行
        env.execute("connectedStreamJob");
    }
} 
   
  
sensor文本：
 
  
 
   
sensor_1,11,36.1
sensor_2,21,23.1
sensor_1,32,36.2
sensor_1,23,30.3
sensor_2,22,11.2
 
  
 
  
打印结果：
 
  
 
   
connectedStream> (sensor_1,36.1,high)
 connectedStream> (sensor_2,23.1)
 connectedStream> (sensor_1,36.2,high)
 connectedStream> (sensor_2,11.2)
 connectedStream> (sensor_1,30.3,high)
 
  
 
  
 
  
 
  
【5】合流-union
 
  
上述connect，只能连接两条流，如果要合并多条流，connect需要多次连接，不太适合；
 
  
如果要合并多条流，需要用 union，前提是 多个流的元素数据类型需要相同；
 
  
1）代码
 
  
 
   
 // 2 把3个流合并为1个流
        DataStream inputStream2 = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor2.txt")
                .map(x -> {
                    String[] arr = x.split(",");
                    return new SensorReading(arr[0], Long.valueOf(arr[1]), Double.valueOf(arr[2]));
                });
        DataStream unionStream =  highStream.union(lowStream,inputStream2);
        // 3 打印结果
        unionStream.print("unionStream");
        // 执行
        env.execute("unionStreamJob");
 
  
 
  
打印结果：
 
  
 
   
unionStream> SensorRd{id='sensor2_1', timestamp=11, temperature=36.1}
 unionStream> SensorRd{id='sensor2_2', timestamp=21, temperature=23.1}
 unionStream> SensorRd{id='sensor2_1', timestamp=32, temperature=36.2}
 unionStream> SensorRd{id='sensor2_1', timestamp=23, temperature=30.3}
 unionStream> SensorRd{id='sensor2_2', timestamp=22, temperature=11.2}
 unionStream> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
 unionStream> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
 unionStream> SensorRd{id='sensor_1', timestamp=23, temperature=30.3}
 unionStream> SensorRd{id='sensor_2', timestamp=21, temperature=23.1}
 unionStream> SensorRd{id='sensor_2', timestamp=22, temperature=11.2}
 
  
 
  
 
  
【6】自定义函数 UDF user-defined function
 
  
flink 暴露了所有udf 函数的接口，如MapFunction， FilterFunction， ProcessFunction等；可以理解为 java8引入的 函数式接口；
 
  
可以参考官方的udf文档：
 
  
ck自定义函数 | Apache Flinkhttps://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/table/functions/udfs/
 
  
【6.1】富函数
 
  
1）复函数可以获取上下文信息，而普通函数则不行；
 
  
代码：
 
  
 
   
/**
 * @Description 富函数
 * @author xiao tang
 * @version 1.0.0
 * @createTime 2022年04月16日
 */
public class TransformTest7_RichFunction {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(2);

        // 从文件读取数据
        DataStream inputStream = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor.txt");

        // 转换为 SensorReader pojo类型
        DataStream sensorStream = inputStream.map(x -> {
            String[] arr = x.split(",");
            return new SensorReading(arr[0], Long.valueOf(arr[1]), Double.valueOf(arr[2]));
        });

        // 自定义富函数
        DataStream> richMapStream = sensorStream.map(new MyRichMapFunction());

        // 3 打印结果
        richMapStream.print("richMapStream");
        // 执行
        env.execute("richMapStreamJob");
    }
    // 富函数类
    static class MyRichMapFunction extends RichMapFunction> {
        @Override
        public Tuple3 map(SensorReading record) throws Exception {
            // 富函数可以获取运行时上下文的属性  getRuntimeContext() ，普通map函数则不行
            return new Tuple3(
                    record.getId(), record.getId().length(), getRuntimeContext().getIndexOfThisSubtask());
        }
        @Override
        public void open(Configuration parameters) throws Exception {
            // 初始化工作，一般是定义状态， 或者建立数据库连接
            System.out.println("open db conn");
        }
        @Override
        public void close() throws Exception {
            // 关闭连接，清空状态
            System.out.println("close db conn");
        }
    }
}
 
  
 
  
sensor文本：
 
  
 
   
sensor_1,11,36.1
sensor_2,21,23.1
sensor_1,32,36.2
sensor_1,23,30.3
sensor_2,22,11.2
 
  
 
  
 打印结果：
 
  
 
   
open db conn
 open db conn
 richMapStream:1> (sensor_1,8,0)
 richMapStream:2> (sensor_1,8,1)
 richMapStream:1> (sensor_2,8,0)
 richMapStream:2> (sensor_2,8,1)
 richMapStream:1> (sensor_1,8,0)
 close db conn
 close db conn
 
  
 
  
从打印结果可以看出，每个子任务（线程）都会执行 open close方法 ，tuple3中的第3个字段是 执行上下文的任务id（这是富函数才可以获得上下文）；
 
  
 
  
【7】flink中的数据重分区
 
  
1）flink中的分区指的是： taskmanager中的槽，即线程；
 
  
分区操作有：
 
  
     
   
  • shuffle-洗牌乱分区；
    •  
   
  • keyBy-按照key分区；
    •  
   
  •  
    global 把数据转到第1个分区
     
    •  
  
 
  
2）代码 ：
 
  
 
   
/**
 * @Description 重分区
 * @author xiao tang
 * @version 1.0.0
 * @createTime 2022年04月16日
 */
public class TransformTest8_Partition2 {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(2);

        // 从文件读取数据
        DataStream inputStream = env.readTextFile("D:\\workbench_idea\\diydata\\flinkdemo2\\src\\main\\resources\\sensor.txt");

        // 转换为 SensorReader pojo类型
        DataStream sensorStream = inputStream.map(x -> {
            String[] arr = x.split(",");
            return new SensorReading(arr[0], Long.valueOf(arr[1]), Double.valueOf(arr[2]));
        });

        // 1-shuffle 洗牌（乱分区）
        DataStream shuffleStream = sensorStream.shuffle();
        shuffleStream.print("shuffleStream");
        // 2-keyby 按照key分区
        DataStream keybyStream = sensorStream.keyBy(SensorReading::getId);
//        keybyStream.print("keybyStream");
        // 3-global 把数据转到第1个分区
        DataStream globalStream = sensorStream.global();
//        globalStream.print("globalStream");

        // 执行
        env.execute("partitionJob");
    }
}
 
  
 
  
sensor文本：
 
  
 
   
sensor_1,11,36.1
sensor_2,21,23.1
sensor_1,32,36.2
sensor_1,23,30.3
sensor_2,22,11.2
 
  
 
  
原生分区结果：（重分区前）
 
  
rawStream:1> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
rawStream:2> SensorRd{id='sensor_1', timestamp=23, temperature=30.3}
rawStream:1> SensorRd{id='sensor_2', timestamp=21, temperature=23.1}
rawStream:2> SensorRd{id='sensor_2', timestamp=22, temperature=11.2}
rawStream:1> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
 
  
shuffle-洗牌乱分区结果：
 
  
 
   
shuffleStream:2> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
shuffleStream:1> SensorRd{id='sensor_2', timestamp=22, temperature=11.2}
shuffleStream:2> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
shuffleStream:1> SensorRd{id='sensor_2', timestamp=21, temperature=23.1}
shuffleStream:2> SensorRd{id='sensor_1', timestamp=23, temperature=30.3}
 
  
 
  
keyby-按照key进行分区的结果：
 
  
 
   
keybyStream:1> SensorRd{id='sensor_2', timestamp=21, temperature=23.1}
keybyStream:2> SensorRd{id='sensor_1', timestamp=23, temperature=30.3}
keybyStream:1> SensorRd{id='sensor_2', timestamp=22, temperature=11.2}
keybyStream:2> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
keybyStream:2> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
 
  
 
  
global-把数据转到第1个分区的打印结果：
 
  
 
   
globalStream:1> SensorRd{id='sensor_1', timestamp=23, temperature=30.3}
globalStream:1> SensorRd{id='sensor_2', timestamp=22, temperature=11.2}
globalStream:1> SensorRd{id='sensor_1', timestamp=11, temperature=36.1}
globalStream:1> SensorRd{id='sensor_2', timestamp=21, temperature=23.1}
globalStream:1> SensorRd{id='sensor_1', timestamp=32, temperature=36.2}
 
  
 
  
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(flink,flink)

        

            

                
    
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • 全面指南：用户行为从前端数据采集到实时处理的最佳实践
                        数字沉思
营销流量运营系统架构前端内容运营大数据
                        
    引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
    
                    
    • 
                    
  • 详解 Flink 的常见部署方式
                        文刀小桂
Flinkflink大数据
                        
    一、常见部署模式分类1.按是否依赖外部资源调度1.1Standalone模式独立模式(Standalone)是独立运行的，不依赖任何外部的资源管理平台，只需要运行所有Flink组件服务1.2Yarn模式Yarn模式是指客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会在Yarn的NodeManager上创建容器。在这些容器上，Flink
    
                    
    • 
                    
  • 大数据之flink与hive
                        星辰_mya
大数据flinkhive
                        
    其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
    
                    
    • 
                    
  • Java中的大数据处理框架对比分析
                        省赚客app开发者
java开发语言
                        
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
    
                    
    • 
                    
  • 一文搞懂 Flink Task 数据交互之数据写源码
                        mn_kw
flink交互java
                        
    一文搞懂FlinkTask数据交互之数据写源码1.RecordWriterOutput2.RecordWriter3.数据分区器ChannelSelector4.数据输出模型ResultPartition5.子模型ResultSubpartition6.本地buffer池LocalBufferPool7.获取buffer8.将buffer添加到ResultSubpartitionFlink重要源码
    
                    
    • 
                    
  • 概率图模型（PGM）综述
                        医学影像处理
概率图模型概率图模型综述
                        
    RefLink:http://www.sigvc.org/bbs/thread-728-1-1.htmlGraphicalModel的基本类型基本的GraphicalModel可以大致分为两个类别：贝叶斯网络(BayesianNetwork)和马尔可夫随机场(MarkovRandomField)。它们的主要区别在于采用不同类型的图来表达变量之间的关系：贝叶斯网络采用有向无环图(DirectedAc
    
                    
    • 
                    
  • Python基础知识进阶之正则表达式_头歌python正则表达式进阶
                        前端陈萨龙
程序员python学习面试
                        
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
    
                    
    • 
                    
  • 大数据新视界 --大数据大厂之Flink强势崛起：大数据新视界的璀璨明珠
                        青云交
大数据新视界Flink大数据数据类型实时处理流处理框架对比应用场景数据处理大数据新视界数据库
                        
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
    
                    
    • 
                    
  • flink增量检查点降低状态依赖实现的详细步骤
                        goTsHgo
Flink大数据分布式flink大数据
                        
    增量检查点启动恢复的时间是很久的，业务上不能接受，所以可以通过降低状态依赖来减少恢复的时间。降低状态依赖尽可能减少状态的复杂性和依赖关系，通过拆分状态或将状态外部化到其他服务中，从而降低恢复的开销。实施措施：将状态分割为更小的单元，减少每次恢复的状态量。使用外部状态存储服务，减少Flink状态后端的负担。拆分状态和将状态外部化到其他服务可以帮助减少作业的状态依赖，从而降低恢复时间和复杂度。以下是详
    
                    
    • 
                    
  • flink table factory基础知识
                        loukey_j

                        
    一、概述在flink中很多组件都是TableFactory的子类。比如序列化，反序列化，tableSinkFactory,tableSourceFactory.TableFactory是用来创建序列化，反序列器，tableSource和tableSink的工厂。二、TableFactory源码在flink框架中，TableFactory的子类并不是程序员自己随心new出来的。flink的提供给程序
    
                    
    • 
                    
  • 2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到
                        2401_84569545
程序员python学习面试
                        
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
    
                    
    • 
                    
  • 01-Flink安装部署及入门案例（仅供学习），音视频时代你还不会NDK开发
                        小猪佩琪962
2024年程序员学习flink学习大数据
                        
    先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵
    
                    
    • 
                    
  • 比较Spark与Flink
                        傲雪凌霜，松柏长青
大数据后端sparkflink大数据
                        
    ApacheSpark和ApacheFlink都是目前非常流行的大数据处理引擎，但它们在架构、处理模式、应用场景等方面有一些显著的区别。下面是二者的对比：1.处理模式Spark:主要支持批处理（BatchProcessing），也能通过SparkStreaming处理流式数据，但SparkStreaming本质上是通过微批（micro-batching）的方式处理流数据，延迟相对较高。SparkS
    
                    
    • 
                    
  • Apache Flink：实时流处理与批处理的统一框架
                        小码快撩
flink大数据
                        
    导语在大数据处理领域，流处理和批处理是两种主要的处理方式。然而，传统的系统通常将这两者视为独立的任务，需要不同的工具和框架来处理。ApacheFlink是一个开源的流处理框架，它打破了这种界限，提供了一个统一的平台来处理实时流数据和批处理数据。一、基本概念与架构ApacheFlink的基本概念与架构主要包括以下几个核心组成部分：基本概念1.流处理模型：无界流(UnboundedStreams):数
    
                    
    • 
                    
  • flink独立集群部署
                        嘎子吱吱吱吱
flinkhadooplinux
                        
    #flink独立集群部署说明安装环境三台服务器47.106.23.1（master）47.112.173.2（worker1）47.115.162.3（worker1）提前装好jdk和ssh,以下操作最好不要用root账号提前下载好flink的包并解压设置三台服务器之间ssh免密登录生成本机秘钥以47.106.23.1为例（其他两台参考本服务器）#生成本机秘钥cd;ssh-keygen-trsa-
    
                    
    • 
                    
  • Flink的时间与watermarks详解
                        大数据技术与数仓

                        
    当我们在使用Flink的时候，避免不了要和时间(time)、水位线(watermarks)打交道，理解这些概念是开发分布式流处理应用的基础。那么Flink支持哪些时间语义？Flink是如何处理乱序事件的？什么是水位线？水位线是如何生成的？水位线的传播方式是什么？让我们带着这些问题来开始本文的内容。时间语义基本概念时间是Flink等流处理中最重要的概念之一，在Flink中Time可以分为三种：Eve
    
                    
    • 
                    
  • 实时数仓之实时数仓架构(Hudi)(1)
                        2401_84164527
程序员架构
                        
    目前比较流行的实时数仓架构有两类，其中一类是以Flink+Doris为核心的实时数仓架构方案；另一类是以湖仓一体架构为核心的实时数仓架构方案。本文针对Flink+Hudi湖仓一体架构进行介绍，这套架构的特点是可以基于一套数据完全实现Lambda架构。实时数仓架构图如下：技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据
    
                    
    • 
                    
  • 2024年大数据最新实时数仓之实时数仓架构(Hudi)
                        2401_84185556
程序员大数据架构
                        
    技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris：O
    
                    
    • 
                    
  • 实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题
                        2401_84181221
程序员架构大数据
                        
    +Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC
    
                    
    • 
                    
  • Flink - CEP
                        kikiki1

                        
    Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具体命
    
                    
    • 
                    
  • chapter01 Java语言概述 知识点Note
                        月下绯烟
Javajava开发语言
                        
    JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker数据库redisspringbootspringcloudsshstruts+spring+hibernate过时技术栈很少用JAVA虚拟机jvm分布式微服务高并发常见dos
    
                    
    • 
                    
  • 【无标题】大数据之批处理，流处理，批流一体概念
                        数字天下
大数据
                        
    批处理批处理是将一定量的数据集合在一起，形成一个数据批次，然后对这个批次中的数据进行处理。Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。Flink也支持批处理，但使用的是基于流处理的批处理模式，即将一批数据分成多个数据流进行处理，可以实现更高效的内存管理和更低的延迟。流处理流式处理是一种将数据流式地处
    
                    
    • 
                    
  • python flink_《Flink官方文档》Python 编程指南测试版
                        weixin_39846361
pythonflink
                        
    原文链接译者：hjjxd校对：清英Flink中的分析程序实现了对数据集的某些操作(例如，数据过滤，映射，合并，分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。程序可以运行在本地的JVM上，也可以运行在服
    
                    
    • 
                    
  • flink---window
                        搞数据的小杰
flink大数据
                        
    Window介绍DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/operators/windows/SQL:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/table/
    
                    
    • 
                    
  • Flink(1.13) 的window机制(一)
                        万事万物

                        
    窗口概述在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数
    
                    
    • 
                    
  • pyflink 自定义函数
                        scan724
Flink实时计算python开发语言
                        
    frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.common.typeinfoimportTypesfrompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.tableimportStreamTableEnvironmentfrompyfli
    
                    
    • 
                    
  • flink 问题记录
                        Jhon_yh
flinkflinkhadoop大数据
                        
    文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V原因java.util.concurrent.Ex
    
                    
    • 
                    
  • Pyflink教程(三)：自定义函数
                        yuxj记录学习
学习笔记学习pyflink
                        
    该文章例子pyflink环境是apache-flink==1.13.6Python自定义函数是PyFlinkTableAPI中最重要的功能之一，其允许用户在PyFlinkTableAPI中使用Python语言开发的自定义函数，极大地拓宽了PythonTableAPI的使用范围。简单来说就是有的业务逻辑和需求是sql语句满足不了或太麻烦的，需要用过函数来实现。PythonUDFPythonUDF，即
    
                    
    • 
                    
  • pyflink 滚动窗口实例
                        菜鸟社长
菜鸟的大数据进阶之路大数据进阶之路kafkabigdatapythonflink
                        
    写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者，参考https://blog.csdn.net/qq_22611181/article/details/1199002502、flink聚合操作原理介绍，参考https://blog.csdn
    
                    
    • 
                                
  • 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题
                                    何必如此
jsp超链接文件下载窗口
                                    
    生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
    
                                
    • 
                                
  • 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析
                                    bit1129
cluster
                                    
    在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 
首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
    
                                
    • 
                                
  • linux上独立安装部署spark
                                    daizj
linux安装spark1.4部署
                                    
    下面讲一下linux上安装spark，以 Standalone Mode 安装 
  
1）首先安装JDK 
  
下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz   
  
然后配置 ~/.bashrc&nb
    
                                
    • 
                                
  • Java 字节码之解析一
                                    周凡杨
java字节码javap
                                    
      
         
  
一：  Java  字节代码的组织形式    
  
类文件 {  
     OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组  
}  
&nbs
    
                                
    • 
                                
  • java各种小工具代码
                                    g21121
java
                                    
    1.数组转换成List 
import java.util.Arrays;

Arrays.asList(Object[] obj); 2.判断一个String型是否有值 
import org.springframework.util.StringUtils;

if (StringUtils.hasText(str)) 3.判断一个List是否有值 
import org.spring
    
                                
    • 
                                
  • 加快FineReport报表设计的几个心得体会
                                    老A不折腾
finereport
                                    
    一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！ 
二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。 

    
                                
    • 
                                
  • mysql linux启动与停止
                                    墙头上一根草

                                    
    如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
    
                                
    • 
                                
  • Spring中事务管理浅谈
                                    aijuans
spring事务管理
                                    
       
Spring中事务管理浅谈  
By Tony Jiang@2012-1-20 Spring中对事务的声明式管理 
拿一个XML举例    
[html]  
view plain 
copy 
print 
?    
 
 <?xml version="1.0" encoding="UTF-8"?>&nb
    
                                
    • 
                                
  • php中隐形字符65279（utf-8的BOM头）问题
                                    alxw4616

                                    
    php中隐形字符65279（utf-8的BOM头）问题 
今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror. 
  
调试: 
1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题. 
2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符. 
  
     
    
                                
    • 
                                
  • 调用对象是否需要传递对象(初学者一定要注意这个问题)
                                    百合不是茶
对象的传递与调用技巧
                                    
      
  
类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看 
  
为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇) 
  
类和对象的基础概念: 
  
JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
    
                                
    • 
                                
  • JDK1.5 AtomicLong实例
                                    bijian1013
javathreadjava多线程AtomicLong
                                    
    JDK1.5 AtomicLong实例 
类 AtomicLong 
可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。 
 
    
                                
    • 
                                
  • 自定义的RPC的Java实现
                                    bijian1013
javarpc
                                    
            网上看到纯java实现的RPC，很不错。 
        RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
    
                                
    • 
                                
  • 【RPC框架Hessian一】Hessian RPC Hello World
                                    bit1129
Hello world
                                    
    什么是Hessian 
The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
    
                                
    • 
                                
  • 【Spark九十五】Spark Shell操作Spark SQL
                                    bit1129
shell
                                    
    在Spark Shell上，通过创建HiveContext可以直接进行Hive操作 
  
1. 操作Hive中已存在的表 
  
[hadoop@hadoop bin]$ ./spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Welcom
    
                                
    • 
                                
  • F5　往header加入客户端的ip
                                    ronin47

                                    
    when HTTP_RESPONSE {if {[HTTP::is_redirect]}{         HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
    
                                
    • 
                                
  • java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5,
                                    bylijinnan
java
                                    
    思路来自： 
http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 
写了个java版的 
 
 


public class GreatestLeftRightDiff {

	/**
	 * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。
	 * 求所有数对之差的最大值。例如在数组
    
                                
    • 
                                
  • mongoDB 索引
                                    开窍的石头
mongoDB索引
                                    
    在这一节中我们讲讲在mongo中如何创建索引 
      得到当前查询的索引信息 
     db.user.find(_id:12).explain(); 
       cursor: basicCoursor 指的是没有索引 
 &
    
                                
    • 
                                
  • [硬件和系统]迎峰度夏
                                    comsci
系统
                                    
      从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内 
 
   所以，从现在开始准备渡过炎热的夏天。。。。 
 
   每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系) 
   坐的，躺的地方要有凉垫，床上要有凉席 
   
   电脑的机箱
    
                                
    • 
                                
  • 基于ThinkPHP开发的公司官网
                                    cuiyadll
行业系统
                                    
    后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统 
 
 轻量级企业网站管理系统 
 运行环境:PHP5.3+, MySQL5.0 
 
系统预览 
 
 系统下载：http://www.tecmz.com  
 预览地址：http://co.tecmz.com  
 
各种设备自适应 
 
 响应式的网站设计能够对用户产生友好度，并且对于
    
                                
    • 
                                
  • Transaction and redelivery in JMS (JMS的事务和失败消息重发机制)
                                    darrenzhu
jms事务承认MQacknowledge
                                    
    JMS Message Delivery Reliability and Acknowledgement Patterns 
 
http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ 
 
 
Transaction and redelivery in 
    
                                
    • 
                                
  • Centos添加硬盘完全教程
                                    dcj3sjt126com
linuxcentoshardware
                                    
    Linux的硬盘识别: 
 sda        表示第1块SCSI硬盘 
 hda       表示第1块IDE硬盘 
 scd0      表示第1个USB光驱 
 一般使用“fdisk -l”命
    
                                
    • 
                                
  • yii2 restful web服务路由
                                    dcj3sjt126com
PHPyii2
                                    
    路由 
随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。 
在实践中，你通常要用美观的URL并采取有优势的HTTP动词。 例如，请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
    
                                
    • 
                                
  • MongoDB查询(4)——游标和分页[八]
                                    eksliang
mongodbMongoDB游标MongoDB深分页
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标 
        数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： 
> var 
    
                                
    • 
                                
  • Activity的四种启动模式和onNewIntent()
                                    gundumw100
android
                                    
    Android中Activity启动模式详解 
 
　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。 
 
　　Android总Activity的启动模式分为四种： 
 
 

Activity启动模式设置：

        <acti
    
                                
    • 
                                
  • 攻城狮送女友的CSS3生日蛋糕
                                    ini
htmlWebhtml5csscss3
                                    
    在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm 
  
代码如下： 
  
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
    
                                
    • 
                                
  • 读源码学Servlet（1）GenericServlet 源码分析
                                    jzinfo
tomcatWebservlet网络应用网络协议
                                    
    Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。 
  
  
先看javax.servlet.servlet接口源码：  
package 
    
                                
    • 
                                
  • JAVA进阶：VO(DTO)与PO(DAO)之间的转换
                                    snoopy7713
javaVOHibernatepo
                                    
      
PO即 Persistence Object　　VO即 Value Object 
　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。 
　实际上，这个VO被用作Data Transfer 
    
                                
    • 
                                
  • mongodb group by date 聚合查询日期 统计每天数据（信息量）
                                    qiaolevip
每天进步一点点学习永无止境mongodb纵观千象
                                    
    /* 1 */
{
    "_id" : ObjectId("557ac1e2153c43c320393d9d"),
    "msgType" : "text",
    "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
    
                                
    • 
                                
  • java之18天 常用的类(一)
                                    Luob.
MathDateSystemRuntimeRundom
                                    
    System类 
 

import java.util.Properties;

/**
 * System:
 *  out:标准输出,默认是控制台
 *  in:标准输入,默认是键盘
 * 
 *  描述系统的一些信息
 *  获取系统的属性信息:Properties getProperties();
 *  
 * 
 *
 */
public class Sy
    
                                
    • 
                                
  • maven
                                    wuai
maven
                                    
    1、安装maven：解压缩、添加M2_HOME、添加环境变量path 
2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 
3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 
4、进入mvn_ch01 
 4.1、mvn compile ,执行后会在
    
                                
    •