upward337
upward337

尚硅谷大数据项目《在线教育之实时数仓》笔记003

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili

目录

第7章 数仓开发之ODS层

P015

第8章 数仓开发之DIM层

P016

P017

P018

P019

01、node001节点Linux命令

02、KafkaUtil.java

03、DimSinkApp.java

P020

P021

P022

P023

第7章 数仓开发之ODS层

P015

采集到 Kafka 的 topic_log 和 topic_db 主题的数据即为实时数仓的 ODS 层，这一层的作用是对数据做原样展示和备份。

第8章 数仓开发之DIM层

P016

8.1.1 Flink CDC

P017

8.2 主要任务

尚硅谷大数据项目《在线教育之实时数仓》笔记003_第1张图片

package com.atguigu.edu.realtime.app.dim;

import com.atguigu.edu.realtime.util.EnvUtil;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class DimSinkApp {
    public static void main(String[] args) {
        //TODO 1 创建flink运行环境以及设置状态后端
        StreamExecutionEnvironment env = EnvUtil.getExecutionEnvironment(1);

        // TODO 2 读取主流kafka数据
        //env.fromSource();

        // TODO 3 对主流数据进行ETL

        // TODO 4 使用flinkCDC读取配置表数据

        // TODO 5 将配置表数据创建为广播流

        // TODO 6 合并主流和广播流

        // TODO 7 对合并流进行分别处理

        // TODO 8 调取维度数据写出到phoenix

        // TODO 9 执行flink任务

    }
}
package com.atguigu.edu.realtime.util;

import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class EnvUtil {
    /**
     * 环境准备及状态后端设置，获取对应的环境
     *
     * @param parallelism Flink 程序的并行度
     * @return Flink 流处理环境对象
     */
    public static StreamExecutionEnvironment getExecutionEnvironment(Integer parallelism) {
        //TODO 1 环境创建准备
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //设置并发
        env.setParallelism(parallelism);

        //TODO 2 设置状态后端
        env.enableCheckpointing(3000L, CheckpointingMode.EXACTLY_ONCE);
        //设置超时时间
        env.getCheckpointConfig().setCheckpointTimeout(60 * 1000L);
        //设置最小间隔时间
        env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);
        env.getCheckpointConfig().setExternalizedCheckpointCleanup(
                CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION
        );

        env.setRestartStrategy(RestartStrategies.failureRateRestart(
                3, Time.days(1), Time.minutes(1)
        ));
        env.setStateBackend(new HashMapStateBackend());
        env.getCheckpointConfig().setCheckpointStorage("hdfs://node001:8020/edu/ck");
        System.setProperty("HADOOP_USER_NAME", "atguigu");
        return env;
    }
}

P018

package com.atguigu.edu.realtime.util;

import org.apache.flink.api.common.serialization.DeserializationSchema;
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.kafka.clients.consumer.OffsetResetStrategy;

import java.io.IOException;

public class KafkaUtil {
    public static KafkaSource getKafkaConsumer(String topic, String groupId) {
        return KafkaSource.builder()
                // 必要参数
//                .setBootstrapServers(EduConfig.KAFKA_BOOTSTRAPS)//“node001:9092”
                .setTopics(topic)
                .setGroupId(groupId)
                .setValueOnlyDeserializer(new DeserializationSchema() {
                    @Override
                    public String deserialize(byte[] message) throws IOException {
                        if (message != null && message.length != 0) {
                            return new String(message);
                        }
                        return null;
                    }

                    @Override
                    public boolean isEndOfStream(String nextElement) {
                        return false;
                    }

                    @Override
                    public TypeInformation getProducedType() {
                        return BasicTypeInfo.STRING_TYPE_INFO;
                    }
                })
                // 不必要的参数，设置offset重置的时候读取数据的位置
                .setStartingOffsets(OffsetsInitializer.committedOffsets(OffsetResetStrategy.EARLIEST))
                .build();
    }
}

P019

尚硅谷大数据项目《在线教育之实时数仓》笔记003_第2张图片

01、node001节点Linux命令
[atguigu@node001 bin]$ jpsall
================ node001 ================
4803 QuorumPeerMain
5236 Kafka
7941 Maxwell
5350 Application
6726 ConsoleConsumer
4458 NodeManager
8810 Jps
4043 DataNode
3869 NameNode
4654 JobHistoryServer
================ node002 ================
3505 ResourceManager
4066 QuorumPeerMain
4490 Kafka
5179 Jps
3660 NodeManager
3263 DataNode
================ node003 ================
3505 SecondaryNameNode
5777 Jps
4369 Application
4279 Kafka
4569 Application
3354 DataNode
3851 QuorumPeerMain
3659 NodeManager
[atguigu@node001 bin]$

启动hadoop、maxwell、kafka。

[atguigu@node001 ~]$ kafka-console-consumer.sh --bootstrap-server node001:9092 --topic topic_db

[atguigu@node001 bin]$ mysql_to_kafka_init.sh all

02、KafkaUtil.java
package com.atguigu.edu.realtime.util;

import org.apache.flink.api.common.serialization.DeserializationSchema;
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.kafka.clients.consumer.OffsetResetStrategy;

import java.io.IOException;

public class KafkaUtil {
    public static KafkaSource getKafkaConsumer(String topic, String groupId) {
        return KafkaSource.builder()
                // 必要参数
                .setBootstrapServers("node001:9092")
                .setTopics(topic)
                .setGroupId(groupId)
                .setValueOnlyDeserializer(new DeserializationSchema() {
                    @Override
                    public String deserialize(byte[] message) throws IOException {
                        if (message != null && message.length != 0) {
                            return new String(message);
                        }
                        return null;
                    }

                    @Override
                    public boolean isEndOfStream(String nextElement) {
                        return false;
                    }

                    @Override
                    public TypeInformation getProducedType() {
                        return BasicTypeInfo.STRING_TYPE_INFO;
                    }
                })
                // 不必要的参数，设置offset重置的时候读取数据的位置
                .setStartingOffsets(OffsetsInitializer.committedOffsets(OffsetResetStrategy.EARLIEST))
                .build();
    }
}
03、DimSinkApp.java
package com.atguigu.edu.realtime.app.dim;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.edu.realtime.util.EnvUtil;
import com.atguigu.edu.realtime.util.KafkaUtil;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class DimSinkApp {
    public static void main(String[] args) throws Exception {
        //TODO 1 创建flink运行环境以及设置状态后端
        StreamExecutionEnvironment env = EnvUtil.getExecutionEnvironment(1);

        // TODO 2 读取主流kafka数据
        DataStreamSource eduDS = env.fromSource(KafkaUtil.getKafkaConsumer("topic_db", "dim_sink_app"),
                WatermarkStrategy.noWatermarks(),
                "kafka_source");

        // TODO 3 对主流数据进行ETL
//        eduDS.map(new MapFunction() {
//            @Override
//            public JSONObject map(String value) throws Exception {
//                return JSONObject.parseObject(value);
//            }
//        }).filter(new FilterFunction() {
//            @Override
//            public boolean filter(JSONObject jsonObject) throws Exception {
//                String type = jsonObject.getString("type");
//                if (type.equals("bootstrap-complete") || type.equals("bootstrap-start")) {
//                    return false;
//                }
//                return true;
//            }
//        });
        SingleOutputStreamOperator jsonDS = eduDS.flatMap(new FlatMapFunction() {
            @Override
            public void flatMap(String value, Collector out) throws Exception {
                try {
                    JSONObject jsonObject = JSON.parseObject(value);
                    String type = jsonObject.getString("type");
                    if (!(type.equals("bootstrap-complete") || type.equals("bootstrap-start"))) {
                        // 需要的数据
                        out.collect(jsonObject);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                    System.out.println("数据转换json错误...");
                }
            }
        });
        jsonDS.print();

        // TODO 4 使用flinkCDC读取配置表数据


        // TODO 5 将配置表数据创建为广播流


        // TODO 6 合并主流和广播流


        // TODO 7 对合并流进行分别处理


        // TODO 8 调取维度数据写出到phoenix


        // TODO 9 执行flink任务
        env.execute();
    }
}

P020

flinkCDC监控mysql中的binlog。

尚硅谷大数据项目《在线教育之实时数仓》笔记003_第3张图片

尚硅谷大数据项目《在线教育之实时数仓》笔记003_第4张图片

{"before":null,"after":{"source_table":"base_category_info","sink_table":"dim_base_category_info","sink_columns":"id,category_name,create_time,update_time,deleted","sink_pk":"id","sink_extend":null},"source":{"version":"1.6.4.Final","connector":"mysql","name":"mysql_binlog_source","ts_ms":0,"snapshot":"false","db":"edu_config","sequence":null,"table":"table_process","server_id":0,"gtid":null,"file":"","pos":0,"row":0,"thread":null,"query":null},"op":"r","ts_ms":1695262804254,"transaction":null}
{
    "before":null,
    "after":{
        "source_table":"base_category_info",
        "sink_table":"dim_base_category_info",
        "sink_columns":"id,category_name,create_time,update_time,deleted",
        "sink_pk":"id",
        "sink_extend":null
    },
    "source":{
        "version":"1.6.4.Final",
        "connector":"mysql",
        "name":"mysql_binlog_source",
        "ts_ms":0,
        "snapshot":"false",
        "db":"edu_config",
        "sequence":null,
        "table":"table_process",
        "server_id":0,
        "gtid":null,
        "file":"",
        "pos":0,
        "row":0,
        "thread":null,
        "query":null
    },
    "op":"r",
    "ts_ms":1695262804254,
    "transaction":null
}
package com.atguigu.edu.realtime.app.dim;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.edu.realtime.bean.DimTableProcess;
import com.atguigu.edu.realtime.util.EnvUtil;
import com.atguigu.edu.realtime.util.KafkaUtil;
import com.ververica.cdc.connectors.mysql.source.MySqlSource;
import com.ververica.cdc.connectors.mysql.table.StartupOptions;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.streaming.api.datastream.BroadcastConnectedStream;
import org.apache.flink.streaming.api.datastream.BroadcastStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class DimSinkApp {
    public static void main(String[] args) throws Exception {
        //TODO 1 创建flink运行环境以及设置状态后端
        StreamExecutionEnvironment env = EnvUtil.getExecutionEnvironment(1);

        // TODO 2 读取主流kafka数据
        DataStreamSource eduDS = env.fromSource(KafkaUtil.getKafkaConsumer("topic_db", "dim_sink_app"),
                WatermarkStrategy.noWatermarks(),
                "kafka_source");

        // TODO 3 对主流数据进行ETL
//        eduDS.map(new MapFunction() {
//            @Override
//            public JSONObject map(String value) throws Exception {
//                return JSONObject.parseObject(value);
//            }
//        }).filter(new FilterFunction() {
//            @Override
//            public boolean filter(JSONObject jsonObject) throws Exception {
//                String type = jsonObject.getString("type");
//                if (type.equals("bootstrap-complete") || type.equals("bootstrap-start")) {
//                    return false;
//                }
//                return true;
//            }
//        });
        SingleOutputStreamOperator jsonDS = eduDS.flatMap(new FlatMapFunction() {
            @Override
            public void flatMap(String value, Collector out) throws Exception {
                try {
                    JSONObject jsonObject = JSON.parseObject(value);
                    String type = jsonObject.getString("type");
                    if (!(type.equals("bootstrap-complete") || type.equals("bootstrap-start"))) {
                        // 需要的数据
                        out.collect(jsonObject);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                    System.out.println("数据转换json错误...");
                }
            }
        });
        // jsonDS.print();

        // TODO 4 使用flinkCDC读取配置表数据
        // 4.1 FlinkCDC 读取配置表信息
        MySqlSource mySqlSource = MySqlSource.builder()
                .hostname("node001")
                .port(3306)
                .databaseList("edu_config") // set captured database
                .tableList("edu_config.table_process") // set captured table
                .username("root")
                .password("123456")
                //定义读取数据的格式
                .deserializer(new JsonDebeziumDeserializationSchema()) // converts SourceRecord to JSON String
                //设置读取数据的模式
                .startupOptions(StartupOptions.initial())
                .build();

        // 4.2 封装为流
        DataStreamSource configDS = env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "mysql_source");
        configDS.print();

        // TODO 5 将配置表数据创建为广播流

        // TODO 6 连接流，合并主流和广播流

        // TODO 7 对合并流进行分别处理

        // TODO 8 调取维度数据写出到phoenix

        // TODO 9 执行flink任务
        env.execute();
    }
}

P021

package com.atguigu.edu.realtime.app.dim;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.edu.realtime.bean.DimTableProcess;
import com.atguigu.edu.realtime.util.EnvUtil;
import com.atguigu.edu.realtime.util.KafkaUtil;
import com.ververica.cdc.connectors.mysql.source.MySqlSource;
import com.ververica.cdc.connectors.mysql.table.StartupOptions;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.streaming.api.datastream.BroadcastConnectedStream;
import org.apache.flink.streaming.api.datastream.BroadcastStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.BroadcastProcessFunction;
import org.apache.flink.util.Collector;

public class DimSinkApp {
    public static void main(String[] args) throws Exception {
        //TODO 1 创建flink运行环境以及设置状态后端
        StreamExecutionEnvironment env = EnvUtil.getExecutionEnvironment(1);

        // TODO 2 读取主流kafka数据
        DataStreamSource eduDS = env.fromSource(KafkaUtil.getKafkaConsumer("topic_db", "dim_sink_app"),
                WatermarkStrategy.noWatermarks(),
                "kafka_source");

        // TODO 3 对主流数据进行ETL
//        eduDS.map(new MapFunction() {
//            @Override
//            public JSONObject map(String value) throws Exception {
//                return JSONObject.parseObject(value);
//            }
//        }).filter(new FilterFunction() {
//            @Override
//            public boolean filter(JSONObject jsonObject) throws Exception {
//                String type = jsonObject.getString("type");
//                if (type.equals("bootstrap-complete") || type.equals("bootstrap-start")) {
//                    return false;
//                }
//                return true;
//            }
//        });
        SingleOutputStreamOperator jsonDS = eduDS.flatMap(new FlatMapFunction() {
            @Override
            public void flatMap(String value, Collector out) throws Exception {
                try {
                    JSONObject jsonObject = JSON.parseObject(value);
                    String type = jsonObject.getString("type");
                    if (!(type.equals("bootstrap-complete") || type.equals("bootstrap-start"))) {
                        // 需要的数据
                        out.collect(jsonObject);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                    System.out.println("数据转换json错误...");
                }
            }
        });
        // jsonDS.print();

        // TODO 4 使用flinkCDC读取配置表数据
        // 4.1 FlinkCDC 读取配置表信息
        MySqlSource mySqlSource = MySqlSource.builder()
                .hostname("node001")
                .port(3306)
                .databaseList("edu_config") // set captured database
                .tableList("edu_config.table_process") // set captured table
                .username("root")
                .password("123456")
                //定义读取数据的格式
                .deserializer(new JsonDebeziumDeserializationSchema()) // converts SourceRecord to JSON String
                //设置读取数据的模式
                .startupOptions(StartupOptions.initial())
                .build();

        // 4.2 封装为流
        DataStreamSource configDS = env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "mysql_source");
        configDS.print();

        // TODO 5 将配置表数据创建为广播流
        // key-> 维度表名称，value-> mysql单行数据 使用javaBean
        MapStateDescriptor tableProcessState = new MapStateDescriptor<>("table_process_state", String.class, DimTableProcess.class);
        BroadcastStream broadcastStream = configDS.broadcast(tableProcessState);

        // TODO 6 连接流，合并主流和广播流
        BroadcastConnectedStream connectCS = jsonDS.connect(broadcastStream);

        // TODO 7 对合并流进行分别处理
        connectCS.process(new BroadcastProcessFunction() {
            //处理主流
            @Override
            public void processElement(JSONObject jsonObject, BroadcastProcessFunction.ReadOnlyContext readOnlyContext, Collector collector) throws Exception {
            }

            //处理广播流
            @Override
            public void processBroadcastElement(String s, BroadcastProcessFunction.Context context, Collector collector) throws Exception {
            }
        });

        // TODO 8 调取维度数据写出到phoenix

        // TODO 9 执行flink任务
        env.execute();
    }
}

P022


package com.atguigu.edu.realtime.app.func;

import com.alibaba.druid.pool.DruidDataSource;
import com.alibaba.druid.pool.DruidPooledConnection;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.edu.realtime.bean.DimTableProcess;
import com.atguigu.edu.realtime.common.EduConfig;
import com.atguigu.edu.realtime.util.DruidDSUtil;
import com.atguigu.edu.realtime.util.PhoenixUtil;
import org.apache.flink.api.common.state.BroadcastState;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.api.common.state.ReadOnlyBroadcastState;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.co.BroadcastProcessFunction;
import org.apache.flink.util.Collector;

import java.sql.*;
import java.util.*;

public class DimBroadcastProcessFunction extends BroadcastProcessFunction {
    private MapStateDescriptor tableProcessState;

    // 初始化配置表数据
    private HashMap configMap = new HashMap<>();

    public DimBroadcastProcessFunction(MapStateDescriptor tableProcessState) {
        this.tableProcessState = tableProcessState;
    }

    /**
     * @param value flinkCDC直接输入的json
     * @param ctx
     * @param out
     * @throws Exception
     */
    @Override
    public void processBroadcastElement(String value, Context ctx, Collector out) throws Exception {
        //TODO 1 获取配置表数据解析格式

        //TODO 2 检查phoenix中是否存在表 不存在创建

        //TODO 3 将数据写入到状态 广播出去
    }

    /**
     * @param value kafka中maxwell生成的json数据
     * @param ctx
     * @param out
     * @throws Exception
     */
    @Override
    public void processElement(JSONObject value, ReadOnlyContext ctx, Collector out) throws Exception {
        //TODO 1 获取广播的配置数据

        //TODO 2 过滤出需要的维度字段

        //TODO 3 补充输出字段
    }
}


P023


    //package com.atguigu.edu.realtime.app.func;DimBroadcastProcessFunction
    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);

        Connection connection = DriverManager.getConnection("jdbc:mysql://node001:3306/edu_config?" +
                "user=root&password=123456&useUnicode=true&" +
                "characterEncoding=utf8&serverTimeZone=Asia/Shanghai&useSSL=false"
        );

        PreparedStatement preparedStatement = connection.prepareStatement("select * from edu_config.table_process");
        ResultSet resultSet = preparedStatement.executeQuery();
        ResultSetMetaData metaData = resultSet.getMetaData();
        while (resultSet.next()) {
            JSONObject jsonObject = new JSONObject();
            for (int i = 1; i <= metaData.getColumnCount(); i++) {
                String columnName = metaData.getColumnName(i);
                String columnValue = resultSet.getString(i);
                jsonObject.put(columnName, columnValue);
            }
            DimTableProcess dimTableProcess = jsonObject.toJavaObject(DimTableProcess.class);
            configMap.put(dimTableProcess.getSourceTable(), dimTableProcess);
        }
        resultSet.close();
        preparedStatement.close();
        connection.close();
    }





























你可能感兴趣的:(#,大数据数仓,大数据,实时数仓,flink,1024程序员节)






    

  • Flink中的SQL Client和SQL Gateway
BigDataMLApplication
flinkflinksqlgateway

    Flink中的SQLClient和SQLGateway对比目录定义基本原理适用场景主要区别常用运维命令示例官方链接正文1.定义SQLClient：FlinkSQLClient是一种用于提交和执行FlinkSQL语句的命令行界面或图形界面工具。SQLGateway：FlinkSQLGateway是一个独立的服务，它允许客户端通过RESTfulAPI将SQL查询提交到Flink集群。2.基本原理SQL
    

    • 

  • 数据分析：低代码平台助力大数据时代的飞跃发展
快乐非自愿
数据分析低代码大数据

    随着信息技术的突飞猛进，我们身处于一个数据量空前增长的时代——大数据时代。在这个时代背景下，数据分析已经成为企业决策、政策制定、科学研究等众多领域不可或缺的重要工具。然而，面对海量的数据和日益复杂多变的分析需求，传统的数据分析方法往往捉襟见肘，难以应对。幸运的是，低代码平台的兴起为大数据分析注入了新的活力，成为推动大数据时代发展的重要力量。低代码平台，顾名思义，是一种通过少量甚至无需编写代码，就能
    

    • 

  • Apache Kafka的伸缩性探究：实现高性能、弹性扩展的关键
i289292951
kafkakafka

    引言ApacheKafka作为当今最流行的消息中间件之一，以其强大的伸缩性著称。在大数据处理、流处理和实时数据集成等领域，Kafka的伸缩性为其在面临急剧增长的数据流量和多样化业务需求时提供了无与伦比的扩展能力。本文将深入探讨Kafka如何通过其独特的架构设计实现高水平的伸缩性，以及在实际部署中如何优化和利用这一特性。一、Kafka伸缩性的核心设计分区（Partitioning）与水平扩展Kafk
    

    • 

  • Flink算子通用状态应用测试样例
公子乂
flinkjavaservlet

    Flink算子通用状态应用测试样例1.获取Flink执行环境finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);2.创建数据源，生成随机数据DataStream>source=env.addSource(newSourceFunct
    

    • 

  • 山东省大数据局副局长禹金涛一行莅临聚合数据走访调研
聚合数据
API大数据人工智能API

    3月19日，山东省大数据局党组成员、副局长禹金涛莅临聚合数据展开考察调研。山东省大数据局数据应用管理与安全处处长杨峰，副处长都海明参加调研，苏州市大数据局副局长汤晶陪同。聚合数据董事长左磊等人接待来访。调研组一行参观了聚合数据展厅，了解了聚合数据的发展历程、数据产品、应用案例、奖项荣誉等情况。并就企业在数据处理和应用方面取得的成绩进行了深入交流。作为最早一批进入大数据行业的企业，聚合数据深耕行业十
    

    • 

  • 智慧公厕的先进技术应用
中期科技ZONTREE
智慧厕所智慧公厕智慧城市

    公共厕所一直以来都是城市管理中一个重要的工作，但设施老化、环境脏乱、服务质量低下等问题一直困扰着城市居民。然而，随着科技的进步和数字技术的应用，智慧公厕的建设正在改变这一现状。智慧公厕通过对所在辖区内所有公共厕所的全域感知、全网协同、全业务融合和全场景智慧的赋能，“千厕一云”的公共厕所云管理模式应运而生。智慧公厕的云端多屏管理，将各个公厕连接在一起，实现信息的共享和管理的集中化。通过大数据、云计算
    

    • 

  • 关于HDP的20道高级运维面试题
编织幻境的妖
运维

    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
    

    • 

  • 【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理
音乐学家方大刚
ScalaHadoophadoopscalaspark

    风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
    

    • 

  • 一文详解大数据时代与低代码开发应用
快乐非自愿
大数据低代码

    随着信息技术的飞速发展，我们迎来了一个崭新的时代——大数据时代。在这个时代，数据成为了一种新的资源，大数据技术的应用成为了推动社会进步的关键力量。而在大数据技术的浪潮中，低代码开发应用也逐渐崭露头角，以其高效、灵活的特点，成为大数据时代的重要支撑。大数据时代的来临随着科技的飞速发展和互联网的广泛普及，我们迎来了一个被称为“大数据时代”的全新时代。这个时代，数据无处不在，无时不刻不在增长，其规模之大
    

    • 

  • Spark面试整理-Spark是什么？
不务正业的猿
面试Sparkspark大数据分布式

    ApacheSpark是一个开源的分布式计算系统，它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的，并于2010年开源。自那时起，Spark已经成为大数据处理中最受欢迎和广泛使用的框架之一。下面是Spark的一些关键特点：速度：Spark使用了先进的DAG（有向无环图）执行引擎，可以支持循环数据流和内存计算。这使得Spark在数据处理方面
    

    • 

  • 请介绍一下大数据主要是干什么的？决策支持预测分析用户行为分析个性化服务操作优化风险管理创新与产品开发加拿大卡尔加里大学历史背景学术结构研究和创新校园设施
盛溪的猫猫
感悟大数据英语加拿大

    目录请介绍一下大数据主要是干什么的？决策支持预测分析用户行为分析个性化服务操作优化风险管理创新与产品开发加拿大卡尔加里大学历史背景学术结构研究和创新校园设施国际化学生生活大语言模型目前的问题卡尔加里经济地理和气候文化和活动教育交通绿色城市AVL树的旋转单右旋（LL旋转）单左旋（RR旋转）左右旋（LR旋转）右左旋（RL旋转）请介绍一下大数据主要是干什么的？大数据是一个涉及从极其庞大和复杂的数据集中提
    

    • 

  • Flink 面试题总结及答案
wending-Y
Flink入门到实践flink大数据

    基础state的分类keystate和operatestatestate的重分布Flink状态管理详解：KeyedState和OperatorListState深度解析-掘金checkpoint和savepointhttps://zhuanlan.zhihu.com/p/79526638flinkjob的容错策略如果在没有持续消息输出的情况下，如何定时输出主要是现实有可能不会一直有消息输入，但是要
    

    • 

  • Flink 批作业 消费kafka
wending-Y
Flink入门到实践flinkkafka大数据

    文章目录示例代码原理总是kafka数据源可以是有界数据源，也可以是无界数据源示例代码publicstaticvoidmain(String[]args){StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism
    

    • 

  • Flink源码-6-JobMaster 启动任务
wending-Y
Flink入门到实践flink

    JobMasterjobmaster负责执行整个任务入口类org.apache.flink.runtime.jobmaster.JobMasterpublicCompletableFuturestart(finalJobMasterIdnewJobMasterId)throwsException{//makesurewereceiveRPCandasynccallsstart();returnca
    

    • 

  • GEE在灾害预警中的遥感云大数据应用及GPT模型辅助分析
AIzmjl
GPT生态遥感大数据gptgee灾害预警水体湿地遥感

    随着遥感技术的快速发展，云大数据在灾害、水体与湿地领域的应用日益广泛。通过遥感云大数据，我们能够实时获取灾害发生地的影像信息，为灾害预警、应急响应提供有力支持。同时，在水体与湿地监测方面，遥感云大数据也发挥着重要作用，帮助我们了解水体的分布、变化以及湿地的生态状况。近年来，GPT模型在自然语言处理领域取得了显著成果，其强大的文本生成和理解能力为遥感云大数据的应用提供了新的可能。通过将GPT模型与遥
    

    • 

  • 大数据毕设 图像识别-人脸识别与疲劳检测 - python opencv
fawubio_A
python算法

    文章目录0前言1课题背景2Dlib人脸识别2.1简介2.2Dlib优点2.3相关代码2.4人脸数据库2.5人脸录入加识别效果3疲劳检测算法3.1眼睛检测算法3.2打哈欠检测算法3.3点头检测算法4PyQt54.1简介4.2相关界面代码0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师
    

    • 

  • 某项目公司-——ETL工程师岗位——二面
劝学-大数据
个人面试真题记录etl工程师数据仓库

    1.自我介绍2.如果给你一个数仓项目，你应该从那些方面向你的上级汇报。3.对自己的未来职业生涯规划。4.平常下班之后做那哪些事情。5.对于写PPT,写文档这块是否可以。6.遇到工作中的压力，该如何处理。7.你曾经是做什么的。为什么想着向互联网这块发展。8.你有什么要问的？整个面试过程，面试官主要考察面试者自己的自学能力，然后做事的态度。以及做事的态度，解决问题的能力。还有就是，以后不说自己是酒店服
    

    • 

  • 大数据开发（Hive面试真题-卷二）
Key-Key
大数据hive面试

    大数据开发（Hive面试真题）1、举几个Hive开窗函数例子？什么要有开窗函数，和聚集函数区别？2、说下Hive是什么？跟数据仓库区别？3、Hive架构？4、Hive数据倾斜以及解决方案？5、Hive如果不用参数调优，在map和reduce端应该做什么？6、Hive的三种自定义函数是什么？实现步骤与流程？它们之间的区别？作用是什么？7、Hive分区和分桶的区别？8、Hive的执行流程？9、Hive
    

    • 

  • 【大数据面试题】014 Flink CDC 用过吗，请简要描述
Jiweilai1
一天一道面试题flink大数据面试flinkcdc

    一步一个脚印，一天一道面试题。FlinkCDC的诞生背景FlinkCDC的全称是ChangeDataCapture（变更数据捕获）每一项技术的诞生都是为了解决某个问题，某个痛点。而FlinkCDC的诞生就是为了解决在读取，监控MySQL这样的数据库时，不会因为读取数据库，对数据库本身造成压力，影响性能。同时，保证了数据源的准确，正确。FlinkCDC原理方式一：通过查询来获取更新的数据。如查询数据
    

    • 

  • pyflink1.18.0 报错 TypeError: cannot pickle ‘_thread.lock‘ object
Thomas2143
总结pyflink

    完整报错Traceback(mostrecentcalllast):File"/Users//1.py",line851,inds1=my_datastream.key_by(lambdax:x[0]).process(MyProcessFunction())#返回元组即:f0f1f2三列File"/Users/thomas990p/bigdataSoft/minicondaarm/minicon
    

    • 

  • 【Flink SQL】Flink SQL 基础概念（五）：SQL 时区问题
G皮T
#FlinkSQLflinksql大数据时区TIMESTAMP_LTZTIMESTAMP

    《FlinkSQL基础概念》系列，共包含以下5篇文章：FlinkSQL基础概念（一）：SQL&Table运行环境、基本概念及常用APIFlinkSQL基础概念（二）：数据类型FlinkSQL基础概念（三）：SQL动态表&连续查询FlinkSQL基础概念（四）：SQL的时间属性FlinkSQL基础概念（五）：SQL时区问题如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！
    

    • 

  • 【大数据】Flink SQL 语法篇（五）：Regular Join、Interval Join
G皮T
#FlinkSQL大数据flinksqlRegularJoinIntervalJoin双流Join

    《FlinkSQL语法篇》系列，共包含以下10篇文章：FlinkSQL语法篇（一）：CREATEFlinkSQL语法篇（二）：WITH、SELECT&WHERE、SELECTDISTINCTFlinkSQL语法篇（三）：窗口聚合（TUMBLE、HOP、SESSION、CUMULATE）FlinkSQL语法篇（四）：Group聚合、Over聚合FlinkSQL语法篇（五）：RegularJoin、I
    

    • 

  • 有一点动心
段duan

    《有一点动心》是6月4日新上映的一部影片，在香山国际影城的支持下，与水姐观影群的伙伴们共同观看了这部影片。随着社会意识形态的不断变化，人们对感情的态度，也呈现出多元化的状态。爱情，自从人类诞生之日起，不论朝代如何更替变迁，都是生命的一大核心主题，演绎出无数个动人的故事，让经历者体验其中，让倾听者无比动容。从调查出来的大数据来看，适龄人群的不婚比例，是空前高的一个数字，越来越多的适婚人士，加入了不婚
    

    • 

  • 大数据开发（Kafka面试真题-卷一）
Key-Key
大数据kafka面试

    大数据开发（Kafka面试真题）1、请解释以下ApacheKafka是什么？它在大数据系统中的角色是什么？2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处？3、解释以下ApacheKafka的作用以及它与常见消息队列系统（如RabbitMQ）之间的区别？4、如何使用ApacheKafka来实现实时数据流处理？5、Flinkcheckpoint和Kafkaoffset的关联是什么？
    

    • 

  • 什么是分布式搜索引擎
罗彬桦
分布式搜索引擎搜索引擎分布式

    什么是分布式搜索引擎搜索引擎所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等，同时可添加其他一系列辅助模块，以为用户创造更好的网络使用环境。分布
    

    • 

  • 挑战杯 大数据商城人流数据分析与可视化 - python 大数据分析
laafeer
python

    0前言优质竞赛项目系列，今天要分享的是基于大数据的基站数据分析与可视化该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：3分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate课题背景随着当今个人手机终端的普及，出行群体中手机拥有率和使用率已达到相当高的比例，手
    

    • 

  • Java开发从入门到精通（七）：Java的面向对象编程OOP：常用API
HACKNOE
Java开发从入门到精通javaintellij-idea

    Java大数据开发和安全开发（一）Java的常用API1.1Object类1.1toString1.1equals方法1.1对象克隆clone1.1Objects类1.1包装类1.1StringBuilder1.1StringBuffer1.1StringJoiner1.1Math、System、Runtime1.1BigDecimal1.1传统时间：Date日期类、SimpleDateForma
    

    • 

  • linux安装单机版spark3.5.0
爱上雪茄
大数据JAVA知识spark大数据分布式

    一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0三、spark环境变量配置exportJAVA_HOME=/usr/local/jdk1.8.0_391exportJRE_HOME=/usr/local/jdk1.8.0_391/jr
    

    • 

  • flink: 自定义表函数的用法
amadeus_liu2
flinkflinkpython大数据

    packagecn.edu.tju.demo3;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache
    

    • 

  • flink:自定义函数的简单用法
amadeus_liu2
flinkflink大数据

    packagecn.edu.tju.demo3;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.datastream.SingleOutputS
    

    • 

  • xml解析
小猪猪08
xml

    1、DOM解析的步奏
准备工作：
   1.创建DocumentBuilderFactory的对象
   2.创建DocumentBuilder对象
   3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件
   4.通过Document的getElem
    

    • 

  • 每个开发人员都需要了解的一个SQL技巧
brotherlamp
linuxlinux视频linux教程linux自学linux资料

     
对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷，比如说它们是应用到表上面的，但有的时候你可能希望指定一条约束，而它只在特定条件下才生效。
使用SQL标准的WITH CHECK OPTION子句就能完成这点，至少Oracle和SQL Server都实现了这个功能。下面是实现方式：
CREATE TABLE books (
  id &
    

    • 

  • Quartz——CronTrigger触发器
eksliang
quartzCronTrigger

    转载请出自出处：http://eksliang.iteye.com/blog/2208295 一.概述
CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案，调度规则基于 Cron 表达式，CronTrigger 支持日历相关的重复时间间隔（比如每月第一个周一执行），而不是简单的周期时间间隔。 二.Cron表达式介绍 1）Cron表达式规则表
Quartz
    

    • 

  • Informatica基础
18289753290
InformaticaMonitormanagerworkflowDesigner

    1.
1）PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。
2）Workflow  Manager：合理地实现复杂的ETL工作流，基于时间，事件的作业调度
3）Workflow  Monitor：监控Workflow和Session运行情况，生成日志和报告
4）Repository  Manager：
    

    • 

  • linux下为程序创建启动和关闭的的sh文件，scrapyd为例
酷的飞上天空
scrapy

    对于一些未提供service管理的程序  每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件
 
下面以scrapy启动server为例，文件名为run.sh：
 
#端口号，根据此端口号确定PID
PORT=6800
#启动命令所在目录
HOME='/home/jmscra/scrapy/'
#查询出监听了PORT端口
    

    • 

  • 人--自私与无私
永夜-极光

                今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么?
 
            从客观的角度来看,人有自私的行为,也有无私的
    

    • 

  • Ubuntu安装NS-3 环境脚本
随便小屋
ubuntu

     
将附件下载下来之后解压，将解压后的文件ns3environment.sh复制到下载目录下（其实放在哪里都可以，就是为了和我下面的命令相统一）。输入命令：
 
sudo ./ns3environment.sh >>result
 
这样系统就自动安装ns3的环境，运行的结果在result文件中，如果提示
 
 
com
    

    • 

  • 创业的简单感受
aijuans
创业的简单感受

    
       2009年11月9日我进入a公司实习，2012年4月26日，我离开a公司，开始自己的创业之旅。
     今天是2012年5月30日，我忽然很想谈谈自己创业一个月的感受。
当初离开边锋时，我就对自己说：“自己选择的路，就是跪着也要把他走完”，我也做好了心理准备，准备迎接一次次的困难。我这次走出来，不管成败
    

    • 

  • 如何经营自己的独立人脉
aoyouzi
如何经营自己的独立人脉

    独立人脉不是父母、亲戚的人脉，而是自己主动投入构造的人脉圈。“放长线，钓大鱼”，先行投入才能产生后续产出。   现在几乎做所有的事情都需要人脉。以银行柜员为例，需要拉储户，而其本质就是社会人脉，就是社交！很多人都说，人脉我不行，因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行，怎么能建立人脉？我这里说的人脉，是你的独立人脉。   以一个普通的银行柜员
    

    • 

  • JSP基础
百合不是茶
jsp注释隐式对象

     
1,JSP语句的声明
<%! 声明 %> 　　 声明：这个就是提供java代码声明变量、方法等的场所。
表达式 <%= 表达式 %> 　　 这个相当于赋值，可以在页面上显示表达式的结果，
程序代码段/小型指令　<% 程序代码片段 %>
 
2,JSP的注释
 
<!-- --> 
    

    • 

  • web.xml之session-config、mime-mapping
bijian1013
javaweb.xmlservletsession-configmime-mapping

    session-config
1.定义：
<session-config>
<session-timeout>20</session-timeout>
</session-config>
2.作用：用于定义整个WEB站点session的有效期限，单位是分钟。
 
mime-mapping
1.定义：
<mime-m
    

    • 

  • 互联网开放平台（1）
Bill_chen
互联网qq新浪微博百度腾讯

    现在各互联网公司都推出了自己的开放平台供用户创造自己的应用，互联网的开放技术欣欣向荣，自己总结如下：
1.淘宝开放平台(TOP)
网址：http://open.taobao.com/
依赖淘宝强大的电子商务数据，将淘宝内部业务数据作为API开放出去，同时将外部ISV的应用引入进来。
目前TOP的三条主线：
TOP访问网站：open.taobao.com
ISV后台：my.open.ta
    

    • 

  • 【MongoDB学习笔记九】MongoDB索引
bit1129
mongodb

    索引
可以在任意列上建立索引
索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb
使用索引可以加快查询,但同时会降低修改,插入等的性能
内嵌文档照样可以建立使用索引
测试数据
 
 
var p1 = {
"name":"Jack",
"age&q
    

    • 

  • JDBC常用API之外的总结
白糖_
jdbc

     做JAVA的人玩JDBC肯定已经很熟练了，像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦，我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了，在这我介绍一些写框架时常用的API，大家共同学习吧。
 
 
ResultSetMetaData获取ResultSet对象的元数据信息

    

    • 

  • apache VelocityEngine使用记录
bozch
VelocityEngine

    VelocityEngine是一个模板引擎，能够基于模板生成指定的文件代码。
 
使用方法如下：
    VelocityEngine engine = new VelocityEngine();// 定义模板引擎
    Properties properties = new Properties();// 模板引擎属
    

    • 

  • 编程之美-快速找出故障机器
bylijinnan
编程之美

    
package beautyOfCoding;
import java.util.Arrays;
public class TheLostID {
/*编程之美
假设一个机器仅存储一个标号为ID的记录，假设机器总量在10亿以下且ID是小于10亿的整数，假设每份数据保存两个备份，这样就有两个机器存储了同样的数据。
1.假设在某个时间得到一个数据文件ID的列表，是
    

    • 

  • 关于Java中redirect与forward的区别
chenbowen00
javaservlet

    在Servlet中两种实现：
forward方式：request.getRequestDispatcher(“/somePage.jsp”).forward(request, response);
redirect方式：response.sendRedirect(“/somePage.jsp”);
forward是服务器内部重定向，程序收到请求后重新定向到另一个程序，客户机并不知
    

    • 

  • [信号与系统]人体最关键的两个信号节点
comsci
系统

    
        如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做 百汇穴, 另外一个节点在腰部,中医的名称叫做 命门
        如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
    

    • 

  • oracle 存储过程执行权限
daizj
oracle存储过程权限执行者调用者

    在数据库系统中存储过程是必不可少的利器，存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了，说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能，其中涉及到判断一张表是否已经建立，没有建立就由存储过程来建立这张表。
CREATE OR REPLACE PROCEDURE TestProc 
IS 
  fla
    

    • 

  • 为mysql数据库建立索引
dengkane
mysql性能索引

    前些时候，一位颇高级的程序员居然问我什么叫做索引，令我感到十分的惊奇，我想这绝不会是沧海一粟，因为有成千上万的开发者（可能大部分是使用MySQL的）都没有受过有关数据库的正规培训，尽管他们都为客户做过一些开发，但却对如何为数据库建立适当的索引所知较少，因此我起了写一篇相关文章的念头。  最普通的情况，是为出现在where子句的字段建一个索引。为方便讲述，我们先建立一个如下的表。
    

    • 

  • 学习C语言常见误区 如何看懂一个程序 如何掌握一个程序以及几个小题目示例
dcj3sjt126com
c算法

    如果看懂一个程序，分三步
 
1、流程
 
2、每个语句的功能
 
3、试数
 
如何学习一些小算法的程序
尝试自己去编程解决它，大部分人都自己无法解决
如果解决不了就看答案
关键是把答案看懂，这个是要花很大的精力，也是我们学习的重点
看懂之后尝试自己去修改程序，并且知道修改之后程序的不同输出结果的含义
照着答案去敲
调试错误

    

    • 

  • centos6.3安装php5.4报错
dcj3sjt126com
centos6

    报错内容如下:
Resolving Dependencies
--> Running transaction check
---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed
--> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for 
    

    • 

  • JSONP请求
flyer0126
jsonp

     
    使用jsonp不能发起POST请求。
It is not possible to make a JSONP POST request.
JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
    

    • 

  • Spring Security（03）——核心类简介
234390216
Authentication

    核心类简介
目录
1.1     Authentication
1.2     SecurityContextHolder
1.3     AuthenticationManager和AuthenticationProvider
1.3.1  &nb
    

    • 

  • 在CentOS上部署JAVA服务
java--hhf
javajdkcentosJava服务

        本文将介绍如何在CentOS上运行Java Web服务，其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行
   
第一步：卸载旧Linux自带的JDK
①查看本机JDK版本
java -version
   结果如下
java version "1.6.0"
    

    • 

  • oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date]
ldzyz007
oraclemysqlSQL Server

    oracle                                &n
    

    • 

  • 记Protocol Oriented Programming in Swift of WWDC 2015
ningandjin
protocolWWDC 2015Swift2.0

    其实最先朋友让我就这个题目写篇文章的时候，我是拒绝的，因为觉得苹果就是在炒冷饭， 把已经流行了数十年的OOP中的“面向接口编程”还拿来讲，看完整个Session之后呢，虽然还是觉得在炒冷饭，但是毕竟还是加了蛋的，有些东西还是值得说说的。
通常谈到面向接口编程，其主要作用是把系统设计和具体实现分离开，让系统的每个部分都可以在不影响别的部分的情况下，改变自身的具体实现。接口的设计就反映了系统
    

    • 

  • 搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS
rensanning
keepalived

    （一）Keepalived
（1）安装
# cd /usr/local/src
# wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz
# tar zxvf keepalived-1.2.15.tar.gz
# cd keepalived-1.2.15
# ./configure
# make &a
    

    • 

  • ORACLE数据库SCN和时间的互相转换
tomcat_oracle
oraclesql

    SCN（System Change Number 简称 SCN）是当Oracle数据库更新后，由DBMS自动维护去累积递增的一个数字，可以理解成ORACLE数据库的时间戳，从ORACLE 10G开始，提供了函数可以实现SCN和时间进行相互转换； 　　
用途：在进行数据库的还原和利用数据库的闪回功能时，进行SCN和时间的转换就变的非常必要了； 　
　操作方法： 　　1、通过dbms_f
    

    • 

  • Spring MVC 方法注解拦截器
xp9802
spring mvc

    应用场景，在方法级别对本次调用进行鉴权，如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器，获得本次请求的用户，存放到request或者session域。
python中，之前在python flask中可以使用装饰器来对方法进行预处理，进行权限处理
先看一个实例,使用@access_required拦截：
? 
    

    •