先锋成员5A
先锋成员5A

flink进阶篇-05-Flink流处理 API

flink进阶篇-05-Flink流处理 API_第1张图片

 

1、Environment

1.1 getExecutionEnvironment

1）创建一个执行环境，表示当前执行程序的上下文。

2）如果程序是独立调用的，则此方法返回本地执行环境；

3）如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，

getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的

方式。

//获得批处理执行环境
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
//获得流处理执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

如果没有设置并行度，会以 flink-conf.yaml中的配置为准，默认是 1。

 

1.2 createLocalEnvironment

返回本地执行环境，需要在调用时指定默认的并行度。

LocalStreamEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(1);

1.3 createRemoteEnvironment

1）返回集群执行环境，将 Jar 提交到远程服务器。

2）需要在调用时指定 JobManager 的 IP 和端口号，并指定要在集群中运行的 Jar 包。

StreamExecutionEnvironment env = 
StreamExecutionEnvironment.createRemoteEnvironment("jobmanage-hostname", 6123,"YOURPATH//WordCount.jar");

2、Source

2.1 从集合读取数据

传感器对象实体

// 传感器温度读数的数据类型
public class SensorReading {
    // 属性：id，时间戳，温度值
    private String id;
    private Long timestamp;
    private Double temperature;
​
    public SensorReading() {
    }
​
    public SensorReading(String id, Long timestamp, Double temperature) {
        this.id = id;
        this.timestamp = timestamp;
        this.temperature = temperature;
    }
​
    public String getId() {
        return id;
    }
​
    public void setId(String id) {
        this.id = id;
    }
​
    public Long getTimestamp() {
        return timestamp;
    }
​
    public void setTimestamp(Long timestamp) {
        this.timestamp = timestamp;
    }
​
    public Double getTemperature() {
        return temperature;
    }
​
    public void setTemperature(Double temperature) {
        this.temperature = temperature;
    }
​
    @Override
    public String toString() {
        return "SensorReading{" +
                "id='" + id + '\'' +
                ", timestamp=" + timestamp +
                ", temperature=" + temperature +
                '}';
    }
}

示例代码

​
import com.wyb.apitest.beans.SensorReading;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
​
import java.util.Arrays;
​
​
public class SourceTest1_Collection {
    public static void main(String[] args) throws Exception{
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
​
        // 从集合中读取数据
        DataStream dataStream = env.fromCollection(Arrays.asList(
                new SensorReading("sensor_1", 1547718199L, 35.8),
                new SensorReading("sensor_6", 1547718201L, 15.4),
                new SensorReading("sensor_7", 1547718202L, 6.7),
                new SensorReading("sensor_10", 1547718205L, 38.1)
        ));
​
        DataStream integerDataStream = env.fromElements(1, 2, 4, 67, 189);
​
        // 打印输出
        dataStream.print("data");
        integerDataStream.print("int");
​
        // 执行
        env.execute();
    }
}

2.2 从文件读取数据

DataStream dataStream = env.readTextFile("YOUR_FILE_PATH ");

2.3 以 kafka 消息队列的数据作为来源

pom.xml


 org.apache.flink
 flink-connector-kafka-0.11_2.12
 1.10.1

具体代码如下：

// kafka 配置项
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "localhost:9092");
properties.setProperty("group.id", "consumer-group");
properties.setProperty("key.deserializer", 
"org.apache.kafka.common.serialization.StringDeserializer");
properties.setProperty("value.deserializer", 
"org.apache.kafka.common.serialization.StringDeserializer");
properties.setProperty("auto.offset.reset", "latest");
// 从 kafka 读取数据
DataStream dataStream = env.addSource( new 
FlinkKafkaConsumer011("sensor", new SimpleStringSchema(), properties));

2.4 自定义 Source

除了以上的 source 数据来源，我们还可以自定义 source。需要做的，只是传入一个 SourceFunction 就可

以。具体调用如下：

DataStream dataStream = env.addSource( new MySensor());

我们希望可以随机生成传感器数据，MySensorSource 具体的代码实现如下：

import com.wyb.apitest.beans.SensorReading;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;

import java.util.HashMap;
import java.util.Random;

public class SourceTest4_UDF {
	public static void main(String[] args) throws Exception {
		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		env.setParallelism(1);

		// 从文件读取数据
		DataStream dataStream = env.addSource(new MySensorSource());

		// 打印输出
		dataStream.print();

		env.execute();
	}

	// 实现自定义的SourceFunction
	public static class MySensorSource implements SourceFunction {
		// 定义一个标识位，用来控制数据的产生
		private boolean running = true;

		@Override
		public void run(SourceContext ctx) throws Exception {
			// 定义一个随机数发生器
			Random random = new Random();

			// 设置10个传感器的初始温度
			HashMap sensorTempMap = new HashMap<>();
			for (int i = 0; i < 10; i++) {
				sensorTempMap.put("sensor_" + (i + 1), 60 + random.nextGaussian() * 20);
			}

			while (running) {
				for (String sensorId : sensorTempMap.keySet()) {
					// 在当前温度基础上随机波动
					Double newtemp = sensorTempMap.get(sensorId) + random.nextGaussian();
					sensorTempMap.put(sensorId, newtemp);
					ctx.collect(new SensorReading(sensorId, System.currentTimeMillis(), newtemp));
				}
				// 控制输出频率
				Thread.sleep(1000L);
			}
		}

		@Override
		public void cancel() {
			running = false;
		}
	}
}

3、Transform

3.1 map

flink进阶篇-05-Flink流处理 API_第2张图片

 

DataStream mapStram = dataStream.map(new MapFunction() {
	public Integer map(String value) throws Exception {
		return value.length();
	}
});

3.2 flatMap

DataStream flatMapStream = dataStream.flatMap(new FlatMapFunction() {
 	public void flatMap(String value, Collector out) throws Exception {
 		String[] fields = value.split(","); 
 		for( String field: fields )
 			out.collect(field); 
 	}
});

3.3 Filter

flink进阶篇-05-Flink流处理 API_第3张图片

 

DataStream filterStream = dataStream.filter(new FilterFunction() 
{
 public boolean filter(String value) throws Exception {
 	return value == 1;
 }
});

3.4 KeyBy

flink进阶篇-05-Flink流处理 API_第4张图片

 

DataStream → KeyedStream：

逻辑地将一个流拆分成不相交的分区，每个分区包含具有相同 key的元素，在内部以 hash code重分区的形

式实现的。

3.5 滚动聚合算子（Rolling Aggregation）

这些算子可以针对 KeyedStream 的每一个支流做聚合。

⚫ sum()

⚫ min()

⚫ max()

⚫ minBy()

⚫ maxBy()

3.6 Reduce

KeyedStream → DataStream

一个分组数据流的聚合操作，合并当前的元素和上次聚合的结果，产生一个新的值，返回的流中包含每一次

聚合的结果，而不是只返回最后一次聚合的最终结果。

DataStream inputStream = env.readTextFile("sensor.txt");
// 转换成 SensorReading 类型
DataStream dataStream = inputStream.map(new MapFunction() {
	public SensorReading map(String value) throws Exception {
    	String[] fileds = value.split(",");
        return new SensorReading(fileds[0], new Long(fileds[1]), new Double(fileds[2]));
	}
});
// 分组
KeyedStream keyedStream = dataStream.keyBy("id");
// reduce 聚合，取最小的温度值，并输出当前的时间戳
DataStream reduceStream = keyedStream.reduce(new ReduceFunction() {
	@Override
    public SensorReading reduce(SensorReading value1, SensorReading value2) throws Exception {
    return new SensorReading(value1.getId(), value2.getTimestamp(),
    	Math.min(value1.getTemperature(), value2.getTemperature()));
        }
});

3.7 Split 和 Select

Split

flink进阶篇-05-Flink流处理 API_第5张图片

 

DataStream → SplitStream

根据某些特征把一个 DataStream 拆分成两个或者多个 DataStream。

Select

flink进阶篇-05-Flink流处理 API_第6张图片

 

SplitStream→DataStream

从一个 SplitStream 中获取一个或者多个DataStream。

需求：传感器数据按照温度高低（以 30 度为界），拆分成两个流。

SplitStream splitStream = dataStream.split(new OutputSelector() {
 	@Override
 	public Iterable select(SensorReading value) {
 		return (value.getTemperature() > 30) ? Collections.singletonList("high") : 
		Collections.singletonList("low");
 	}
});
DataStream highTempStream = splitStream.select("high");
DataStream lowTempStream = splitStream.select("low");
DataStream allTempStream = splitStream.select("high", "low");

3.8 Connect 和 CoMap

flink进阶篇-05-Flink流处理 API_第7张图片

 

DataStream,DataStream → ConnectedStreams

连接两个保持他们类型的数据流，两个数据流被 Connect 之后，只是被放在了一个同一个流中，内部依然保持

各自的数据和形式不发生任何变化，两个流相互独立。

CoMap,CoFlatMap

flink进阶篇-05-Flink流处理 API_第8张图片

 

ConnectedStreams → DataStream：

作用于 ConnectedStreams 上，功能与 map和 flatMap 一样，对 ConnectedStreams 中的每一个 Stream 分

别进行 map 和 flatMap处理。

// 合流 connect
DataStream> warningStream = highTempStream.map(new 
MapFunction>() {
 	@Override
 	public Tuple2 map(SensorReading value) throws Exception {
 		return new Tuple2<>(value.getId(), value.getTemperature());
 	}
});
ConnectedStreams, SensorReading> connectedStreams = 
warningStream.connect(lowTempStream);

DataStream resultStream = connectedStreams.map(new 
CoMapFunction, SensorReading, Object>() {
 	@Override
 	public Object map1(Tuple2 value) throws Exception {
 		return new Tuple3<>(value.f0, value.f1, "warning");
 	}
 	@Override
 	public Object map2(SensorReading value) throws Exception {
 		return new Tuple2<>(value.getId(), "healthy");
 	}
});
 
  
3.9 Union
 
  
flink进阶篇-05-Flink流处理 API_第9张图片
 
  
 
 
  
DataStream → DataStream
 
  
对两个或者两个以上的 DataStream 进行 union 操作，产生一个包含所有 DataStream 元素的新
 
  
DataStream。
 
  
DataStream unionStream = highTempStream.union(lowTempStream);

 
  
Connect 与 Union 区别：
 
  
1）Union 之前两个流的类型必须是一样，Connect 可以不一样，在之后的 coMap 中再去调整成为一样的。
 
  
2）Connect 只能操作两个流，Union 可以操作多个。
 
  
 
  
4、支持的数据类型
 
  
Flink 流应用程序处理的是以数据对象表示的事件流。所以在 Flink 内部，我们需要能够处理这些对象。它们
 
  
需要被序列化和反序列化，以便通过网络传送它们； 或者从状态后端、检查点和保存点读取它们。为了有效地做
 
  
到这一点，Flink 需要明确知道应用程序所处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并为每个
 
  
数据类型生成特定的序列化器、反序列化器和比较器。
 
  
Flink 还具有一个类型提取系统，该系统分析函数的输入和返回类型，以自动获取类型信息，从而获得序列化
 
  
器和反序列化器。但是，在某些情况下，例如 lambda函数或泛型类型，需要显式地提供类型信息，才能使应用程
 
  
序正常工作或提高其性能。
 
  
Flink 支持 Java 和 Scala 中所有常见数据类型。使用最广泛的类型有以下几种。
 
  
4.1 基础数据类型
 
  
Flink 支持所有的 Java 和 Scala 基础数据类型，Int, Double, Long, String, …
 
  
DataStream numberStream = env.fromElements(1, 2, 3, 4);
numberStream.map(data -> data  2);

 
  
4.2 Java 和 Scala 元组（Tuples）
 
  
DataStream> personStream = env.fromElements(
 new Tuple2("Adam", 17),
 new Tuple2("Sarah", 23) );
personStream.filter(p -> p.f1 > 18);

 
  
4.3 Scala 样例类（case classes）
 
  
不懂Scala语法可略过该节内容
 
  
case class Person(name: String, age: Int)
val persons: DataStream[Person] = env.fromElements(
Person("Adam", 17),
Person("Sarah", 23) )
persons.filter(p => p.age > 18)

 
  
4.4 Java 简单对象（POJOs）
 
  
public class Person {
	public String name;
	public int age;
	
 	public Person() {}
 	public Person(String name, int age) { 
		this.name = name; 
		this.age = age; 
	}
}
DataStream persons = env.fromElements( 
	new Person("Alex", 42), 
	new Person("Wendy", 23));

 
  
4.5 其它（Arrays, Lists, Maps, Enums, 等等）
 
  
Flink 对 Java 和 Scala 中的一些特殊目的的类型也都是支持的，比如 Java 的 ArrayList，HashMap，Enum 等等。
 
  
 
  
5、UDF 函数--实现更细粒度的控制流
 
  
5.1 函数类（Function Classes）
 
  
Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction,FilterFunction,
 
  
ProcessFunction 等等。
 
  
例1：实现了 FilterFunction 接口：
 
  
DataStream flinkTweets = tweets.filter(new FlinkFilter());
public static class FlinkFilter implements FilterFunction {
 	@Override
 	public boolean filter(String value) throws Exception {
 		return value.contains("flink");
 	}
}

 
  
例2：实现成匿名类函数
 
  
DataStream flinkTweets = tweets.filter(new FilterFunction() {
 @Override
 public boolean filter(String value) throws Exception {
 return value.contains("flink");
 }
});

 
  
例3：参数传递
 
  
DataStream tweets = env.readTextFile("INPUT_FILE ");
DataStream flinkTweets = tweets.filter(new KeyWordFilter("flink"));

public static class KeyWordFilter implements FilterFunction {
 	private String keyWord;
 	KeyWordFilter(String keyWord) { 
 		this.keyWord = keyWord; 
 	}
 	@Override
 	public boolean filter(String value) throws Exception {
 		return value.contains(this.keyWord);
	} 
}

 
  
 
  
5.2 匿名函数（Lambda Functions）
 
  
DataStream tweets = env.readTextFile("INPUT_FILE");
DataStream flinkTweets = tweets.filter( tweet -> tweet.contains("flink") );

 
  
5.3 富函数（Rich Functions）
 
  
“富函数”是 DataStream API 提供的一个函数类的接口，所有 Flink 函数类都有其 Rich 版本。它与常规函数的不
 
  
同在于，可以获取运行环境的上下文，并拥有一些生命周期方法，所以可以实现更复杂的功能。
 
  
⚫ RichMapFunction
 
  
⚫ RichFlatMapFunction
 
  
⚫ RichFilterFunction
 
  
⚫ …
 
  
 
  
Rich Function 有一个生命周期的概念。典型的生命周期方法有：
 
  
⚫ open()方法是 rich function 的初始化方法，当一个算子例如 map 或者 filter被调用之前 open()会被调用。
 
  
⚫ close()方法是生命周期中的最后一个调用的方法，做一些清理工作。
 
  
⚫ getRuntimeContext()方法提供了函数的 RuntimeContext 的一些信息，例如函数执行的并行度，任务的名字，以及 state 状态 。
 
  
 
  
public static class MyMapFunction extends RichMapFunction> {

 	@Override
 	public Tuple2 map(SensorReading value) throws Exception {
 		return new Tuple2<>(getRuntimeContext().getIndexOfThisSubtask(), 
		value.getId());
 	}
 	
 	@Override
 	public void open(Configuration parameters) throws Exception {
 		System.out.println("my map open");
 		// 以下可以做一些初始化工作，例如建立一个和 HDFS 的连接
 	}
 	
 	@Override
 	public void close() throws Exception {
 		System.out.println("my map close");
 		// 以下做一些清理工作，例如断开和 HDFS 的连接
	}
}

 
  
 
  
6、Sink
 
  
Flink 没有类似于 spark 中 foreach 方法，让用户进行迭代的操作。虽有对外的输出操作都要利用 Sink 完成。最
 
  
后通过类似如下方式完成整个任务最终输出操作。
 
  
stream.addSink(new MySink(xxxx)) 

 
  
官方提供了一部分的框架的 sink。除此以外，需要用户自定义实现 sink。
 
  
flink进阶篇-05-Flink流处理 API_第10张图片
 
  
 
 
  
 
  
6.1 Kafka
 
  
1）pom.xml
 
  
org.apache.flink
 	flink-connector-kafka-0.11_2.12
 	1.10.1


 
  
2）主函数中添加 sink：
 
  
dataStream.addSink(new FlinkKafkaProducer011[String]("localhost:9092", 
						"test", new SimpleStringSchema()))

 
  
6.2 Redis
 
  
1）pom.xml
 
  
org.apache.bahir
 	flink-connector-redis_2.11
 	1.0


 
  
2）定义一个 redis 的 mapper 类，用于定义保存到 redis 时调用的命令
 
  
public static class MyRedisMapper implements RedisMapper{
 	// 保存到 redis 的命令，存成哈希表
 	public RedisCommandDescription getCommandDescription() {
 		return new RedisCommandDescription(RedisCommand.HSET, "sensor_tempe");
 	}
 	public String getKeyFromData(SensorReading data) {
 		return data.getId();
 	}
 	public String getValueFromData(SensorReading data) {
 		return data.getTemperature().toString();
 	} 
}

 
  
3）在主函数中调用：
 
  
FlinkJedisPoolConfig config = new FlinkJedisPoolConfig.Builder()
 .setHost("localhost")
 .setPort(6379)
 .build();
 dataStream.addSink( new RedisSink(config, new MyRedisMapper()) );

 
  
6.3 Elasticsearch
 
  
1）pom.xml
 
  

 	org.apache.flink
 	flink-connector-elasticsearch6_2.12
 	1.10.1


 
  
2）在主函数中调用
 
  
// es 的 httpHosts 配置
ArrayList httpHosts = new ArrayList<>();
httpHosts.add(new HttpHost("localhost", 9200));
dataStream.addSink( new ElasticsearchSink.Builder(httpHosts, new 
MyEsSinkFunction()).build());

 
  
3）ElasitcsearchSinkFunction 的实现
 
  
public static class MyEsSinkFunction implements ElasticsearchSinkFunction{
 	@Override
 	public void process(SensorReading element, RuntimeContext ctx, RequestIndexer 
indexer) {
 		HashMap dataSource = new HashMap<>();
 		dataSource.put("id", element.getId());
 		dataSource.put("ts", element.getTimestamp().toString());
 		dataSource.put("temp", element.getTemperature().toString());
 		IndexRequest indexRequest = Requests.indexRequest()
 						.index("sensor")
 						.type("readingData")
 						.source(dataSource);
 				indexer.add(indexRequest);
 	} 
}

 
  
6.4 JDBC 自定义 sink
 
  
1）pom.xml
 
  
mysql
 mysql-connector-java
 5.1.44


 
  
2）添加 MyJdbcSink
 
  
public static class MyJdbcSink extends RichSinkFunction {
 	Connection conn = null;
 	PreparedStatement insertStmt = null;
 	PreparedStatement updateStmt = null;
 	// open 主要是创建连接
 	@Override
 	public void open(Configuration parameters) throws Exception {
 		conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/test", 
				"root", "123456");
 		// 创建预编译器，有占位符，可传入参数
 		insertStmt = conn.prepareStatement("INSERT INTO sensor_temp (id, temp) VALUES 
			(?, ?)");
 		updateStmt = conn.prepareStatement("UPDATE sensor_temp SET temp = ? WHERE id 
		= ?");
 	}
 
 	// 调用连接，执行 sql
 	@Override
	public void invoke(SensorReading value, Context context) throws Exception {
 		// 执行更新语句，注意不要留 super
 		updateStmt.setDouble(1, value.getTemperature());
 		updateStmt.setString(2, value.getId());
 		updateStmt.execute();
 		// 如果刚才 update 语句没有更新，那么插入
 		if (updateStmt.getUpdateCount() == 0) {
 			insertStmt.setString(1, value.getId());
 			insertStmt.setDouble(2, value.getTemperature());
 			insertStmt.execute();
 		}
	 }
	 
 	@Override
 	public void close() throws Exception {
 		insertStmt.close();
 		updateStmt.close();
 		conn.close();
 	}
}

 
  
3）在 main 方法中增加，把明细保存到 mysql 中
 
  
dataStream.addSink(new MyJdbcSink())

 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(大数据,flink)

        

            

                
    
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • ES聚合分析原理与代码实例讲解
                        光剑书架上的书
大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                        
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
    
                    
    • 
                    
  • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    
                    
    • 
                    
  • 免费的GPT可在线直接使用（一键收藏）
                        kkai人工智能
gpt
                        
    1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
    
                    
    • 
                    
  • 如何利用大数据与AI技术革新相亲交友体验
                        h17711347205
回归算法安全系统架构交友小程序
                        
    在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
    
                    
    • 
                    
  • 未来软件市场是怎么样的？做开发的生存空间如何？
                        cesske
软件需求
                        
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
    
                    
    • 
                    
  • Hadoop架构
                        henan程序媛
hadoop大数据分布式
                        
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
    
                    
    • 
                    
  • [转载] NoSQL简介
                        weixin_30325793
大数据数据库运维
                        
    摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
    
                    
    • 
                    
  • Kafka详细解析与应用分析
                        芊言芊语
kafka分布式
                        
    Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
    
                    
    • 
                    
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT)
                        计算机源码社
Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
                        
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
    
                    
    • 
                    
  • 疫情，疫情
                        东山草

                        
    2020年，疫情爆发，至今已近三年，反反复复，此起彼伏。不但没被消灭，还自我发展，从德尔塔到奥密克戎，与时俱进的变异着。去年11月，疫情之下，大数据800米范围内，都成为时空伴随者。“你的码儿有没有变颜色”“你绿码还是黄码”成为那段时间的流行语，当然少不了的还有全员核酸。段子手整出来一首歌：我走过你走过的路,这算不算相逢？我吹过你吹过的风，这算不算相拥？800米内我们不曾擦肩而过，你却要我14天相
    
                    
    • 
                    
  • 在服务器计算节点中使用 jupyter Lab
                        ranshan567
程序人生
                        
    JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
    
                    
    • 
                    
  • 大数据真实面试题---SQL
                        The博宇
大数据面试题——SQL大数据mysqlsql数据库bigdata
                        
    视频号数据分析组外包招聘笔试题时间限时45分钟完成。题目根据3张表表结构，写出具体求解的SQL代码（搞笑品类定义：视频分类或者视频创建者分类为“搞笑”）1、表创建语句：createtablet_user_video_action_d(dsint,user_idstring,video_idstring,action_typeint,`timestamp`bigint)rowformatdelimi
    
                    
    • 
                    
  • Flume：大规模日志收集与数据传输的利器
                        傲雪凌霜，松柏长青
后端大数据flume大数据
                        
    Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
    
                    
    • 
                    
  • 云服务业界动态简报-20180128
                        Captain7

                        
    一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
    
                    
    • 
                    
  • 全面指南：用户行为从前端数据采集到实时处理的最佳实践
                        数字沉思
营销流量运营系统架构前端内容运营大数据
                        
    引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
    
                    
    • 
                    
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
                        2401_84572577
程序员大数据hadoop人工智能
                        
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
    
                    
    • 
                    
  • 架构评审的自动化与人工智能: 如何提高效率
                        光剑书架上的书
架构自动化人工智能运维
                        
    1.背景介绍架构评审是软件开发过程中的一个关键环节，它旨在确保软件架构的质量、可维护性和可扩展性。传统的架构评审通常是由人工进行，需要大量的时间和精力。随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。我们将从以下几个方面进行讨论：背景介绍核心概念与联系核心算法原理和具体操作
    
                    
    • 
                    
  • 【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案
                        数字化建设方案
数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
                        
    原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
    
                    
    • 
                    
  • 80
                        鑫_259b

                        
    科普一个谈恋爱的方法。在以前，谈恋爱千难万难，就难在对对方不知底细，不知道对方希望自己是一个怎样的人，要耗费大量的时间去试探、再磨合，往往会因为一些小事一些细节，满盘皆输。在一个信息化的时代，在一个大数据近乎变成了流行语的时代，我们要跟上时代的步伐，通过大数据，去寻找异性最希望自己展现出来的形象是什么，才可以在爱情的道路上少走弯路。那这个大数据怎么操作呢？上街发问卷？问别人的择偶标准？一来会被打死
    
                    
    • 
                    
  • 解锁企业潜能，Vatee万腾平台引领智能新纪元
                        自媒体经济说
其他
                        
    在数字化转型的浪潮中，企业正站在一个前所未有的十字路口，面对着前所未有的机遇与挑战。解锁企业内在潜能，实现跨越式发展，已成为众多企业的共同追求。而Vatee万腾平台，作为智能科技的先锋，正以其强大的智能赋能能力，引领企业步入一个全新的智能纪元。Vatee万腾平台，是一个集成了人工智能、大数据、云计算等前沿技术的综合性智能服务平台。它不仅仅是一个技术工具，更是企业转型升级的加速器，能够深入企业运营的
    
                    
    • 
                    
  • 释放“AI+”新质生产力，深算院如何“把大数据变小”？
                        YashanDB
YashanDB国产数据库数据库数据库大数据
                        
    近期，南都·湾财社推出《新质·中国造》栏目，深入千行百业，遍访湾区企业，解锁湾区新质生产力，共探高质量发展之道。本期对话深圳计算科学研究院YashanDB首席技术官陈志标，探讨国产数据库如何实现创新突围，抢抓数字经济时代的新机遇。以下是专访内容：如何应对AI时代所面临的算力挑战？南都·湾财社：数据、算力和算法是发展人工智能的三要素，深算院做了怎样的前瞻性布局？陈志标：今年，政府工作报告中首次提及开
    
                    
    • 
                    
  • 数字化智能工厂数字化供应链架构、全景管理、全流程贯通方案
                        数字化建设方案
智能制造数字工厂制造业数字化转型工业互联网架构
                        
    随着信息技术的飞速发展，数字化转型已成为制造企业提升竞争力的关键途径。数字化智能工厂通过集成先进的物联网(IoT)、大数据、云计算、人工智能(AI)等技术，实现了生产过程的智能化、供应链管理的精准化及决策的科学化。本方案旨在构建一套完善的数字化供应链架构，实现全景管理、全流程贯通、智慧化升级，以数据为驱动，强化技术支撑与安全管理体系，推动企业向智能制造迈进。一、数字化供应链架构1.**集成化平台构
    
                    
    • 
                    
  • 日记——我的歌单
                        静若小猴

                        
    又到一年一度大数据汇总的时候了，听歌已经成为很多人生活里的一种乐趣。春夏秋冬，我们都有自己喜欢的歌，歌词歌曲唱出沃尔玛你的心声。还记得大学时候最喜欢听的《春天里》，我有一天单曲回放了30遍，总觉得听着仿佛看到自己声音。还有的歌，初听不知曲中意，再听已经是曲终人，听着歌流泪，听着歌入睡……还记得那些年少的故事吗，总觉得自己才是故事外的人，却不是自己已经入歌。一段时间会喜欢一个人的音乐，一段时间会沉静
    
                    
    • 
                    
  • 详解 Flink 的常见部署方式
                        文刀小桂
Flinkflink大数据
                        
    一、常见部署模式分类1.按是否依赖外部资源调度1.1Standalone模式独立模式(Standalone)是独立运行的，不依赖任何外部的资源管理平台，只需要运行所有Flink组件服务1.2Yarn模式Yarn模式是指客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会在Yarn的NodeManager上创建容器。在这些容器上，Flink
    
                    
    • 
                    
  • Linux dmesg命令：显示开机信息
                        fafadsj666
linux数据库数据挖掘机器学习大数据
                        
    通过学习《Linux启动管理》一章可以知道，在系统启动过程中，内核还会进行一次系统检测（第一次是BIOS进行加测），但是检测的过程不是没有显示在屏幕上，就是会快速的在屏幕上一闪而过那么，如果开机时来不及查看相关信息，我们是否可以在开机后查看呢？答案是肯定的，使用dmesg命令就可以。无论是系统启动过程中，还是系统运行过程中，只要是内核产生的信息，都会被存储在系统缓冲区中，已经为大家精心准备了大数据
    
                    
    • 
                    
  • 大数据新视界 --大数据大厂之揭秘大数据时代 Excel 魔法：大厂数据分析师进阶秘籍
                        青云交
大数据新视界Excel数据分析函数公式数据透视表图表功能规划求解数据分析工具库大数据新视界数据库
                        
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
    
                    
    • 
                    
  • 大数据新视界 --大数据大厂之数据挖掘入门：用 R 语言开启数据宝藏的探索之旅
                        青云交
大数据新视界数据库大数据数据挖掘R语言算法案例未来趋势应用场景学习建议大数据新视界
                        
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
    
                    
    • 
                    
  • 高职人工智能训练师边缘计算实训室解决方案
                        武汉唯众智创
人工智能训练师边缘计算实训室人工智能训练师实训室边缘计算实训室
                        
    一、引言随着物联网（IoT）、大数据、人工智能（AI）等技术的飞速发展，计算需求日益复杂和多样化。传统的云计算模式虽在一定程度上满足了这些需求，但在处理海量数据、保障实时性与安全性、提升计算效率等方面仍面临诸多挑战。在此背景下，边缘计算作为一种新兴的计算模式应运而生，通过将计算能力推向数据生成或用户所在的网络边缘，显著降低了数据传输的延迟，提升了处理效率，并增强了数据安全性。针对高等职业院校的人工
    
                    
    • 
                    
  • python基于django/flask的NBA球员大数据分析与可视化python+java+node.js
                        QQ_511008285
pythondjangoflaskjavaspringboot数据分析
                        
    前端开发框架:vue.js数据库mysql版本不限后端语言框架支持：1java(SSM/springboot)-idea/eclipse2.Nodejs+Vue.js-vscode3.python(flask/django)--pycharm/vscode4.php(thinkphp/laravel)-hbuilderx数据库工具：Navicat/SQLyog等都可以本文针对NBA球员的大数据进行
    
                    
    • 
                                
  • Hadoop(一)
                                    朱辉辉33
hadooplinux
                                    
    今天在诺基亚第一天开始培训大数据，因为之前没接触过Linux，所以这次一起学了，任务量还是蛮大的。 
首先下载安装了Xshell软件，然后公司给了账号密码连接上了河南郑州那边的服务器，接下来开始按照给的资料学习，全英文的，头也不讲解，说锻炼我们的学习能力，然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧. 
   在hdfs下，运行hadoop fs -mkdir /u
    
                                
    • 
                                
  • maven An error occurred while filtering resources
                                    blackproof
maven报错
                                    
    转：http://stackoverflow.com/questions/18145774/eclipse-an-error-occurred-while-filtering-resources 
  
maven报错： 
maven An error occurred while filtering resources 
  
Maven -> Update Proje
    
                                
    • 
                                
  • jdk常用故障排查命令
                                    daysinsun
jvm
                                    
    linux下常见定位命令： 
1、jps      输出Java进程 
      -q       只输出进程ID的名称，省略主类的名称； 
      -m      输出进程启动时传递给main函数的参数； 
    &nb
    
                                
    • 
                                
  • java 位移运算与乘法运算
                                    周凡杨
java位移运算乘法
                                    
      
对于 JAVA 编程中，适当的采用位移运算，会减少代码的运行时间，提高项目的运行效率。这个可以从一道面试题说起：  
   
   问题：  
用最有效率的方法算出2   乘以8   等於几?”        
答案：2 << 3    
由此就引发了我的思考，为什么位移运算会比乘法运算更快呢？其实简单的想想，计算机的内存是用由 0 和 1 组成的二
    
                                
    • 
                                
  • java中的枚举(enmu)
                                    g21121
java
                                    
    从jdk1.5开始，java增加了enum(枚举)这个类型，但是大家在平时运用中还是比较少用到枚举的，而且很多人和我一样对枚举一知半解，下面就跟大家一起学习下enmu枚举。先看一个最简单的枚举类型，一个返回类型的枚举： 
public enum ResultType {
	
	/**
	 * 成功
	 */
	SUCCESS,
	/**
	 * 失败
	 */
	FAIL,
	
    
                                
    • 
                                
  • MQ初级学习
                                    510888780
activemq
                                    
    1.下载ActiveMQ 
去官方网站下载：http://activemq.apache.org/ 
 
2.运行ActiveMQ 
解压缩apache-activemq-5.9.0-bin.zip到C盘，然后双击apache-activemq-5.9.0-\bin\activemq-admin.bat运行ActiveMQ程序。 
 
启动ActiveMQ以后，登陆：http://localhos
    
                                
    • 
                                
  • Spring_Transactional_Propagation
                                    布衣凌宇
springtransactional
                                    
    //事务传播属性 
@Transactional(propagation=Propagation.REQUIRED)//如果有事务，那么加入事务，没有的话新创建一个 
@Transactional(propagation=Propagation.NOT_SUPPORTED)//这个方法不开启事务 
@Transactional(propagation=Propagation.REQUIREDS_N
    
                                
    • 
                                
  • 我的spring学习笔记12-idref与ref的区别
                                    aijuans
spring
                                    
    idref用来将容器内其他bean的id传给<constructor-arg>/<property>元素，同时提供错误验证功能。例如： 
 
<bean id ="theTargetBean" class="..." />
<bean id ="theClientBean" class=&quo
    
                                
    • 
                                
  • Jqplot之折线图
                                    antlove
jsjqueryWebtimeseriesjqplot
                                    
    timeseriesChart.html 
<script type="text/javascript" src="jslib/jquery.min.js"></script>  
<script type="text/javascript" src="jslib/excanvas.min.js&
    
                                
    • 
                                
  • JDBC中事务处理应用
                                    百合不是茶
javaJDBC编程事务控制语句
                                    
      
解释事务的概念; 事务控制是sql语句中的核心之一;事务控制的作用就是保证数据的正常执行与异常之后可以恢复 
  
事务常用命令: 
            Commit提交 
        
    
                                
    • 
                                
  • [转]ConcurrentHashMap Collections.synchronizedMap和Hashtable讨论
                                    bijian1013
java多线程线程安全HashMap
                                    
    在Java类库中出现的第一个关联的集合类是Hashtable，它是JDK1.0的一部分。 Hashtable提供了一种易于使用的、线程安全的、关联的map功能，这当然也是方便的。然而，线程安全性是凭代价换来的――Hashtable的所有方法都是同步的。此时，无竞争的同步会导致可观的性能代价。Hashtable的后继者HashMap是作为JDK1.2中的集合框架的一部分出现的，它通过提供一个不同步的
    
                                
    • 
                                
  • ng-if与ng-show、ng-hide指令的区别和注意事项
                                    bijian1013
JavaScriptAngularJS
                                    
            angularJS中的ng-show、ng-hide、ng-if指令都可以用来控制dom元素的显示或隐藏。ng-show和ng-hide根据所给表达式的值来显示或隐藏HTML元素。当赋值给ng-show指令的值为false时元素会被隐藏，值为true时元素会显示。ng-hide功能类似，使用方式相反。元素的显示或
    
                                
    • 
                                
  • 【持久化框架MyBatis3七】MyBatis3定义typeHandler
                                    bit1129
TypeHandler
                                    
    什么是typeHandler? 
typeHandler用于将某个类型的数据映射到表的某一列上，以完成MyBatis列跟某个属性的映射 
  内置typeHandler 
MyBatis内置了很多typeHandler，这写typeHandler通过org.apache.ibatis.type.TypeHandlerRegistry进行注册，比如对于日期型数据的typeHandler， 
    
                                
    • 
                                
  • 上传下载文件rz,sz命令
                                    bitcarter
linux命令rz
                                    
    刚开始使用rz上传和sz下载命令： 
因为我们是通过secureCRT终端工具进行使用的所以会有上传下载这样的需求： 
 
我遇到的问题： 
sz下载A文件10M左右，没有问题 
但是将这个文件A再传到另一天服务器上时就出现传不上去，甚至出现乱码，死掉现象，具体问题 
 
解决方法： 
上传命令改为;rz -ybe 
下载命令改为：sz -be filename 
 
如果还是有问题： 
那就是文
    
                                
    • 
                                
  • 通过ngx-lua来统计nginx上的虚拟主机性能数据
                                    ronin47
ngx-lua　统计 解禁ip
                                    
    介绍 
以前我们为nginx做统计,都是通过对日志的分析来完成.比较麻烦,现在基于ngx_lua插件,开发了实时统计站点状态的脚本,解放生产力.项目主页: https://github.com/skyeydemon/ngx-lua-stats 功能 
 
 支持分不同虚拟主机统计, 同一个虚拟主机下可以分不同的location统计. 
 可以统计与query-times request-time 
    
                                
    • 
                                
  • java-68-把数组排成最小的数。一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的。例如输入数组{32, 321}，则输出32132
                                    bylijinnan
java
                                    
    
import java.util.Arrays;
import java.util.Comparator;

public class MinNumFromIntArray {

	/**
	 * Q68输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。
	 * 例如输入数组{32,  321}，则输出这两个能排成的最小数字32132。请给出解决问题
    
                                
    • 
                                
  • Oracle基本操作
                                    ccii
Oracle SQL总结Oracle SQL语法Oracle基本操作Oracle SQL
                                    
    一、表操作 
 
1. 常用数据类型 
NUMBER(p,s)：可变长度的数字。p表示整数加小数的最大位数，s为最大小数位数。支持最大精度为38位 
NVARCHAR2(size)：变长字符串，最大长度为4000字节（以字符数为单位） 
VARCHAR2(size)：变长字符串，最大长度为4000字节（以字节数为单位） 
CHAR(size)：定长字符串，最大长度为2000字节，最小为1字节，默认
    
                                
    • 
                                
  • [强人工智能]实现强人工智能的路线图
                                    comsci
人工智能
                                    
     
    1：创建一个用于记录拓扑网络连接的矩阵数据表 
     2:自动构造或者人工复制一个包含10万个连接(1000*1000)的流程图 
     3：将这个流程图导入到矩阵数据表中 
     4：在矩阵的每个有意义的节点中嵌入一段简单的
    
                                
    • 
                                
  • 给Tomcat，Apache配置gzip压缩(HTTP压缩)功能
                                    cwqcwqmax9
apache
                                    
    背景： 
HTTP 压缩可以大大提高浏览网站的速度，它的原理是，在客户端请求网页后，从服务器端将网页文件压缩，再下载到客户端，由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , Text ，它可以节省40%左右的流量。更为重要的是，它可以对动态生成的，包括CGI、PHP , JSP , ASP , Servlet,SHTML等输出的网页也能进行压缩，
    
                                
    • 
                                
  • SpringMVC and Struts2
                                    dashuaifu
struts2springMVC
                                    
    SpringMVC  VS Struts2

1:
spring3开发效率高于struts
2:
spring3 mvc可以认为已经100%零配置
3:
struts2是类级别的拦截， 一个类对应一个request上下文，
springmvc是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应
所以说从架构本身上 spring3 mvc就容易实现r
    
                                
    • 
                                
  • windows常用命令行命令
                                    dcj3sjt126com
windowscmdcommand
                                    
    在windows系统中，点击开始－运行，可以直接输入命令行，快速打开一些原本需要多次点击图标才能打开的界面，如常用的输入cmd打开dos命令行，输入taskmgr打开任务管理器。此处列出了网上搜集到的一些常用命令。winver 检查windows版本 wmimgmt.msc 打开windows管理体系结构(wmi) wupdmgr windows更新程序 wscrip
    
                                
    • 
                                
  • 再看知名应用背后的第三方开源项目
                                    dcj3sjt126com
ios
                                    
    知名应用程序的设计和技术一直都是开发者需要学习的，同样这些应用所使用的开源框架也是不可忽视的一部分。此前《 
iOS第三方开源库的吐槽和备忘》中作者ibireme列举了国内多款知名应用所使用的开源框架，并对其中一些框架进行了分析，同样国外开发者 
@iOSCowboy也在博客中给我们列出了国外多款知名应用使用的开源框架。另外txx's blog中详细介绍了 
Facebook Paper使用的第三
    
                                
    • 
                                
  • Objective-c单例模式的正确写法
                                    jsntghf
单例iosiPhone
                                    
    一般情况下，可能我们写的单例模式是这样的： 
#import <Foundation/Foundation.h>

@interface Downloader : NSObject

+ (instancetype)sharedDownloader;

@end


#import "Downloader.h"

@implementation
    
                                
    • 
                                
  • jquery easyui datagrid 加载成功，选中某一行
                                    hae
jqueryeasyuidatagrid数据加载
                                    
    1.首先你需要设置datagrid的onLoadSuccess   
$( 
'#dg' 
).datagrid({onLoadSuccess :  
function 
(data){   
     
$( 
'#dg' 
).datagrid( 
'selectRow' 
,3);   
}});       
2.onL
    
                                
    • 
                                
  • jQuery用户数字打分评价效果
                                    ini
JavaScripthtmljqueryWebcss
                                    
    效果体验：http://hovertree.com/texiao/jquery/5.htmHTML文件代码： 
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>jQuery用户数字打分评分代码 - HoverTree</
    
                                
    • 
                                
  • mybatis的paramType
                                    kerryg
DAOsql
                                    
    MyBatis传多个参数： 
1、采用#{0},#{1}获得参数： 
   Dao层函数方法： 
    public User selectUser(String name,String area); 
 对应的Mapper.xml 
   <select id="selectUser" result
    
                                
    • 
                                
  • centos 7安装mysql5.5
                                    MrLee23
centos
                                    
    首先centos7 已经不支持mysql，因为收费了你懂得，所以内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb，以下为卸载mariadb，安装mysql的步骤。 
  
#列出所有被安装的rpm package rpm -qa | grep mariadb 
  
#卸载 
rpm -e mariadb-libs-5.
    
                                
    • 
                                
  • 利用thrift来实现消息群发
                                    qifeifei
thrift
                                    
               Thrift项目一般用来做内部项目接偶用的，还有能跨不同语言的功能，非常方便，一般前端系统和后台server线上都是3个节点，然后前端通过获取client来访问后台server，那么如果是多太server，就是有一个负载均衡的方法，然后最后访问其中一个节点。那么换个思路，能不能发送给所有节点的server呢，如果能就
    
                                
    • 
                                
  • 实现一个sizeof获取Java对象大小
                                    teasp
javaHotSpot内存对象大小sizeof
                                    
       由于Java的设计者不想让程序员管理和了解内存的使用，我们想要知道一个对象在内存中的大小变得比较困难了。本文提供了可以获取对象的大小的方法，但是由于各个虚拟机在内存使用上可能存在不同，因此该方法不能在各虚拟机上都适用，而是仅在hotspot 32位虚拟机上，或者其它内存管理方式与hotspot 32位虚拟机相同的虚拟机上 适用。 
  
  
    
                                
    • 
                                
  • SVN错误及处理
                                    xiangqian0505
SVN提交文件时服务器强行关闭
                                    
    在SVN服务控制台打开资源库“SVN无法读取current” ---摘自网络 写道   SVN无法读取current修复方法 Can't read file : End of file found 
 
文件：repository/db/txn_current、repository/db/current 
  
其中current记录当前最新版本号，txn_current记录版本库中版本
    
                                
    •