public class CommonConfig {
/**
* kafka服务地址
*/
public final static String BOOTSTRAP_SERVERS="";
/**
* 目标topic
*/
public final static String SOURCE_TOPIC="";
public final static String TARGET_TOPIC="";
/**
* 应用名称
*/
public final static String APP_NAME="";
/**
* 状态后端保存地址
*/
public final static String STATE_BACKEND_PATH="hdfs://master1:8020/checkpoint";
}
KafkaConsumerUtil
public class KafkaConsumerUtil {
static String BOOTSTRAP_SERVERS = CommonConfig.BOOTSTRAP_SERVERS;
public static FlinkKafkaConsumer getKafkaConsumer(String topic, String groupId) {
Properties prop = new Properties();
prop.setProperty("bootstrap.servers", BOOTSTRAP_SERVERS);
prop.setProperty(ConsumerConfig.GROUP_ID_CONFIG, groupId);
prop.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");
FlinkKafkaConsumer consumer = new FlinkKafkaConsumer<>(topic,
//由于默认的解码器，如果字符串为空的时候他会保存，所以自定义一个
new KafkaDeserializationSchema() {
@Override
public boolean isEndOfStream(String nextElement) {
return false;
}
@Override
public String deserialize(ConsumerRecord record) throws Exception {
if(record == null || record.value() == null) {
return "";
}
return new String(record.value(),"UTF-8");
}
@Override
public TypeInformation getProducedType() {
return BasicTypeInfo.STRING_TYPE_INFO;
}
}, prop);
return consumer;
}
}
KafkaProductUtil
public class KafkaProductUtil {
public static FlinkKafkaProducer getKafkaProduct(String targetTopic) {
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", CommonConfig.BOOTSTRAP_SERVERS);
/**
* 这里的作用是如果flink的checkpoint的时间小于事物的时间，就会失败，所以要设置时间要大于等于flink的checkpoint的时间
*/
properties.setProperty(ProducerConfig.TRANSACTION_TIMEOUT_CONFIG, 60 * 15 * 1000 + "");
KafkaSerializationSchema serializationSchema = new KafkaSerializationSchema() {
@Override
public ProducerRecord serialize(String element, @Nullable Long timestamp) {
return new ProducerRecord<>(
targetTopic, // target topic
element.getBytes(StandardCharsets.UTF_8)); // record contents
}
};
FlinkKafkaProducer myProducer = new FlinkKafkaProducer<>(
targetTopic, // target topic
serializationSchema, // serialization schema
properties, // producer config
FlinkKafkaProducer.Semantic.EXACTLY_ONCE); // fault-tolerance
return myProducer;
}
}
FlinkMessageUnique
public class FlinkMessageUnique {
private final static String GROUP_ID= FlinkMessageUnique.class.getSimpleName();
public static void main(String[] args) throws Exception {
// TODO 配置本地flink ui
// Configuration configuration = new Configuration();
// configuration.setInteger(RestOptions.PORT, 8082);
// StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(configuration);
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//这里和kafka的分区保持一致
env.setParallelism(1);
// TODO 1. 状态后端设置
env.enableCheckpointing(3000L, CheckpointingMode.EXACTLY_ONCE);
//检查点超时时间
env.getCheckpointConfig().setCheckpointTimeout(60 * 1000L);
//两次检查点最小间隔时间，就是第一次检查点完成以后，最少经过3s钟开始检查点
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);
env.getCheckpointConfig().enableExternalizedCheckpoints(
// ExternalizedCheckpointCleanup用于指定当job canceled的时候externalized checkpoint该如何清理
// DELETE_ON_CANCELLATION的话，在job canceled的时候会自动删除externalized state
// RETAIN_ON_CANCELLATION则在job canceled的时候会保留externalized checkpoint state
CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION
);
env.setRestartStrategy(RestartStrategies.failureRateRestart(
// 设置任务失败重启 允许任务失败最大次数 10次
10,
// 任务失败的时间启动的间隔
Time.of(1L, TimeUnit.MINUTES),
// 允许任务延迟时间
Time.of(3L, TimeUnit.MINUTES)
));
//设置状态后端
// 此处也可以是HDFS路径，这里为了测试方便，所以使用的是本地路径
env.setStateBackend(new RocksDBStateBackend(CommonConfig.STATE_BACKEND_PATH, true));
// env.setStateBackend(new RocksDBStateBackend("hdfs://master1:8020/fink-checkpoints", true));
// env.getCheckpointConfig().setCheckpointStorage("hdfs://master1:8020/bigdata/ck");
System.setProperty("HADOOP_USER_NAME", "bigdata");
DataStreamSource data = env.addSource(KafkaConsumerUtil.getKafkaConsumer(CommonConfig.SOURCE_TOPIC, GROUP_ID));
//TODO 使用布隆过滤器进行数据过滤
SingleOutputStreamOperator datadata = data.keyBy(new KeySelector() {
@Override
public String getKey(String s) throws Exception {
return "key";
}
}).process(new KeyedProcessFunction() {
private transient ValueState uniqueCount;
@Override
public void open(Configuration parameters) throws Exception {
ValueStateDescriptor descriptor =
new ValueStateDescriptor<>(
"uniqueCount", // the state name
TypeInformation.of(new TypeHint() {}), // type information
new Integer(0)); // default value of the state, if nothing was set
uniqueCount = getRuntimeContext().getState(descriptor);
}
@Override
public void processElement(String s, Context context, Collector collector) throws Exception {
Integer count = uniqueCount.value();
if(count==0){
collector.collect(s);
uniqueCount.update(1);
}
}
//这里作用主要是方便容错
}).uid("process_unique_count");
//去重复以后写回kafka主题
datadata.addSink(KafkaProductUtil.getKafkaProduct(CommonConfig.TARGET_TOPIC));
env.execute(CommonConfig.APP_NAME);
}
}
#!/bin/bash
address="192.168.150.128:6666,192.168.150.128:6666"
hosts=(${address//,/ })
sfile="staticts.log"
for hostitem in ${hosts[@]}
do
ipport=(${hostitem
提高代码质量的插件1. FindBugsFindBugs可以帮你找到Java代码中的bug，它使用Lesser GNU Public License的自由软件许可。2. CheckstyleCheckstyle插件可以集成到Eclipse IDE中去，能确保Java代码遵循标准代码样式。3. ECLemmaECLemma是一款拥有Eclipse Public License许可的免费工具，它提供了
一、对分组的记录取前N条记录：例如：取每组的前3条最大的记录 1.用子查询： SELECT * FROM tableName a WHERE 3> (SELECT COUNT(*) FROM tableName b WHERE b.id=a.id AND b.cnt>a. cnt) ORDER BY a.id,a.account DE
HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP，使HTTP客户（如Web浏览器）能够从HTTP服务器(Web服务器)请求信息和服务，HTTP目前协议的版本是1.1.HTTP是一种无状态的协议，无状态是指Web浏览器和Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后We
感谢http://www.w3school.com.cn提供的资料
HTML 文档中的每个成分都是一个节点。
节点
根据 DOM，HTML 文档中的每个成分都是一个节点。
DOM 是这样规定的：
整个文档是一个文档节点
每个 HTML 标签是一个元素节点
包含在 HTML 元素中的文本是文本节点
每一个 HTML 属性是一个属性节点
注释属于注释节点
Node 层次
var formData = new FormData($("#inputFileForm")[0]);
$.ajax({
type:'post',
url:webRoot+"/electronicContractUrl/webapp/uploadfile",
data:formData,
async: false,
ca
