E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
java后端kafka
Flink实时数仓项目—DWD层设计与实现
Flink实时数仓项目—DWD层设计与实现前言一、功能三:订单宽表1.需求描述2.需求分析3.思路分析与代码实现3.1实体类的创建3.2读取
Kafka
订单数据和订单明细数据3.3双流Join—关联事实表
自学大数据的菜鸡
·
2023-11-23 07:17
大数据项目
Flink
实时数仓
大数据
数据仓库
flink
实时数仓维度关联的旁路缓存与异步IO
因此Hbase的读数据速度就不能满足时效性要求,上游
kafka
数据发送过多而下游处理时间不够导致flink反压机制触发,任务处于亚健康状态。
菜鸟一枚7
·
2023-11-23 07:16
缓存
数据库
redis
Flink实时数仓完结
github.com/GTyingzi/Flink_DemoGitee地址:https://gitee.com/gtcs/Flink-Demo主要框架版本选型框架版本Hadoop3.13Zookeeper3.5.7
Kafka
2.4.1HB
未来影子
·
2023-11-23 07:09
Flink
大数据项目
flink
kafka
大数据
Java应用beanstalkd消息队列
如果是用
Kafka
的话,消息一发回队列,马上就消费,然而这时候还是获取不到锁,进入死循环了,影响性能。考虑把这些消息给存起来,但又很繁琐。
Balalalalalalalala
·
2023-11-23 07:36
mq
beanstalkd
Java
mq
分布式锁
软考-系统架构设计师-大数据架构设计理论与实践-练习题3
图22.10解析根据题目给出的架构图可发现,该产品通过Collector收集结构化数据推送给主
Kafka
。
shumeizwb
·
2023-11-23 06:04
软考-系统架构设计师
软考
系统架构设计师
Lambda架构
Kafka
使用场景
消息队列
Kafka
作为一个传统的消息代理的替代品表现得非常出色。使用消息代理有各种各样的原因(将处理与数据生成器解耦,缓冲未处理的消息,等等)。
从大数据到人工智能
·
2023-11-23 06:20
【
Kafka
】Java整合
Kafka
1.引入依赖org.apache.
kafka
kafka
-clients2.3.12.搭建生产者packagecom.wen.
kafka
;importorg.apache.
kafka
.clients.producer
key<
·
2023-11-23 06:15
kafka
java
linq
4
kafka
整合Springboot
本部分来演示一下
kafka
整合Springboot,先建了一个模块
kafka
-springboot,项目的pom.xml文件的内容如下:<projectxmlns="http://maven.apache.org
dream21st
·
2023-11-23 06:44
kafka学习笔记
java
kafka
springboot
SpringBoot整合
kafka
在SpringBoot官方对
kafka
的依赖没有使用starter,而是spring-
kafka
,如下:pom.xmlorg.springframework.bootspring-boot-starter-parent2.4.24.0.0
kafka
88org.springframework.
kafka
spring-
kafka
org.springframework.bootspring-boot-s
terrybg
·
2023-11-23 06:44
kafka
SpringBoot
kafka
spring
boot
java
【
Kafka
】SpringBoot整合
Kafka
1.引入依赖org.springframework.
kafka
spring-
kafka
2.配置参数server:port:8080spring:
kafka
:bootstrap-servers:101.34.251.168
key<
·
2023-11-23 06:35
kafka
spring
boot
linq
Canal配置多个实例以及将Mysql指定表的binlog导入指定的
Kafka
的Topic
Canal配置多个实例以及将Mysql指定表的binlog导入指定的
Kafka
的Topic进入Canal的conf目录复制模板配置文件cp-rexample/Ordercp-rexample/Orderdetail
坤坤不爱吃鱼
·
2023-11-23 05:03
大数据
kafka
mysql
java
canal
解决前端不是下载而是预览的问题
java后端
解决这就是Content-Disposition设置的问题设置为inline,如果浏览器支持该文件类型的预览,就会打开预览,而不是下载:response.setHeader("Content-Disposition
Restart白蓝
·
2023-11-23 05:46
大数据Doris(二十七):Routine Load数据导入演示
文章目录RoutineLoad数据导入演示一、启动
kafka
集群(三台节点都启动)二、创建topic
Lansonli
·
2023-11-23 04:33
大数据OLAP技术体系
大数据
Doris
Java Fasn 带您谈谈——开源、闭源
热爱国学的
Java后端
开发者,修心和技术同步精进。个人主页:JavaFans的博客个人信条:不迁怒,不贰过。小知识,大智慧。
Java Fans
·
2023-11-23 03:48
CSDN活动专栏
开源
prometheus+grafana 搭建企业级监控系统(二)micrometer自定义监控spring boot 指定接口指标等指标
前言:之前我们之前一的文章,我们可以监控各种软件,不如mysql,redis,canal,
Kafka
等,然后去https://grafana.com/grafana/dashboards找各种模板显示,
shrek11
·
2023-11-23 03:01
高级运维
大数据
prometheus
grafana
监控类
Kafka
和Redis性能对比
Kafka
和Redis性能对比能力关于卡夫卡
Kafka
是一种分布式,分区和复制的提交日志服务,它提供消息传递功能以及独特的设计。我们可以在日志聚合过程中使用此功能。
yql987
·
2023-11-23 01:51
技术
redis
kafka
Kafka
Connect JNDI注入漏洞复现(CVE-2023-25194)
漏洞原理pache
Kafka
Connect中存在JNDI注入漏洞,当攻击者可访问
Kafka
ConnectWorker,且可以创建或修改连接器时,通过设置sasl.jaas.config属性为com.sun.security.auth.module.JndiLoginModule
zxl2605
·
2023-11-22 22:03
kafka
分布式
KAFKA
事务和偏移量提交
KAFKA
事务和偏移量提交生产者是线程安全的,跨线程共享单个生成器实例通常比拥有多个实例更快。
星空爱分享
·
2023-11-22 21:23
kafka
大数据
RabbitMQ,RocketMQ,
Kafka
事务性消息顺序性和消息重复发送的处理策略
文章目录消息队列常见问题处理分布式事务什么是分布式事务常见的分布式事务解决方案基于MQ实现的分布式事务RocketMQ中如何处理事务
Kafka
中如何处理事务RabbitMQ中的事务消息防丢失生产阶段防止消息丢失存储阶段消费阶段消息重复发送消息的顺序性消息队列常见问题处理分布式事务什么是分布式事务我们的服务器从单机发展到拥有多台机器的分布式系统
程序源日志
·
2023-11-22 21:11
Java
java-rabbitmq
java-rocketmq
rabbitmq
全网最全原理讲解!dockerbuild慢
并发编程、设计模式、Spring全家桶、Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、MongoDB、Redis、MySQL、RabbitMQ、
Kafka
安卓三大爷
·
2023-11-22 19:24
程序员
面试
后端
java
SpringBoot集成RocketMQ之模版方法模式
相比于
Kafka
、Rabbitmq等其他消息中间件,RocketMQ有很多优势特性,这里就不一一介绍了,可以去官网上查看各种mq的优劣对比。
relax.cg
·
2023-11-22 17:15
RocketMQ
spring
boot
spring
boot
rocketmq
Sylph平台自定义数据源hdfs数据源
Sylph地址:https://github.com/harbby/sylph/以下开发基于Sylph0.5.0版本开发目标:由于当前Sylph提供的数据流接入类型仅有
kafka
及一个test类型,希望可以支持从
cherishpf
·
2023-11-22 14:24
Kafka
成长记5:Producer 消息的初步序列化和分区路由源码原理
file
Kafka
成长记的前4节我们通过
Kafka
ProducerHelloWorld分析了Producer配置解析、组件组成、元数据拉取原理。
_程序员成长记
·
2023-11-22 14:43
使用
kafka
_exporter监控
Kafka
prometheus监控
kafka
常见的有两种开源方案,一种是传统的部署exporter的方式,一种是通过jmx配置监控,项目地址:
kafka
_exporter:https://github.com/danielqsj
跟着大数据和AI去旅行
·
2023-11-22 13:13
大数据企业级实战
kafka
zk集群+
Kafka
集群搭建,开启
kafka
-manager控制台
去官网下载zk和
kafka
https://zookeeper.apache.org/releases.html#downloadhttp://
kafka
.apache.org/downloads三体服务器
Source_
·
2023-11-22 10:33
Docker搭建
kafka
和zookpeer练手案例
Docker搭建
kafka
和zookpeerDockerzookpeer
kafka
Kafka
中的术语解释4.1概述4.2broker4.3Topic4.3Partition4.4Producer4.5Consumer4.6ConsumerGroup4.7Leader4.8Follower4.9docker
废弃的root
·
2023-11-22 10:06
My服务器搭建
docker
kafka
Kafka
-Producer
1、生产者从编程的角度而言,生产者是一个消息的生产者,它负责创建消息并发送到
Kafka
集群中的一个或多个topic中。
七七r
·
2023-11-22 10:30
kafka
linq
分布式
CMAK
Kafka
可视化管理工具
CMAK简介为了简化开发者和服务工程师维护
Kafka
集群的工作,yahoo构建了一个叫做
Kafka
管理器的基于Web工具,叫做CMAK(原名
Kafka
Manager)。
跟着大数据和AI去旅行
·
2023-11-22 10:00
大数据企业级实战
kafka
flink连接
kafka
报错
问题描述:通过本地idea方式连接
kafka
,报如下错误:可能原因:本地程序会查询本地配置,看是否存在ip映射,可能是本地ip映射不存在,导致连接
kafka
失败。
是爱学习的编程大白哦
·
2023-11-22 09:43
kafka
flink
分布式
sparkstream消费
kafka
序列化报错
本篇介绍在window运行环境下,使用spark消费
kafka
数据遇到的几个坑。。
小爽123
·
2023-11-22 09:12
大数据
spark
kafka
大数据
kafka
2.8.0源码编译报错
一、编译的准备工作编译
kafka
源码需要以下几个环境1、jdk1.82、scala3、gradle4、
kafka
包现在
kafka
的最新版为2.8.0,gradle最新版为7.0,scala2.13.5,
小飞侠fly
·
2023-11-22 09:12
其他
kafka
【
Kafka
】
kafka
偶然报错 NotLeaderForPartitionException
文章目录1.背景1.背景本地启动的
kafka
,想消费一下,然后报错如下,没有复现[lcc@lcc~/soft/
kafka
/
kafka
_2.11-0.10.0.0]
九师兄
·
2023-11-22 09:11
大数据-kafka
kafka
go 链接
kafka
报错解决
报错错误:producerclose,err:
kafka
:clienthasrunoutofavailablebrokerstotalkto(Isyourclusterreachable?)
jj吉吉国王
·
2023-11-22 09:11
Go相关
gopacket
kafka
kafka
分布式
Kafka
启动报错 AccessDeniedException
Kafka
启动报错AccessDeniedException今天在本地电脑window环境上下载
kafka
,启动zookeeper正常,启动
kafka
时报:java.nio.file.AccessDeniedException
nangong5566
·
2023-11-22 09:41
kafka
java
kafka
连接zookeeper报错
启动
kafka
连接zookeeper的时候报如下错:[root@localhost
kafka
_2.11-2.2.0]#bin/
kafka
-topics.sh--create--zookeeperlocalhost
依着风睡_hcg
·
2023-11-22 09:07
CDH6.2.1 集群在线安装
kafka
和 brokerid报错 以及 连接超时报错 总结
进入clouderamanager点击添加服选择
kafka
然后点击选择主机本教程选择了三台机器点击继续进入ReviewChanges页面配置zookeeper的目录配置JavaHelpSizeofBroker
安心做个小废物
·
2023-11-22 09:35
hadoop
python
kafka
python
kafka
大数据
linux
java
kafka
本地安装报错
#打开bin/
kafka
-run-class.sh
KAFKA
_JVM_PERFORMANCE_OPTS=“-server-XX:+UseG1GC-XX:MaxGCPauseMillis=20-XX:InitiatingHe
潇湘梦
·
2023-11-22 09:33
kafka
分布式
Flink使用指南:状态计算完全搞懂了,你就是大佬!
Flink使用指南:
Kafka
流表关联HBase维度表Flink使用指南:Watermark新版本使用Flink使用指南:FlinkSQL自定义函数目录系列文章目录前言一、Checkpoint机制如何开启
XuTengRui
·
2023-11-22 09:46
Flink
java
flink
spark
Flink使用指南:Flink SQL聚合场景下的优化方案,一定要收藏!
Flink使用指南:
Kafka
流表关联HBase维度表Flink使用指南:Waterm
XuTengRui
·
2023-11-22 09:46
Flink
flink
实时计算
大数据
二百零七、Flume——Flume实时采集5分钟频率的
Kafka
数据直接写入ODS层表的HDFS文件路径下
一、目的在离线数仓中,需要用Flume去采集
Kafka
中的数据,然后写入HDFS中。由于每种数据类型的频率、数据大小、数据规模不同,因此每种数据的采集需要不同的Flume配置文件。
天地风雷水火山泽
·
2023-11-22 09:15
Flume
flume
kafka
hdfs
Flink Operator 使用指南 之 全局配置
的运行日志情况,当然这可以通过修改Flink-OperatorPOD的文件实现卷挂载的形势将日志输出到宿主机器的指定目录下,但是这种办法对数据中台的产品不是特别友好,因此我们需要将Operator服务的日志输出到
Kafka
Appender
麦田里的守望者·
·
2023-11-22 09:45
Flink实时计算
flink
大数据
flink-cdc,clickhouse写入,多路输出
1、场景
kafka
日志数据从
kafka
读取1、关联字典表:完善日志数据2、判断日志内容级别:多路输出低级:入clickhouse高级:入clickhouse的同时推送到
kafka
供2次数据流程处理。
qzWsong
·
2023-11-22 06:18
flink
大数据
Doris系列之动态分区操作
Doris系列注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,PythonJavaScalaSQL代码,CVNLP推荐系统等,SparkFlink
Kafka
HbaseHiveFlume
陈万君Allen
·
2023-11-22 05:32
Java和大数据
大数据
数据库
Redis常用的八种场景
作为一名
Java后端
人员,对Redis肯定并不陌生,Redis作为一种内存数据库,以其速度之快在编程的舞台上纵横多年,那么,Redis到底适合哪些业务场景?今天就来聊一聊。
冲浪中台
·
2023-11-22 05:30
redis
数据库
缓存
数据治理入门
处理模式模式名称常见场景常见框架批处理夜间几个小时,无人值守hivesparkdatax流处理7*24H一直运行,无人值守maxwell,flink,flume,
kafka
即席处理人机交互接口访问web
十七✧ᐦ̤
·
2023-11-22 04:36
数据仓库
大数据
nginx日志采集到ClickHouse
流程nignx日志(json)–>filebeat–>
kafka
–>clickhouse–>grafananginx日志转jsonlog_formatjson'{"access_time":"$time_iso8601
运维知多少
·
2023-11-22 04:32
linux
nginx
java
运维
使用JMX监控ZooKeeper和
Kafka
JVM默认会通过JMX的方式暴露基础指标,很多中间件也会通过JMX的方式暴露业务指标,比如
Kafka
、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等。
跟着大数据和AI去旅行
·
2023-11-22 01:34
大数据企业级实战
zookeeper
kafka
JMX
Linux中Cache内存占用过高清理
后来发现都被Cache占用了,因为服务器上运行了
Kafka
环境,每周的日志文件都有一二百G的,估计就是他占用了pagecache吧。
岑吾
·
2023-11-22 00:48
RabbitMQ消息队列快速入门
技术选型目比较常见的MQ实现有:ActiveMQRabbitMQRocketMQ
Kafka
Ra
积雨辋川
·
2023-11-21 23:47
Java
rabbitmq
UI for Apache
Kafka
文章OverviewofUIToolsforMonitoringandManagementofApache
Kafka
Clusters|byGermanOsin|TowardsDataScience中介绍了
跟着大数据和AI去旅行
·
2023-11-21 23:20
大数据企业级实战
ui
kafka
上一页
58
59
60
61
62
63
64
65
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他