E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka单机集群部署
淘宝海量数据库OceanBase:系统架构详解
无论从数据量还是访问量,OceanBase不再能够是一个
单机
系统,即使一台
单机
能服务高达几个TB的数据、提供几万QPS的服务能力,因此,分布式系统不可避免,然而,内部如何实现拆表(拆库)以及如何实现数据库的事务
weixin_34356555
·
2024-09-10 22:47
数据库
系统架构
大数据
SQLite数据库管理与Android应用集成
本文还有配套的精品资源,点击获取简介:SQLite是一种轻量级的关系型数据库,适用于移动设备和
单机
应用。它内置了对SQL标准的支持,并提供丰富的数据操作功能。
含老司开挖掘机
·
2024-09-10 20:08
Deepspeed 结合huggingface Trainer实现多机分布式训练
目前工作中只使用了
单机
多卡做微调训练,为了提升训练效率,特实验多机多卡分布式训练。
ningzhao
·
2024-09-10 17:38
分布式
dolphinscheduler独立
集群部署
文档(海豚调度)
一、下载解压服务器内下载(华为云镜像站网址):wgethttps://mirrors.huaweicloud.com/apache/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz解压:tar-xvfapache-dolphinscheduler-3.2.0-bin.tar.gz改名:mvapache-dolphinsc
灰太狼!!
·
2024-09-10 16:30
数仓开发
资源调度
scheduler
flink独立
集群部署
#flink独立
集群部署
说明安装环境三台服务器47.106.23.1(master)47.112.173.2(worker1)47.115.162.3(worker1)提前装好jdk和ssh,以下操作最好不要用
嘎子吱吱吱吱
·
2024-09-10 16:28
flink
hadoop
linux
ZK springboot整合zookeeper
RELEASEprettyZoo2.0zookeeper可视化工具zookeeper可视化工具下载springboot-zookeeper-demo源码下载2zookeeper安装需要安装zookeeper,如果未安装,可参考博文:ZKzookeeper
单机
安装与配置
小P聊技术
·
2024-09-10 15:47
python调用rocketmq的api_Python:Rocketmq消息队列使用
rocketmq可以与
kafka
等一起使用,用于实时消息处理。
weixin_39914868
·
2024-09-10 11:35
p2p网络,无边宇宙中的璀璨星河
那时候有很多
单机
游戏下载站,网速慢如蜗牛,一个G的游戏要下一天。后来,BT下载横空出世,小伙伴被BT下载的速度彻底震惊了,纷纷抛弃迅雷,安装上比特精灵,电驴之类的下载软件。
weixin_33690367
·
2024-09-10 11:35
Kafka
2.8.0集群安装教程
Kafka
2.8.0集群安装教程准备工作node01~node04(四个节点机器,三台也可以),
kafka
安装node01~~node03启动zookeeper,这里依次启动node131,node132
请叫我你好
·
2024-09-09 21:48
安装教程
kafka
实时数仓之实时数仓架构(Hudi)(1)
实时数仓架构图如下:技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据
2401_84164527
·
2024-09-09 19:34
程序员
架构
2024年大数据最新实时数仓之实时数仓架构(Hudi)
技术框架
Kafka
:用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过
Kafka
缓冲接入业务数据可以忽略;Flink:用于数据ETL,包括接入数据、处理数据及输出数据全链路数据计算任务
2401_84185556
·
2024-09-09 19:34
程序员
大数据
架构
【三】分布式训练---
单机
多卡与多机多卡组网(飞桨paddle2.0+)更加推荐spawn方式!
1.
单机
多卡启动并行训练飞桨2.0增加paddle.distributed.spawn函数来启动
单机
多卡训练,同时原有的paddle.distributed.launch的方式依然保留。
汀、人工智能
·
2024-09-09 16:14
#
飞桨AIstudio教学使用
深度学习
神经网络
机器学习
分布式计算
分布式训练
在ELFK架构中加入
kafka
要进行日志的分析处理,而filebeat至进行日志的收集和发送,处理过程较为简单,所以当日志量非常巨大的时候,logstash会由于处理不及时导致日志或数据的丢失,这时候可以在filebeat和logstash之间加入
kafka
beretxj_
·
2024-09-09 15:31
kafka
分布式
大数据
elk
Kafka
【问题 03】Connection to node -1 ( IP 9092) could not be established(1)
还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!【完整版领取方式在文末!!】93道网络安全面试题需要体系化学习资料的朋友,可以加我V获取:vip204888(备注网络安全
2401_84265972
·
2024-09-09 14:26
2024年程序员学习
网络安全
web安全
面试
Eureka vs. Nacos:注册中心角色之间的不同特性
当程序并发量大,提供者以
集群部署
时,应该如何选择?
8tydegrees
·
2024-09-09 12:46
cloud
eureka
云原生
微服务
容器
网络
TiDB数据库
TiDB是由PingCAP开发的开源分布式SQL数据库,设计初衷是为了解决传统
单机
关系型数据库在处理大规模数据和高并发事务时的扩展性和性能问题。
傲雪凌霜,松柏长青
·
2024-09-09 12:43
后端
tidb
数据库
【Redis】Redis的概念 | 特性 | 应用场景 | 安装 | 客户端
如果是
单机
环境下,直接通过变量存储数据比用Redis更有优势。在分布式系统中,要想多个服务器共享同一份数据,同时又想让数据在内存中,就可以选择Redis.进程是具有隔离性的,分布式系统会
翁佳明
·
2024-09-09 07:44
Redis
redis
数据库
缓存
Kafka
是如何实现高性能的
将写磁盘的过程变为顺序写
Kafka
的整个设计中,Partition相当于一个非常长的数组,而Broker接收到的所有消息顺序写入这个大数组中。
明斯克开源
·
2024-09-09 04:19
Java
经验分享
架构
java
pytorch实现
单机
多卡训练
pytorch实现
单机
多卡训练fromtorch.nn.parallelimportDataParallel#
单机
多卡的分布式训练(数据并行)模型训练加速'''三构建模型'''model=build_model
*Major*
·
2024-09-08 23:47
pytorch
人工智能
python
Spring常用中间件
(2)
Kafka
:分布式流处理平台,适合处理大规模数
贺仙姑
·
2024-09-08 23:15
spring
中间件
java
系统部署架构相关:
系统部署架构从应用部署的角度看:1、应用
单机
部署;2、应用主、备部署;3、应用分布式弹性部署;从服务器物理地址的角度看:1、
单机
房部署;2、同城双机房/多机房;3、跨城双机房/多机房;按照新数据治理平台的部署方案设计可能如下
执于代码
·
2024-09-08 21:34
#
部署架构
java
开发语言
在Spring Boot中实现请求IP白名单拦截
在Web应用中,通过IP白名
单机
制,我们可以允许特定的IP地址访问应用,而阻止其他IP地址。这种机制在保护管理后台、API接口等敏感资源时尤为有效。
missterzy
·
2024-09-08 21:34
JAVA框架
spring
boot
tcp/ip
java
Oracle Linux 8.10 ARM 一键安装 Oracle 19C
单机
前言Oracle一键安装脚本,演示OracleLinux8.10ARM一键安装Oracle19C
单机
(全程无需人工干预)。
TanxiaoLee
·
2024-09-08 17:33
oracle
linux
arm开发
数据库
运维
【Python系列】中位数计算
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-09-08 15:24
s2
Python
python
开发语言
ES elasticsearch集群入门
1介绍使用
单机
的版的elasticsearch可以完成检索,但是如果要实现高可用的话,就需要搭建集群。集群不仅可以实现高可用,也能实现海量数据存储的横向扩展。
小P聊技术
·
2024-09-08 12:40
Kafka
、RabbitMQ、RocketMQ 之间的区别是什么
Kafka
、RabbitMQ、RocketMQ之间的区别是什么?
m0_67394230
·
2024-09-08 07:54
面试
学习路线
阿里巴巴
android
前端
后端
Kafka
高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解
大家都知道
Kafka
是将数据存储于磁盘的,而磁盘读写性能往往很差,但
Kafka
官方测试其数据读写速率能达到600M/s,那么为什么
Kafka
性能会这么高呢?
大数据学习与分享
·
2024-09-08 05:12
Kafka
kafka
大数据
java
pyspark
kafka
mysql_数据平台实践①——Flume+
Kafka
+SparkStreaming(pyspark)
蜻蜓点水Flume——数据采集如果说,爬虫是采集外部数据的常用手段的话,那么,Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent:包含Source、Channel和Sink的主体,它是这3个组件的载体,是组成Flume的数据节点。Event:Flume数据传输的基本单元。Source:用来接收Event,并将Event批量传
weixin_39793638
·
2024-09-08 04:34
pyspark
kafka
mysql
Spring Boot 2.x实战94 - 事件驱动3 -
Kafka
与
Kafka
Streams
3.
Kafka
Apache
Kafka
以Topic为导向,提供消息中间件的功能。一个类型的数据称之为一个Topic。3.1安装
Kafka
使用dockercompose安装Apache
Kafka
。
汪云飞记录本
·
2024-09-08 02:50
Spring
Boot2.x实战全集
spring
boot
kafka
kafka
streams
KafkaListener
基于
Kafka
实现分布式事件驱动
事件驱动是一种灵活的系统设计方法,在事件驱动的系统中,当数据发生变化时系统会产生、发布一个对应的事件,其它对这个事件感兴趣的部分会接收到通知,并进行相应的处理。事件驱动设计最大的好处在我看来有两点:一是它为系统提供了很好的扩展能力,比如我们可以对某类事件增加一个订阅者来对系统进行扩展,最主要的是我们并不需要修改任何已有的代码,它完全符合开闭原则;二是它实现了模块间的低偶合,系统间各个部分不是强依赖
weixin_33785972
·
2024-09-08 02:48
大数据
java
数据库
Python爬虫实战
主流的开源爬虫框架包括:1.分布式爬虫框架:Nutch2.Java
单机
爬虫框架:Crawler4j,WebMagic,WebCollector、Heritrix3.python
单机
爬虫框架:scrapy
weixin_34007879
·
2024-09-08 00:10
爬虫
json
java
pyflink 滚动窗口实例
写在前头:更多大数据相关精彩内容请进我的知识星球,每周定期更新正篇技术路线:模拟
kafka
生产者发送数据——>flink对
kafka
数据实时计算处理——>处理后的数据发送到
kafka
1、模拟客流数据的生产者
菜鸟社长
·
2024-09-07 15:31
菜鸟的大数据进阶之路
大数据进阶之路
kafka
big
data
python
flink
【Flink】Flink 写入到 CSV BucketingSink 的使用方法
1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的,flink读取
kafka
数据,然后写入到csv,但是写入的时候,要求写入一个文件,然后在监听到配置文件变化的时候,将写入到另外一个文件
九师兄
·
2024-09-07 15:00
大数据-flink
flink
BucketingSink
csv
第五章
Kafka
构建TB级异步消息系统
第五章
Kafka
构建TB级异步消息系统1、阻塞队列模拟阻塞队列publicclassBlockingQueueTest{publicstaticvoidmain(String[]args){//容量为10
跟风。
·
2024-09-07 13:48
仿牛客社区论坛
kafka
java
分布式
kubernetes集群下部署
kafka
+zookeeper
单机
部署方案
背景:注:在kubernetes集群上部署
单机
版的zookeeper+
kafka
服务,是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn
·
2024-09-07 12:17
消息队列服务
kubernetes
kafka
zookeeper
Kafka
,构建TB级异步消息系统
:使用数据的线程实现类ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.
Kafka
Fern977
·
2024-09-07 12:15
牛客论坛学习笔记
kafka
java
分布式
仿论坛项目--
Kafka
,构建TB级异步消息系统
Kafka
入门•
Kafka
简介
Kafka
是一个分布式的流媒体平台。
HUT_Tyne265
·
2024-09-07 12:14
kafka
分布式
大数据系列 |
Kafka
架构分析及应用
大数据系列|
Kafka
架构分析及应用1.消息系统介绍2.
Kafka
原理分析3.
Kafka
架构分析4.
Kafka
的安装与配置4.1.Zookeeper集群安装配置4.2.安装
Kafka
集群4.3.配置
kafka
降世神童
·
2024-09-07 07:42
大数据技术专栏
大数据
kafka
架构
UI 自动化分布式测试 -Docker Selenium Grid
分布式测试SeleniumGrid对于大型项目或者有大量测试用例的项目,
单机
的测试环境往往无法快速完成所有测试用例的执行,此时自动化测试执行效率将会成为最大的瓶颈,SeleniumGrid可以通过多机的分布式架构允许测试用例并行运行
程序员与诗人
·
2024-09-07 01:30
Docker
Selenium
Grid
UI
自动化分布式测试
SpringBoot+
Kafka
+ELK 完成海量日志收集(超详细)
SpringBoot项目准备引入log4j2替换SpringBoot默认log,demo项目结构如下:pomIndexController测试Controller,用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值NetUtil启动项目,访问/index和/ero接口,可以看到项目中生成了app
2401_83703797
·
2024-09-07 00:25
程序员
spring
boot
kafka
elk
Kafka
Broker处于高负载状态(例如消息处理量大或系统资源不足),无法及时响应消费者的请求
Causedby:org.apache.
kafka
.common.errors.TimeoutException:Timeoutof60000msexpiredbeforethepositionforpartitionactivity
战族狼魂
·
2024-09-06 22:42
消息队列
java
kafka
分布式
Kafka
常用的传输和序列化数据方式
Kafka
常用的传输和序列化数据方式。不同的方式有不同的优缺点,选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。
傲雪凌霜,松柏长青
·
2024-09-06 21:38
后端
大数据
kafka
分布式
kafka
3.7.1 单节点 KRaft部署&测试发送和接收消息
一、环境准备
kafka
3.7.1包下载地址:https://mirrors.nju.edu.cn/apache/
kafka
/3.7.1/
kafka
_2.13-3.7.1.tgzopenjdk11.0.2
运维小弟| srebro.cn
·
2024-09-06 19:51
openeuler
kafka
运维
运维
云原生
PolarDB for PostgreSQL 内核解读:HTAP架构介绍
在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力,对一套TP的数据支持两套执行引擎:
单机
执行引擎用于处理高并发的OLTPMPP跨机分布式执行引擎用于复杂的
阿里云技术
·
2024-09-06 16:28
架构
postgresql
系统架构
Kafka
如何保证消息不丢失
1、生产者1.1丢失原因:
kafka
生产端异步发送消息后,不管broker是否响应,立即返回,伪代码producer.send(msg),由于网络抖动,导致消息压根就没有发送到broker端;
kafka
阳光倾洒
·
2024-09-06 15:55
Kafka
kafka
分布式
java
学习
开发语言
k8s安装test
k8s
集群部署
准备工作三台centos7虚拟机(内存每个节点4G)[root@master~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core
qBeautifulBoy
·
2024-09-06 15:23
kubernetes
容器
云原生
Kafka
如何保证数据不丢失?不重复
1.高可用型配置:acks=all,retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点:这样保证了producer端每发送一条消息都要成功,如果不成功并将消息缓存起来,等异常恢复后再次发送。缺点:这样保证了高可用,但是这会导致集群的吞吐量不是很高,因为数据发送到broker之后,leader要将数据同步到fllower上,如果网
优秀后端工程师
·
2024-09-06 15:23
Java程序员
kafka
linq
分布式
【
Kafka
专栏 11】深入理解
Kafka
的网络线程模型:是谁在幕后“操纵”数据流?
作者名称:夏之以寒作者简介:专注于Java和大数据领域,致力于探索技术的边界,分享前沿的实践和洞见文章专栏:夏之以寒-
kafka
专栏专栏介绍:本专栏旨在以浅显易懂的方式介绍
Kafka
的基本概念、核心组件和使用场景
夏之以寒
·
2024-09-06 14:16
夏之以寒-kafka专栏
kafka
网络
分布式
网络模型
梧桐数据库(WuTongDB):存算分离和存算一体架构的分布式数据库技术分析
传统的
单机
数据库已经无法满
鲁鲁517
·
2024-09-06 11:27
梧桐数据库
数据库
架构
分布式
梧桐数据库
如何查看当前的gruop_id 的
kafka
消费情况 这个可以查看到是否存在消费阻塞问题
如何查看当前的gruop_id的
kafka
消费情况这个可以查看到是否存在消费阻塞问题命令如下:/
kafka
/bin/
kafka
-consumer-groups.sh--bootstrap-server127.0.0.1
树下水月
·
2024-09-06 08:02
kafka
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他