E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka集群
【大数据技术】编写Python代码实现词频统计(python+hadoop+mapreduce+yarn)
编写Python代码实现词频统计(python+hadoop+mapreduce+yarn)搭建完全分布式高可用大数据
集群
(VMware+CentOS+FinalShell)搭建完全分布式高可用大数据
集群
Want595
·
2025-02-06 06:05
Python大数据采集与分析
大数据
python
hadoop
ACK One 如何通过 GitOps & DevOps 实现高效 CI/CD 流水线?
阿里云分布式云容器平台ACKOne作为一站式Kubernetes多
集群
管理解决方案,能够帮助企业高效管理跨地域、跨云、多
集群
的Kubernetes资源。
Anna_Tong
·
2025-02-06 05:54
devops
ci/cd
运维
kubernetes
GitOps
阿里云
一次线程数超限导致的hive写入hbase作业失败分析
1.
集群
配置操作系统:SuSe操作系统
集群
节点:100台相同配置的服务器单台:核心112Core,内存396G2.问题现象现象1:跑单个入库任务报错,批量提交任务后出现OOM异常执行12个hivesql
spring208208
·
2025-02-06 04:46
大数据组件线上问题分析
大数据
hive
hbase
Hadoop1.0-HDFS介绍
采用Java语言开发,可以部署在多种普通的廉价机器上,以
集群
处理数量积达到大型主机处理性能。一、HDFS基本概念1、Bl
szjianzr
·
2025-02-06 03:13
HADOOP介绍
hadoop
HDFS
rocketmq
集群
启动和下线
启动nameservernohupshbin/mqnamesrv&tail-f~/logs/rocketmqlogs/namesrv.log启动brokernohupshbin/mqbroker-nlocalhost:9876&tail-f~/logs/rocketmqlogs/broker.log-n:nameserver生产/消费测试消息shbin/tools.shorg.apache.roc
小虾米 ~
·
2025-02-06 03:39
RocketMQ
rocketmq
kafka
不支持读写分离的原因
前段时间在看
kafka
相关内容,发现
kafka
“所有的”读写流量都在主partition上,从partition只负责备份数据。那么为什么
kafka
从partition不跟其他中间件一样承接读流量?
·
2025-02-06 01:23
kafka
k8s
集群
部署
k8s的概念和作用是一个开源的Docker容器编排系统源于google的borg,2015年7月k8sv1.0正式发布,调度计算机群节点,动态管理节点上的作业,使用【labels】和【pods】概念,将应用按逻辑单元分组,主要用途自动化部署,扩展和管理容器应用服务发现资源调度扩展缩容(指的是某个资源的自动缩减)部署管理监控k8s的好处裸容器的不足宿主机宕机造成主机的容器不可用,无法自行恢复容器的健
moluxiangfenglo
·
2025-02-06 01:57
kubernetes
容器
云原生
NoSQL 之Redis
集群
Redis
集群
主从复制主从复制(Replication)是Redis中一种基本的高可用架构模式,适用于简单的读写分离需求和基本的故障恢复。
moluxiangfenglo
·
2025-02-06 01:27
nosql
redis
数据库
Kafka
的安装及相关操作命令
文章目录前言一、安装
kafka
1.下载
kafka
2.解压
kafka
3.配置环境变量二、
kafka
相关命令1.启动zk2.启动
Kafka
Broker3.创建主题4.列出所有主题5.查看主题详情6.删除主题
凡许真
·
2025-02-05 23:41
kafka
0.10.2.1
操作命令
mac
单机版
【
kafka
】
kafka
docker jmx 远程连接 跨容器
1.概述前情提要:【Java】javajmx入门案例【
kafka
】java使用jmx监控
Kafka
【
Kafka
】Window下
kafka
开启JMX监控2.远程连接
kafka
jxm远程连接我是docker
九师兄
·
2025-02-05 23:40
kafka
docker
jmx
远程连接
Kafka
启用 JMX
以下是在
Kafka
服务启动时启用JMX的步骤:找到
Kafka
的启动脚本,通常在
Kafka
安装目录的bin子目录下编辑启动脚本(例如
kafka
-server-start.sh),在其中设置JMX参数。
cyw8998
·
2025-02-05 23:39
kafka
分布式
Zabbix5.0LTS配置Apache
Kafka
by JMX模板监控
Kafka
目录部署环境安装zabbix-java-gateway编译安装zabbix-java-gateway修改zabbix-java-gateway配置settings.sh修改Zabbixserver配置文件
Kafka
ErbaoLiu
·
2025-02-05 23:39
Prometheus
kafka
zabbix5.0
zabbix监控kafka
JMX
kafka
的高可用情况下,挂掉一个节点,为什么消费者消费不到数据了
1.假设有
kafka
集群
,3个broker
kafka
集群
kafka
01
kafka
02
kafka
032.创建topictest(分区3副本3)
kafka
-topics.sh--create--topic'test
黄土高坡上的独孤前辈
·
2025-02-05 21:55
Kafka
云计算:从基础架构原理到最佳实践之:云计算大数据分析与处理
4.大数据分类、存储和处理技术4.1大数据分类4.2大数据存储和处理技术5.Hadoop-Cloud组件选型5.1Hadoop安装5.1.1Hadoop下载5.1.2配置环境变量5.2配置Hadoop
集群
AI天才研究院
·
2025-02-05 20:18
大数据AI人工智能
大数据
人工智能
语言模型
Java
Python
架构设计
Java 技术全栈深度探索:从基础到企业级应用实践
服务容错等企业级架构要点;从Spring生态剖析到电商、直播答题等多类型项目实战;涵盖容器云、监控、测试、CI&CD平台实践以及问题定位与安全分析等运维保障内容;还涉及Netty网络编程、X2C需求设计及大数据
集群
资源评估等
智界工具库
·
2025-02-05 19:43
java
开发语言
k8s二进制
集群
之Kubectl部署
kubectl证书请求文件生成admin证书文件复制admin证书到指定目录生成kubeconfig配置文件接下来完成kubectl配置文件的角色绑定【扩展】kubectl命令补全操作继续上一篇文章《k8s二进制
集群
之
smart_ljh
·
2025-02-05 18:05
k8s二进制搭建
kubernetes
容器
云原生
云原生周刊:K8s引领潮流
开源项目推荐KWOKKWOK(KubernetesWithOutKubelet)是一个开源项目,旨在提供一个轻量级的K8s
集群
模拟环境,允许用户在不依赖真实节点的情况下,本地模拟整个K8s
集群
。
·
2025-02-05 17:03
云计算
web
集群
-负载均衡
集群
-Nginx
nginx简介Nginx的官网http://nginx.org/en/基本特性可针对静态资源高速高并发访问及缓存。可使用反向代理加速,并且可进行数据缓存。具有简单负载均衡、节点健康检查和容错功能。支持远程FastCGI服务的缓存加速。支持FastCGI、Uwsgi、SCGI、MemcachedServers的加速和缓存。支持SSL、TLS、SNI。具有模块化的架构:过滤器包括gzip压缩、rang
xx_01_2048769943
·
2025-02-05 17:28
web集群
开源项目推荐:基于Lambda架构的大数据管道
开源项目推荐:基于Lambda架构的大数据管道big-data-pipeline-lambda-archAfullbigdatapipeline(LambdaArchitecture)withSpark,
Kafka
柳旖岭
·
2025-02-05 16:53
k8s二进制
集群
之Kube ApiServer部署
创建kube工作目录(仅在主节点上创建即可)同样在我们的部署主机上创建apiserver证书请求文件根据证书文件生成apiserver证书仅接着创建TLS所需要的TOKEN创建apiserver服务的配置文件(仅在主节点上创建即可)创建apiserver服务管理配置文件对所有master节点分发证书&TOKEN都安装好了,下面我们启动一下apiserver服务最后完成了,怎么来验证apiserve
smart_ljh
·
2025-02-05 12:16
k8s二进制搭建
kubernetes
贪心算法
容器
k8s
apiserver
mycat和mysql
MyCat是数据库中间件,支持数据库
集群
,提供高可用性的数据分片
集群
。可以管理多个机器上的数据库组成的
集群
。MyCat分片:海量数据存储的解决方案。
沐漜
·
2025-02-05 09:29
Java学习
zookeeper
百度成功点亮昆仑芯三代万卡
集群
,将于近日点亮3万卡
集群
近日,百度智能云成功点亮昆仑芯三代万卡
集群
,这也是国内首个正式点亮的自研万卡
集群
。百度智能云将进一步点亮3万卡
集群
。国产昆仑芯万卡
集群
以及未来三万卡
集群
的建设,从硬件到软件,技术挑战是全方位的。
·
2025-02-05 09:50
深度学习
CDH角色迁移和硬盘扩容
1.概述生产CDH
集群
硬盘不足,HDFSdatanode节点数据不平衡,历史管理角色安装混乱,全部节点需要硬盘扩容。
专注大数据的Lyer
·
2025-02-05 09:56
java
大数据
hadoop
hive
hdfs
【无标题】k8s的介绍
⼀、编排分类单机容器编排:docker-compose容器
集群
编排:dockerswarm、mesos+marathon、kubernetes应⽤编排:ansible(模块,剧本,⻆⾊)⼆、系统管理进化史
m0_68739559
·
2025-02-05 09:55
linux
Redis主从复制+哨兵
集群
搭建
哨兵模式什么是哨兵模式主从切换技术的方法是:当主服务器宕机后,需要手动把一台从服务器切换为主服务器,这就需要人工干预,费事费力,还会造成一段时间内服务不可用。这不是一种推荐的方式,更多时候,我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel(哨兵)架构来解决这个问题。反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库。哨兵模式是一种特殊的模式,
元气满满的热码式
·
2025-02-05 08:20
redis
数据库
缓存
Hadoop框架及HDFS详细概述
文章目录Hadoop概述一、Hadoop1、分布式和
集群
2、Hadoop框架2.1概述2.2版本更新2.3Hadoop架构详解2.4官方示例2.4.1圆周率练习2.4.2词频统计3、Hadoop的HDFS3.1
搬砖人_li
·
2025-02-05 07:14
大数据技术栈专栏
hadoop
hdfs
大数据
kubernetes 核心技术-
集群
安全机制 RBAC
随着Kubernetes在企业级应用中的广泛采用,确保
集群
的安全性变得至关重要。Kubernetes提供了多种安全机制来保护
集群
及其资源免受未授权访问和潜在威胁的影响。
難釋懷
·
2025-02-05 06:36
kubernetes
安全
容器
kubernetes 核心技术-Helm
通过Helm,开发者可以更轻松地打包、配置和部署应用程序到Kubernetes
集群
中。本文将详细介绍Helm的基本概念、工作原理以及如何使用Helm来提升Kubernetes应用的管理效率。
難釋懷
·
2025-02-05 06:36
kubernetes
容器
云原生
kubernetes-部署性能监控平台
随着越来越多的应用迁移到Kubernetes平台上,如何有效地监控
集群
的健康状态、资源使用情况以及应用性能变得尤为重要。一个完善的监控系统可以帮助我们及时发现问题、优化资源配置,并确保服务的高可用性。
難釋懷
·
2025-02-05 05:33
kubernetes
容器
云原生
Elasticsearch 是如何实现 Master 选举的?思维导图 代码示例(java 架构)
主要概念MasterNode:管理
集群
范
用心去追梦
·
2025-02-05 03:14
elasticsearch
java
架构
MySQL知识点总结(十九)
InnoDB
集群
单主模式和多主模式
集群
结构适用哪些应用场合?
a_j58
·
2025-02-05 00:54
mysql
数据库
Kafka
架构
引言
Kafka
凭借其独树一帜的分区架构,在消息中间件领域展现出了卓越的性能表现。
优人ovo
·
2025-02-04 22:41
kafka
架构
分布式
Kafka
SSL(TLS)安全协议
文章目录
Kafka
SSL(TLS)安全协议1.
Kafka
SSL的作用1.1数据加密1.2身份认证1.3数据完整性1.4防止中间人攻击1.5确保安全的分布式环境1.6防止拒绝服务(DoS)攻击2.
Kafka
SSL
王多鱼的梦想~
·
2025-02-04 21:06
Kafka修炼手册
kafka
ssl
安全
StarRocks从入门到精通系列二:手动部署StarRocks
在正常应用环境中,一个StarRocks
集群
需要部署三个BE节点。一、前提条件在部署StarRocks之前,请确保如下环境要求已满足。分类描述说明硬件要求
集群
至少拥有两台物理或虚拟节点。
快乐骑行^_^
·
2025-02-04 19:17
大数据
StarRocks
从入门到精通系列
手动部署StarRocks
K8S-学习笔记-快速部署kubernetes
集群
的工具
kubeadm是官方社区推出的一个用于快速部署kubernetes
集群
的工具。
珂-瑞
·
2025-02-04 19:47
K8s
kubernetes
学习
docker
K8S学习笔记-------2.极简易懂的入门示例
创建项目目录并初始化项目1.3.安装Express1.4验证安装2.容器化应用2.1准备Dockerfile2.2构建镜像3.编写K8s配置文件创建Deployment创建Service4.部署到K8s
集群
应用
bjackal
·
2025-02-04 18:44
kubernetes
学习
笔记
Easysearch Chart Admin 密码自定义
使用EasysearchChart0.2.0之前的版本(包括0.2.0)创建出来的
集群
,admin用户初始密码固定为admin,这样的
集群
存在安全隐患。
·
2025-02-04 18:05
helm
安装K8s
集群
文章首发于我的博客:https://blog.liuzijian.com/post/9aa6d426-a01c-05b0-6f7a-5da4343f0f9e.html因阿里云加速服务调整,镜像加速服务自2024年7月起不再支持,拉取镜像,下载网络插件等操作,需要科学上网访问DockerHub。安装全过程均使用ROOT权限。目录1.安装前准备工作2.安装docker2.1修改机器的yum源2.2安装
changelzj
·
2025-02-04 18:40
K8s
kubernetes
容器
云原生
尚硅谷课程【笔记】——大数据之Shell【一】
1)需要看懂运维人员的Shell程序2)偶尔编写一些简单的Shell程序来管理
集群
、提高开发效率什么是Shell?1)Shell是一个命令行解释器,它接受应用程序/用户命令,然后调用操作系统内核。
赶紧写完去睡觉
·
2025-02-04 17:33
大数据生态圈
大数据
linux
浅谈kubernetes(k8s)架构与组件
1.Kubernetes架构全图2.Master组件Master组件相当于
集群
的大脑,控制平面:所有
集群
的控制命令都传递给Master组件并在其上执行每个Kubernetes
集群
至少有一套Master组件
男孩李
·
2025-02-04 16:57
云原生
云原生
容器
kubernetes
一、Kubernetes架构及核心组件
一、基本架构Kubernetes
集群
可以被看作是一个工厂,而各个组件则是这个工厂里的不同部门:KubernetesAPI服务器:就像是这个工厂的总经理,负责接收所有的请求并将它们分配给相应的部门进行处理
Cyan_Jiang
·
2025-02-04 16:24
Kubernetes
kubernetes
架构
容器
云原生
golang 操作 docker 中
kafka
阅读目录docker中安装
kafka
Kafka
和ZooKeeper的关系
Kafka
两种订阅模式zookeeper安装1、在docker中拉取zookeeper镜像2、运行zookeeper服务3、查看docker
知其黑、受其白
·
2025-02-04 16:23
golang
docker
kafka
Kafka
应用场景
序在学习一门新技术之前,我们需要先去了解一下这门技术的具体应用场景,使用它能够做什么,能够达到什么目的,学习
kafka
的初衷是用作消息队列;但是还可以使用
Kafka
Stream进行一些实时的流计算,多用于大数据处理
串一串cc
·
2025-02-04 15:20
Openstack云平台脚本部署之Galera高可用
集群
配置(二)
MariaDBGalera配置五、参考文档六、系列文章一、概述社区文档中,Openstack的高可用架构采用“Pacemkaer+Haproxy+Galera”的架构,数据库服务的高可用采用Galera同步复制的多主数据库
集群
梅馨嫣栀
·
2025-02-04 14:10
云计算
云计算
devops
galera
集群
一、环境准备1、各主机配置静态域名解析:cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6192.168.210.131node1node1.tes
weixin_30271335
·
2025-02-04 14:39
运维
数据库
shell
MySQL Galera
集群
一、工作原理概念Galera是一个MySQL(也支持MariaDB,Percona)的同步多主
集群
软件。原理当客户端读写数据时,可连接任一MySQL实例。对于读操作,从每个节点读取到的数据都是相同的。
爱喝旺仔的昊昊
·
2025-02-04 14:08
MySQL
mysql
数据库
在K8S中,有哪几种控制器类型?
在Kubernetes中,控制器(Controller)是用来确保实际
集群
状态与所需状态保持一致的关键组件。
Dusk_橙子
·
2025-02-04 14:38
K8S
kubernetes
容器
云原生
Galera Cluster :一种新型的高一致性MySql
集群
框架
GaleraCluster即为安装了Galera的Mariadb
集群
(本文只介绍MariadbGarela
集群
)。其本身具有multi-master特性,支持多点写入。
hlday6
·
2025-02-04 13:37
MySql
k8s二进制
集群
之负载均衡器高可用部署
Haproxy和Keepalived安装Haproxy配置文件准备Keepalived配置及健康检查启动Haproxy&Keepalived服务继续上一篇文章《K8S
集群
架构及主机准备》,下面介绍负载均衡器搭建过程
smart_ljh
·
2025-02-04 13:30
k8s二进制搭建
负载均衡
运维
k8s
k8s二进制
集群
之ETCD
集群
部署
下载etcd安装包创建etcd配置文件准备证书文件和etcd存储目录ETCD证书文件安装(分别对应指定节点)创建证书服务的配置文件启动etcd
集群
验证etcd
集群
状态继续上一篇文章《k8s二进制
集群
之ETCD
smart_ljh
·
2025-02-04 12:54
k8s二进制搭建
kubernetes
etcd
容器
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他