hadoop2+集群+yarn

Kafka——管理Kafka(命令行工具)详解

toc]管理Kafka1、主题操作（kafka-topic.sh）1.1、创建主题(–create)1.2、增加分区(–alter)1.3、减少分区数量(无)1.4、删除主题(–delete)1.5、列出集群里的所有主题
Young丶·2024-01-23 13:21

Producer源码解读

它的主要功能是将客户端的请求打包封装发送到kafka集群的某个Topic的某个分区上。那么这些生产者产生的消息是怎么传到Kafka服务端的呢？
llp1110·2024-01-23 13:09

Kafka集群与可靠性

Kafka集群与可靠性1.Kafka集群搭建实战使用两台Linux服务器：一台192.168.182.137一台192.168.182.138安装kafka首先，我们需要配置java环境变量（这里就略过了
llp1110·2024-01-23 13:39

Zookeeper源码分析ZooKeeperServer

ZooKeeperServer实现了单机版zookeeper服务端功能，子类实现了更加丰富的分布式集群功能：ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer
softshow1026·2024-01-23 12:58

Zookeeper+Kafka集群

分布式系统管理框架，主要用来解决分布式应用集群中应用系统的一致性问题，想大于各种分布式应用的注册中心+文件系统+通知机制本质用于注册各种分布式应用，存储和管理这些分布式应用的元数据，如果应用或服务本身状态发生变化就会通知到客户端数据结构
王德发666·2024-01-23 12:25

Kubernetes

kubernetesMyStudyofkuberneteskubernetes结构图-来源image基本概念和术语master功能:集群控制节点,负责整个集群的管理和控制,属于首脑master节点上运行的关键进程
delta1037·2024-01-23 12:06

云原生周刊：Meshery v0.70 发布 ｜ 2024.1.22

开源项目推荐flux-cluster-template该项目用于部署由Flux、SOPS、GitHubActions、Renovate、Cilium等支持的Kubernetes集群，专注于使用GitOps
KubeSphere 云原生·2024-01-23 12:53

第30关 k8s容器运行时安全监控 - Falco

我们前面讲到prometheus监控、K8S集群事件监控kube-eventer，这些都只是资源使用层面上的监控，对于集群的安全层面监控，我们也需要做好监控手段，避免类似黑客木马入侵事件发生。
博哥爱运维·2024-01-23 12:19

Spark(三十四)troubleshooting之解决yarn-cluster模式的JVM内存溢出无法执行问题

一、背景实践经验，碰到的yarn-cluster的问题：1、有的时候，运行一些包含了sparksql的spark作业，可能会碰到yarn-client模式下，可以正常提交运行；yarn-cluster模式下
文子轩·2024-01-23 12:06

桌面级群控机器人CoCube探索-2022-

CoCube群机器人预览→资讯剧透←2022ROS暑期学校CoCube群控机器人探索活动海报活动内容CoCube群控机器人探索，包括单机基础功能实现，单机运动控制，视觉定位，集群算法实现等。
zhangrelay·2024-01-23 12:58

vue 集成bootstrap

vue集成bootstrap第一步、npm安装安装命令如下：yarn[email protected]yarnaddjqueryyarnaddpopper.js第二步、vue中引入bootstrap在
程序员爱技术·2024-01-23 12:20

ES安全重启

背景elasticsearch集群，有时候可能需要修改配置，增加硬盘，扩展内存等操作，需要对节点进行维护升级。
人工智·2024-01-23 12:49

[ZooKeeper之七] 使用 Watcher 监视机制处理状态变化

检测手段上，可以是定时通信，假如没有收到响应（某些场景会有重试次数）可以认为服务器发生故障了，在ZooKeeper集群内部，集群中的每个节点都要跟主节点建立通信连接，方便从主节点同步事务到从节点；当主节点崩溃时
小胡_鸭·2024-01-23 12:47

k8s的集群调度

k8s的集群调度scheduler：负责调度资源，把pod调度到node节点预算策略优先策略1、List-watchk8s集群当中，通过list-watch的机制进行每个组件的协作，保持数据同步。
喝点维C·2024-01-23 11:27

天翼云DNS问题记录

天翼云上自建K8S集群后发现容器无法访问外部域名，比如www.baidu.com。
getsu·2024-01-23 11:19

zookeeper源码(06)ZooKeeperServer及子类

ZooKeeperServer实现了单机版zookeeper服务端功能，子类实现了更加丰富的分布式集群功能：ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer
xuguofeng2016·2024-01-23 11:07

Hadoop集群配置及测试

Hadoop集群配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源，因而和NameNode与SecondaryNameNode最好不在同一服务器
YUuuuME_·2024-01-23 11:07

概述、搭建Redis服务器、部署LNP+Redis、创建Redis集群、连接集群、集群工作原理

1案例1：搭建redis服务器1.1具体要求如下在主机redis64运行redis服务修改服务运行参数ip地址192.168.88.64服务监听的端口6364redis服务的连接密码为tarenaplj1.2方案准备1台新虚拟机，要求如表-1所示。1.3步骤实现此案例需要按照如下步骤进行。步骤一：在主机redis64运行redis服务命令操作如下所示：[root@redis64~]#yum-yin
Mick方·2024-01-23 11:51

手把手教你搭建 RabbitMQ 集群

@[toc]单个的RabbitMQ肯定无法实现高可用，要想高可用，还得上集群。今天松哥就来和大家聊一聊RabbitMQ集群的搭建。
_江南一点雨·2024-01-23 11:19

大厂大数据面试题收录（1）

7.那你能谈一下yarn的基础架构及调度流程吗？8.Hivesql到MapReduce转化的流程清楚吗？
后季暖·2024-01-23 11:49

npm

NMP的使用项目的初始化npminit-y//使用默认的方式直接生成yarninit-y包的下载//安装全局包npmihttp-server-gyarnglobaladdhttp-server//安装本地包
田成力·2024-01-23 10:35

Postgresql的集群搭建与监控方案

前言之前在《PostgreSQL学习之部署与简单使用》记录了PostgreSQL的搭建和简单使用，本文记录PostgreSQL集群的搭建，接入Promet
SRE成长记·2024-01-23 10:30

Nacos 高级详解

一、服务集群1需求服务提供者搭建集群服务调用者，依次显示集群中各服务的信息2搭建1）修改服务提供方的controller，打印服务端端口号packagecom.czxy.controller;importorg.springframework.web.bind.annotation
薛慕昭·2024-01-23 10:27

微服务JWT的介绍与使用

1.无状态登录1.1微服务的状态微服务集群中的每个服务，对外提供的都是Rest风格的接口，而Rest风格的一个最重要的规范就是：服务的无状态性。什么是无状态？
薛慕昭·2024-01-23 10:21

部署Filebeat+Kafka+ELK 集群

目录Kafka概述为什么需要消息队列（MQ）使用消息队列的好处消息队列的两种模式Kafka定义Kafka简介Kafka的特性Kafka系统架构在zookeeper集群的基础上部署kafka集群部署zookeeper
GnaW1nT·2024-01-23 10:18

大数据开发之Spark（入门）

1.2hadoop与spark历史hadoop的yarn框架比spark框架诞生的晚，所以spark自己也涉及了一套资源调度框架。
Key-Key·2024-01-23 09:45

yarn的安装及使用教程

安装和设置Yarn的方法和步骤如下：下载安装包并安装。对于Windows系统，你可以从Yarn官网下载安装程序并按照指引进行安装。安装完成后，可以通过运行yarn--version来检查是否安装成功。
数字化信息化智能化解决方案·2024-01-23 09:45

Kafka-消费者-KafkaConsumer分析总结

Fetcher负责从Kafka中拉取消息并进行解析，同时参与position的重置操作，提供获取指定Topic的集群元数据的操作。上述
Andy技术支援·2024-01-23 08:32

kafka（二）——常用命令

#查询topic状态，新建，删除，扩容kafka-topics.sh#查看，修改kafka配置kafka-configs.sh#配置，查看kafka集群鉴权信息kafka-acls.sh#生产命令kafka-console-producer.sh
却道天凉_好个秋·2024-01-23 08:32

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

Zookeeper集群

一、Zookeeper概述1.1Zookeeper定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。1.2Zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册
为什么老是名字被占用·2024-01-23 08:24

kafka集群和Filebeat+Kafka+ELK

一、Kafka概述1.1为什么需要消息队列（MQ）主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发toomanyconnection错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。当前比较常见的MQ中间件有Act
为什么老是名字被占用·2024-01-23 08:23

Keepalived+Nginx实现双机主备、双主热备高可用集群架构（待完善）

使用两台本地虚拟机，实现Keepalived+Nginx实现双机主备、双主热备高可用集群架构前言本文根据B站up的教学视频以及参考相应博文实现。
猫咪很懒·2024-01-23 08:51

LVS+Keepalived+nginx+tomcat集群环境模拟部署

目录一、架构图解二、服务配置2.1lvs+keepalived配置lvs1配置:lvs2配置:2.2nginx服务配置nginx1配置：nginx2配置：2.3tomcat服务配置三、模拟效果一、架构图解lvs服务器1：192.168.2.102lvs服务器2：192.168.2.107nginx1192.168.2.100nginx2：192.168.2.101tomcat1：192.168.2
Tianyuweiyang·2024-01-23 08:14

2 - 部署Redis集群架构

部署Redis集群架构部署Redis集群部署管理主机第一步准备ruby脚本的运行环境第二步创建脚本第三步查看脚本帮助信息配置6台Redis服务器第一步修改配置文件启用集群功能第二步重启redis服务第三步查看
桑_榆·2024-01-23 08:08

k8s集群异常恢复

前提、我自己的k8s采用的是单master节点+两个从节点部署，我针对单master情况进行恢复说明场景一：正常开关虚拟机，可直接重启kubelet进行恢复1、1、一般重启后三个节点都需要检查，输入命令检查kubelet：systemctlstatuskubelet2、状态不正常，输入命令启动kubelet：systemctlrestartkubelet3、正常情况下，启动kubelet后，节点一
Grey_fantasy·2024-01-23 08:34

在vue中引入高德地图

步入正题，在vue项目中引入高德地图一、下载依赖npm安装：npmi@amap/amap-jsapi-loader--save或者yarn安装：
jieyucx·2024-01-23 07:44

Golang 通过开源库 go-redis 操作 NoSQL 缓存服务器

前置条件：1、导入库：import("github.com/go-redis/redis/v8")2、搭建哨兵模式集群具体可以百度、谷歌搜索，网上现成配置教程太多了，不行还可以搜教程视频，跟着视频博主一步一个慢动作
liulilittle·2024-01-23 07:12

YARN安装及使用教程

YARN官网安装去官网安装安装yarn的下载压缩包，保证注册表和环境变量的硬写入，后期通过yarn安装全局包时比较方便也可以使用npmiyarn-g使用初始化一个新项目yarninit执行完成后，系统会生成一个
Cupid510·2024-01-23 07:31

vue前期开发环境node及yarn安装详细教程

先下载node.js下载node官网避坑1尽量安装在D盘避坑2安装的时候选择尽量选择AddtoPATH会自动把环境变量添加进去避坑3最后一步选择挂钩不要选择（否则会安装很多电脑组件）查看版本命令及安装yarn
听闻远方有猿·2024-01-23 07:00

yarn 安装及使用教程

目录快速入门安装InstallvianpmAlternativesWindows安装后检查用法官网链接快速入门Yarn对你的代码来说是一个包管理器。
thlzjfefe·2024-01-23 07:00

Yarn 安装和使用教程

二、Yarn介绍Yarn是Facebook,Google,Exponent和Tilde开发的一款新的JavaScript包管理工具。你可以通过它使用全世界开发者的代码，或者分享自己的代码。
m0_60092917·2024-01-23 06:27

yarn的介绍、安装及使用

yarn的介绍、安装及使用1.简介1.1优点2.安装3.使用3.1开始一个新项目3.2添加一个依赖包3.3将依赖项添加到不同的依赖配置中3.4更新依赖包3.5移除依赖包3.6安装项目的所有依赖项1.简介
冬日蓝天lyyeagle·2024-01-23 06:24

yarn安装及使用

目录前言一、yarn安装选择二、使用步骤1.下载引导工具2.检测是否安装成功三.浅试yarn命令1.安装vite总结前言一直在用npm的朋友对npm的速度慢肯定深有体会，facebook提供yarn来解决这一问题
DW14687·2024-01-23 06:54

yarn的安装及使用教程

Yarn是一个快速、可靠、安全的包管理工具，用于管理JavaScript项目的依赖项。下面是关于Yarn的安装和基本使用的详细教程：安装Yarn访问Yarn官网并按照指示下载适合你操作系统的安装程序。
诗雅颂·2024-01-23 06:21

nsq架构简介

它可以独立运行，不过通常它是由nsqlookupd实例所在集群配置的。nsqlookupd：nsqlookupd是守护进程负责管理拓扑信息。
fake_smile_boy·2024-01-23 06:09

通过curl访问k8s集群获取证书或token的方式

1.Authentication（认证）2.Authorization（授权）3.AdmissionControl（准入控制）客户端（kubectl或curl等）要想访问K8s集群APIServer，一般需要证书
Michaelwubo·2024-01-23 06:42

npm ,yarn 更换使用国内镜像源，阿里源，清华大学源

在平时开发当中，我们经常会使用Npm，yarn来构建web项目。但是npm默认的源的服务器是在国外的，如果没有梯子的话。会感觉特别特别慢，所以，使用国内的源是非常有必要的。
IChen.·2024-01-23 04:20

apollo之ConfigService服务

apolloconfigService用于提供给client获取配置信息，以及配置更新后实时通知client的服务；configservice仅为client提供服务，且每个环境对应相应的configsevice集群
Mr_1214·2024-01-23 04:51

【分布式技术】消息队列Kafka

目录一、Kafka概述二、消息队列Kafka的好处三、消息队列Kafka的两种模式四、Kafka1、Kafka定义2、Kafka简介3、Kafka的特性五、Kafka的系统架构六、实操部署Kafka集群步骤一
liu_xueyin·2024-01-23 04:01
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他