cloudera集群管理

动手搓一个kubernetes管理平台(2)-后端权限设计

授权和认证1.权限分类由于用户需要操作kubernetes，所以权限分类起码需要2套，即平台的权限和集群的权限管理，前者用于管理平台，如用户的添加，报表的查看，日志的审计等等，后者用于集群管理，需要和kubernetes
钟大發·2024-01-20 07:53

使用docker-compose构建elasticsearch集群

容器集群的配置文件是需要定制修改的，但是每次启动以后再进去修改是一个工作量非常大的事情，也是在集群管理的时候最不能做的，一定要一步到位。
十五倍压枪·2024-01-19 14:10

【大数据】HBase集群安装部署

配置好网络环境安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动1.HBase集群安装部署1.1准备安装包下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
橙子园·2024-01-19 00:51

shell spark-submit提交之后获取appid，并在程序中扫描状态

首先看一下提交脚本#/sbin/bash/opt/cloudera/parcels/SPARK2/bin/spark2-submit\exportJAVA_HOME=/opt/jdk1.8.0_31TASK_TYPE
南修子·2024-01-18 22:16

【RabbitMQ】集群和运维

目录集群方案原理RabbitMQ集群模式主备模式远程模式普通集群模式镜像队列模式多活模式集群管理RabbitMQ镜像集群配置负载均衡-HAProxy监控集群方案原理对于无状态应用（如普通的微服务）很容易实现负载均衡
Ethan-running·2024-01-18 08:32

搭建Kubernetes容器集群管理系统

实验环境：需要三台全新的Centos7.6系统。Kubernetes各组件之间的关系：1、Kubernetes的架构由一个master和多个minion组成，master通过api提供服务，接受kubectl的请求来调度管理整个集群；kubectl是一个k8s平台的一个管理命令。2、Replicationcontroller定义了多个pod或者容器需要运行，如果当前集群中运行的pod或容器达不到配
WeMeHM·2024-01-18 01:01

ZooKeeper那些事

分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。Zookeeper保
.攻城狮.·2024-01-18 00:58

使用 TiUP 部署 TiDB 集群

以tidb用户为例，后续安装TiUP及集群管理操作均通过该用户完成：执行如下命令安装TiUP工具：curl--proto'=https'--tlsv1.2-sSfhttps://tiup-mirrors.pingcap.com
千百元·2024-01-17 20:36

[CDH5] Oozie web console is disabled 问题解决

CDH5安装完成以后OozieWebUI点开显示Ooziewebconsoleisdisabled.问题解决：下载ExtJS2.2:下载地址：http://archive.cloudera.com/gplextras
尼小摩·2024-01-17 19:12

ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用

分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
Java程序员YY·2024-01-17 15:08

ZooKeeper 应用场景深度解析

目录引言1.分布式配置管理2.分布式锁3.分布式队列4.分布式协调5.分布式协同6、数据发布与订阅7、命名服务8、集群管理结论引言ZooKeeper是一个分布式协调服务，被广泛应用于构建高可用、可靠性强的分布式系统
喔的 喔的嘛呀·2024-01-17 14:18

flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
添柴少年yyds·2024-01-17 00:55

HBase集群管理

通过之前文章的描述，我们已经有能力设计并部署搭建HBase集群了当我们的HBase集群开始运行的时候，新的挑战又来了例如，我们可能会遇到在集群运行的时候添加或者删除节点又或者需要拷贝/备份整个集群的数据等等如何在集群运行的时候以最小的代价来执行这些操作呢？下面总结一下HBase集群的相关运维和管理知识点运维任务添加/删除节点在HBase中动态添加/删除节点非常简单，只需要一些命令操作即可，HBas
xiaohei.info·2024-01-16 16:08

Kubernetes各组件工作原理 & Pod 生命周期

一、kubernets组件工作原理-概述：在集群管理方面，kubernetes将集群中的机器分为Master（主）节点和一些node（工作）节点。
爱哭的毛毛虫*·2024-01-16 13:58

Flume用法总结

Flume用法总结一、Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。可以实时读取服务器的日志写入HDFS。
天选之子123·2024-01-16 10:53

K8s面试题——基础篇1

Kubernetes和Docker的关系五、简述Kubernetes中什么是Minikube、Kubectl、Kubelet六、简述Kubernetes常见的部署方式七、简述Kubernetes如何实现集群管理八
百慕卿君·2024-01-16 06:47

4. ZooKeeper

2ZooKeeper2.1ZooKeeper使用场景ZooKeeper是一个分布式服务框架,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:命名服务,状态同步,配置中心,集群管理等命名服务:
随便写写咯·2024-01-16 06:26

kafka丢弃zookeeper，使用kraft架构

1、简介Kafka现有架构元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。
知其_所以然·2024-01-16 03:04

日志采集传输框架之 Flume，将监听端口数据发送至Kafka

1、简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，主要有以下几个部分组成。
知其_所以然·2024-01-16 03:03

ZooKeeper 简介

ZooKeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Ma
HuaLuLemon·2024-01-15 21:37

大数据开发之Flume

第1章：Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。
Key-Key·2024-01-15 12:35

Cloudera公司的CDH与HDP均无法下载问题（403 Forbidden (varnish) the provided credentials were incorrect）

Cloudera公司的CDH与HDP均无法下载问题1.问题描述2.解决方法1.问题描述最近想下载CDH的相关安装包，发现需要输入用户名和密码然而输入cloudera账号之后，会出现如下提示也就是说cloudera
小宇0926·2024-01-15 07:41

本地k8s集群搭建保姆级教程(4)-安装k8s集群Dashboard

安装k8s集群管理UI1Dashboard安装1.1参考文档Dashboard是基于网页的Kubernetes用户界面。
幸福指北·2024-01-15 07:57

项目实战-知行教育大数据分析平台-01

目录一、业务流程二、项目架构流程三、clouderamanager（CM）基本介绍四、项目环境搭建五、维度分析六、数仓建模1、维度建模2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型
吆喝的翅膀·2024-01-15 04:22

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

1、Hue简介Hue是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb
Allen_lixl·2024-01-15 00:56

分布式链路追踪专栏，分布式链路追踪：Skywalking集群管理设计

SkyWalking是一个开源APM系统，包括针对CloudNative体系结构中的分布式系统的监视，跟踪，诊断功能。核心功能如下：服务、服务实例、端点指标分析；根本原因分析，在运行时分析代码；服务拓扑图分析；服务，服务实例和端点依赖性分析；检测到慢速服务和端点；性能优化；分布式跟踪和上下文传播；数据库访问指标。检测慢速数据库访问语句（包括SQL语句）；报警。SkyWalking目前是Apache
架构随笔录·2024-01-14 23:26

使用 spark-submit 部署应用、自定义分区器、checkpoint、共享变量

spark-submit部署应用附加的参数：spark-env.sh具体的属性配置信息配置资源分配参数调优案例分析自定义分区器检查点checkpointSpark共享变量spark-submit部署应用不论使用的是哪一种集群管理器
Geek白先生·2024-01-14 09:31

spark-submit 与 spark-shell 介绍

这个脚本负责设置spark使用的classpath和依赖，支持不同类型的集群管理器和发布模式。2、运行方式.
火成哥哥·2024-01-14 09:59

api网关-kong

集群管理：Goku网关节点是无状态的，配置信息自动同步，支持节点水平拓展和多集群部署。热更新：无需重启服务，即可持续更新配置和插件。
小乞丐程序员·2024-01-14 06:10

大数据调度框架Oozie，这个学习网站让你事半功倍！

Oozie是一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache。
知识分享小能手·2024-01-14 01:59

Kubernetes 集群管理—日志架构

日志架构应用日志可以让你了解应用内部的运行状况。日志对调试问题和监控集群活动非常有用。大部分现代化应用都有某种日志记录机制。同样地，容器引擎也被设计成支持日志记录。针对容器化应用，最简单且最广泛采用的日志记录方式就是写入标准输出和标准错误流。但是，由容器引擎或运行时提供的原生功能通常不足以构成完整的日志记录方案。例如，如果发生容器崩溃、Pod被逐出或节点宕机等情况，你可能想访问应用日志。在集群中，
Doker 技术人的数码品牌·2024-01-13 23:33

centos7删除虚拟网卡

背景clouderamanager页面多台机器提示网络接口速度告警，具体提示为：“存在隐患:以下网络接口似乎未以全速运行：virbr0-nic。6主机网络接口似乎以全速运行。
qingzhongli·2024-01-13 21:58

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

k8s--基础架构--Mixed Version Proxy

这个特性使得集群管理员能够配置高可用的集群，并更安全地进行升级，通过将资源请求（在
IT艺术家-rookie·2024-01-13 05:47

【docker】Docker Swarm 核心概念及详细使用

一、什么是DockerSwarmDockerSwarm是Docker的原生集群管理工具。它的主要作用是将多个Docker主机集成到一个虚拟的Docker主机中，为Docker容器提供集群和调度功能。
顽石九变·2024-01-13 04:48

Hazelcast使用详解

使用介绍主要优缺点应用场景Java使用案例安装部署单节点部署集群部署最新版本特性介绍架构设计作为集群管理器的使用示例监控管理工具Hazelcast与SpringBoot整合Hazelcast与Vert.x
有梦想的攻城狮·2024-01-12 23:30

zookerper入门

通过监控这些数据状态的变化，从而可以达到基于数据的集群管理、统一命名服
我就是胖着玩玩的·2024-01-12 15:03

Apache Doris入门10问

主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。BE：Backend，即Doris的后端节点。主要负责数据存储与管理、查询计划执行等工作。BDBJE：Oracle
蟹老板jerry·2024-01-12 13:30

2020年全新版本ZooKeeper面试题，你绝对不知道这些问题

分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。Zookeeper保
出太阳心情好·2024-01-11 08:31

Apache Doris 入门 10 问

主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。BE：Backend，即Doris的后端节点。主要负责数据存储与管理、查询计划执行等工作。BDBJE：Oracle
SelectDB技术团队·2024-01-11 07:16

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

6月6日美股开盘后，大数据公司Cloudera股价暴跌43%，一周前，曾经同为大数据独角兽的MapR也传出了面临重大危机的消息。
烽火程序猿·2024-01-11 04:15

自动化的运维管理：探究Kubernetes工作机制的奥秘

1云计算时代的操作系统Kubernetes是一个生产级别的容器编排平台和集群管理系统，能够创建、调度容器，监控、管理服务器。容器是什么？容器是软件，是应用，是进程。服务器是什么？
海哥python·2024-01-11 02:17

CDH5x离线安装+解决报错教程

前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

Zookeeper安装入门并配置为Windows服务开机自动启动

Windows服务开机自动启动1、概述zookeeper，它是一个分布式服务框架，是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理
新手村张三·2024-01-10 09:29

Kubernetes（K8S）简介

Kubernetes是当今最流行的开源容器管理平台,是Google发起并维护的基于Docker的开源容器集群管理系统。它是大名鼎鼎的GoogleBorg的开源版本。
赵唯一·2024-01-10 07:21

云卷云舒：kubernetes简介

它能够编排多种容器任务，涵盖虚拟机集群管理、负载均衡以及网络流量分配等等。2017年，aws、微软云、阿里云等等著名的云计算公司都开始宣布原生支持kubernetes。
Cloud云卷云舒·2024-01-10 05:36

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera
Sql强·2024-01-09 07:24

Zookeeper的基础介绍和安装教程

1.2特点1.3数据结构1.4应用场景提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
有语忆语·2024-01-08 13:49

Docker中swarm管理工具

Docker中swarm管理工具1安装swarmswarm是Docker自带的容器集群管理工具。
MasonYyp·2024-01-08 10:27

【技术问题】CDH无法下载之后

Cloudera公司最近在官网宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。
yestolife123·2024-01-08 08:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他