CDH集群搭建

java 全栈高级工程师，架构师学习资源 交流

redis集群zookeeper集群搭建与调优dubbo/dubbox分布式服务jvm调优，内存分析java并发dockerlinuxjmeter性能测试netty/minamycathadoop管理级别技能
昵称不能为null·2024-01-09 15:03

sqoop的安装与使用

Sqoop是一个用于在hadoop与mysql之间传输数据的工具Sqoop环境搭建(1)上传安装包:sqoop-1.4.6-cdh5.14.2.tar.gz到/opt/software(2)解压安装包:
xinxinyydss·2024-01-09 15:23

hadoop分布式集群搭建

虚拟机准备虚拟机单机配置：内存4G，硬盘50G安装好linux/boot200M/swap2g/剩余*安装VMTools关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoff设置静态IP，改主机名编辑vim/etc/sysconfig/network-scripts/ifcfg-eth0改成=============================
麦田里的稻草人19994·2024-01-09 08:24

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera
Sql强·2024-01-09 07:24

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark
Lfx_come on·2024-01-09 06:02

Elasticsearch集群搭建、优化及实践

文章目录一、Elasticsearch集群1、Elasticsearch集群概念2、Elasticsearch集群安装3、安装Kibana4、测试集群状态二、Elasticsearch优化1、磁盘选择2、分片策略3、内存设置三、Elasticsearch实践1、ES自动补全2、创建索引3、安装logstash导入数据4、项目搭建5、自动补全功能6、高亮搜索关键字功能7、页面展示总结：一、Elast
帅得真的是无敌了·2024-01-08 23:28

48.Kerberos高可用配置

48.1演示环境介绍Kerberos已安装并与CDH集成操作系统RedHat7.2用sudo权限的ec2-user用户Kerberos节点ip-186-33-22-88.ap-southeast-1.compute.internal
大勇任卷舒·2024-01-08 20:18

一、二进制方式 安装部署K8S

目录一、操作系统初始化1、关闭防火墙2、关闭SELinu3、关闭swap4、添加hosts5、同步系统时间二、集群搭建——使用外部Etcd集群1、自签证书2、自签EtcdSSL证书①创建CA配置文件：ca-config.json②
繁华依在·2024-01-08 18:28

java技术专家【分布式框架】Mycat2应用与实战教程（四）

因此，接下来我们来完成Mysql双主双从的集群搭建，双主双从的原理很简单，相当于有两个一主一从，然后两个主节点再互为主从，互相复制数据，然后借助MyCat的机制，先把一台主作为写库，另
不走小道·2024-01-08 16:15

StarRocks集群搭建

StarRocks集群搭建一、StarRocks简介StarRocks是新一代极速全场景MPP(MassivelyParallelProcessing)数据库。
awsless·2024-01-08 14:41

【技术问题】CDH无法下载之后

也就是说CDH各版本都不能免费获取了。
yestolife123·2024-01-08 08:14

SpringBoot基于Redis(7.2)分片集群实现读写分离

文章目录一、前置提要二、集群搭建三、SpringBoot访问分片集群一、前置提要SpringBoot访问Redis分片集群和Redis哨兵模式，使用上没有什么区别。
木子dn·2024-01-07 09:40

【K8S】v1.26集群搭建 - 完整篇

K8Sv1.26集群环境安装-完整篇Kubernetes1.26安装一、集群简介资源清单二、Vagrant创建三台CentOS7服务器三、虚拟机环境配置四、docker安装五、k8s安装六、k8smaster节点初始化操作步骤初始化失败问题集6.1问题：`containerd`问题6.2问题：`cgroup`问题七、k8s从节点加入master节点操作步骤加入失败问题集7.1token过期7.2.
swotXu·2024-01-07 08:34

k8s- 集群搭建(kubeadm 方式)

1、前置知识点目前生产部署Kubernetes集群主要有两种方式：（1）kubeadmKubeadm是一个K8s部署工具，提供kubeadminit和kubeadmjoin，用于快速部署Kubernetes集群。官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/（2）二进制包从github下载发行版的二进制包
码农GG·2024-01-07 00:35

ElasticSearch 8.6.1 集群搭建

首先保证每个单节点都可以启动然后在组成集群之前要删除之前单节点启动的data的node信息每个es节点的配置viconfig/elasticsearch.ymlcluster.name:my-application//集群名称，集群里的每个节点都一样node.name:node-235//节点名称，集群里的每一个都不一样path.data:/home/xxx/es/data//自定义path.lo
xyq54·2024-01-06 23:33

es 简单集群搭建，版本8.6.2

Node-1配置：#elasticsearch.ymlforNode-1cluster.name:my-test-clusternode.name:node-1path.data:/path/to/data/node-1path.logs:/path/to/logs/node-1network.host:127.0.0.1http.port:9200transport.port:9300disco
mmmmm12342·2024-01-06 23:30

Apache Pulsar[4] 伪集群环境搭建

1准备工作操作系统：macOs运行环境：java82集群组成zk集群（3个节点）bk集群（3个节点）pulsar集群（3个节点）3搭建过程3.1zk集群搭建zk版本：3.4.121下载并解压zk2将解压好的
QuinnSun·2024-01-06 13:08

获取两个字符串中最大的相同子串

classTest{publicstaticvoidmain(String[]args){Stringa="abcwerthelloadcedf";Stringb="cdhelloesadcedf";Stringc
hhiijay·2024-01-06 13:33

Spark集群搭建

Spark集群结构图名词解释Driver该进程调用Spark程序的main方法，并且启动SparkContextClusterManager该进程负责和外部集群工具打交道，申请或释放集群资源Worker该进程是一个守护进程，负责启动和管理ExecutorExecutor该进程是一个JVM虚拟机，负责运行SparkTask运行一个Spark程序大致经历如下几个步骤启动Driver,创建SparkCo
我像影子一样·2024-01-06 09:43

新一代大数据管家 DataSophon 1.2 重磅发版

在大数据领域，现在普遍认为是后Hadoop时代，CDH的停更和闭源导致传统的Hadoop体系组件栈没有一个称手好用的管理工具，越来越多新一代的大数据项目也在层出不穷,同样也需要管理，并且需要适配云原生的能力
Datavane·2024-01-06 05:47

1.大数据概述

目录概述hadoophadoop模块hadoop发行版apache社区版本CDP(CDH+HDP)其它云产商框架选择hadoop安装结束概述先了解几个常用的网站apache官网hadoop官网hadoopgithubhttps
流月up·2024-01-05 23:00

【无标题】

ETL项目–自学笔记（补充）1、服务启动cdh虚拟机中服务会自动启动手动启动启动hadoop服务/export/server/hadoop/sbin/start-all.sh启动hive服务metastore
中长跑路上crush·2024-01-05 23:02

RabbitMQ集群搭建

目录1RabbitMQ集群搭建2镜像模式2.1镜像模式实现3HAProxy安装和配置3.1.X86架构的CentOS虚拟机中安装HAProxy编辑3.2ARM架构的CentOS虚拟机中安装HAProxy4HAProxy
1　　　　　　·2024-01-05 21:20

Pentaho Kettle 6.1连接CDH5.4.0集群

最近把之前写的HadoopMapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的PentahoKettle来测试,把一些配置过程和遇到的坑记录下来.Kettle可以在官网下载到,但是官网会让你注册才能下载而且速
香山上的麻雀·2024-01-05 16:43

Redis缓存高可用集群

Redis缓存高可用集群一、Redis集群方案比较1、哨兵模式2、高可用集群模式二、Redis高可用集群搭建1、在第一台服务器建立两个节点2、第一个节点的redis.conf配置3、启动6个redis实例
编程小菜吉·2024-01-05 15:32

CDH集群kafka运行正常但是连接不上的问题

Causedby:org.apache.kafka.common.errors.TimeoutException:Call(callName=listNodes,deadlineMs=*****,tries=1,nextAllowedTryMs=*****)timedoutat*****after1attempt(s)Causedby:org.apache.kafka.common.errors.
李小晨同学·2024-01-05 08:41

CDH6.3.2平台kafka问题记录

最近在弄kafka数据同步，总是出问题，所以重装了好几次kafka1.第一次直接CDH平台删除后重新部署kafka，结果启动失败。
李小晨同学·2024-01-05 08:41

datax不支持对hive hdfs(ha)高可用 的hdfsreader（即无法读取到HDFS多节点高可用）.

处理方案：采用引入CDH的hive、hdfs等配置文件到hdfsreader,jar替换原的jar文件解决。
whbi·2024-01-05 08:06

hive问题记录

com.ctc.wstx.exc.WstxParsingException:Unexpectedclosetag;expected.at[row,col,system-id]:[48,15,"file:/opt/cloudera/parcels/CDH
李小晨同学·2024-01-05 08:02

【大数据（一）】hadoop2.4.1集群搭建(重点)

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=server1.itcast.cn1.2修改ip地址vi/etc/sysconfig/network-scripts/ifcfg-eth0重新启动网络：servicenetworkrestart1.3修改ip地址和主机名的映射关系v
幸福巡礼·2024-01-05 08:09

记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出

观察到CDH页面上该节点已经下线。问题解决思路第一步：查看系统日志翻遍hbase各种日志均无任何报错信息，那么我们怀疑是不是系统把这个节点给kill掉了呢。接下来
yzw_ai_sx·2024-01-05 02:11

ClickHouse高可用集群搭建（离线安装）

一、简介ClickHouse官网二、生产集群搭建准备Zookeeper集群Linux服务器四台(以四台为列)创建用户组和用户groupaddclickhouse---创建用户组useradd-m-d/home
Sql强·2024-01-04 15:49

ElasticSearch 集群搭建与状态监控cerebro

海量数据存储问题:将索引库从逻辑上拆分为N个分片(shard)，存储到多个节点单点故障问题:将分片数据在不同节点备份(replica)目录一、部署es集群二、集群搭建案例：利用3个docker容器模拟3
Crhy、Y·2024-01-04 13:16

ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示

文章目录一、集群环境准备二、搭建ZooKeeper集群和配置三、搭建Kafka集群对接zk四、搭建ES集群和配置五、部署Logstash消费Kafka数据写入至ES六、部署Filebeat收集日志七、安装Kibana展示日志信息一、集群环境准备1.1因为资源原因这里我就暂时先一台机器部署多个应用给大家演示硬件资源节点组件8c16g50node1-192.168.40.162Kafka+ZooKee
小蔡技术栈·2024-01-04 11:09

Nacos 持久化及集群的搭建【微服务】

文章目录一、统一配置管理二、微服务配置拉取三、配置热更新四、多环境共享配置五、Nacos集群搭建1.集群结构2.初始化数据库3.搭建集群六、Nginx反向代理七、启动项目测试一、统一配置管理案例练习的时候我们只有两个微服务
栈老师不回家·2024-01-04 10:51

CloudManager大数据本地环境标准部署文档

二、安装介质FTP服务器：http://172.16.246.252:81/hadoopteam/cloudmanager/CDH-5.8.2-1.cdh5.8.2.p0.3-el7.parcelhttp
有语忆语·2024-01-04 04:29

深入理解Mysql MHA高可用集群搭建：从实验到实战

1.简介MHA（MasterHighAvailability）是一个高效的开源MySQL高可用性解决方案。由日本开发者yoshinorim（前DeNA员工，现在Facebook）创建，MHA支持MySQL的主从复制架构，自动化主节点故障转移。当主节点发生故障，MHA能迅速将最新数据的从节点升级为新主节点。这个过程中，MHA从其他从节点获取额外信息，确保数据一致性。MHA还能在线切换主节点，按需调整
光芒软件工匠·2024-01-03 22:21

关于Cloudera Hadoop的安装（CentOS）- 官文标注（待完成）

CDH5andClouderaManager5RequirementsandSupportedVersionsInanenterprisedatahub,ClouderaManagerandCDHinteractwithseveralproductssuchasApacheAccumulo
DazzlingTiger·2024-01-03 21:15

HDFS重温

今天被问到分布式，有些忘记，查资料回忆起分布式集群构建，现在重温集群搭建过程费话不多说，来个简图NameNode：HDFS群集包含单个NameNode（主服务器），它管理文件系统命名空间并控制客户端对文件的访问权限
zty_1995·2024-01-03 18:18

Linux集群组件启停查脚本

大数据平台中涉及很多集群，如果你使用的不是CDH、Ambari等集成版工具，而是自己去部署的源生组件集群，那可能需要简单的脚本去启动、停止、查看状态。这里以zookeeper为例，起一个简单的。
碼小白·2024-01-03 13:31

HBASE基础

hbase的逻辑结构是由行与列族构成的，其中的行是由rowkey（行键唯一确定），列族是由多个列构成的6、hbase中的数据都是以字节的形式存储7、伪分布式安装Hbase:(1)将hbase-1.2.0-cdh5.14
xinxinyydss·2024-01-03 12:25

Trino兼容Hive SQL方案探索

应用场景公司的经营分析使用的数据仓库是基于开源CDH5.12.6自带的Hive（1.1.6版本）实现的。数据仓库的开发平台使用的是数澜科技的数栖平台（4.8.4版本）。
DawsonSally·2024-01-03 11:15

Redis专题(持续更新)

03-VIP-Redis缓存高可用集群文章目录03-VIP-Redis缓存高可用集群正文1、Redis集群方案比较2、Redis高可用集群搭建redis集群搭建3、Java操作redis集群4、Redis
Player·2024-01-03 09:56

kubeadm来快速搭建一个K8S集群

二进制的搭建更适合50台主机以上的大集群，kubeadm更适合中小型企业的集群搭建主机节点IP组件master20.0.0.61docker、kubeadm、kubelet、kubectl、flannelnode0120.0
，老六·2024-01-03 07:55

Apache Hive详解

目录一、引入Hive简介为什么要使用HiveHive的特点Hive的发展历程二、Hive架构体系三、MySQL安装安装准备安装卸载（了解）四、Hive集群搭建准备工作安装过程五、Hive的MySQL元数据库与表六
毫无感情的dj·2024-01-02 07:06

Hive(二)之bash群起脚本

集群的启动启动HDFS启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode
DarrenmondZhang·2024-01-02 07:45

Linux Hadoop安装

Hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
神游御风·2024-01-01 14:08

ceph集群搭建到应用从入门到熟练，包含块存储、对象存储、cephfs的应用、cephx认证等

ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。ceph理论知识略…ceph集群实验环境服务器主机public网段IP（对外服务）cluster网段IP（集群通信）角色deploy192.168.2.120用于部署集群、管理集群ceph-node1192.168.2.121192.168.6.135ceph-mon、c
绝恋96·2024-01-01 14:50

CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败

CDH6.3.2集成flink1.18zookeeper版本不匹配Flink-yarn不能正常启动，而在CHDWeb页面，flink日志报错提示不明确，不能定位具体错误。
qq_21480329·2024-01-01 10:05

Docker：Docker集群配置与应用(Docker Swarm)

DockerSwarm集群1.1为什么要使用容器集群1.2什么是Swarm集群1.3DockerSwarm特性1.4Swarm节点1.5Swarm集群管理命令Swarm集群节点管理命令1.6DockerSwarm集群搭建前言可以认为
boy快快长大·2024-01-01 08:55
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他