CDH集群搭建

Intelj IDEA 配置Hadoop 远程调试环境

远程hadoop版本：Hadoop3.0.0+cdh6.3.2一、设置本地hadoop环境1、下载hadoop下载hadoop-3.0.0.tar.gz，并解压到D:\BigData\并重命名为hadoop
跟着大数据和AI去旅行·2024-01-31 12:34

zookeeper curator 伪集群 - 安装 -配置 - 秒懂

zookeeper的伪装集群搭建疯狂创客圈Java分布式聊天室【亿级流量】实战系列之-22【博客园总入口】文章目录zookeeper的伪装集群搭建写在前面1.1.
40岁资深老架构师尼恩·2024-01-31 09:19

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【
forest_long·2024-01-31 08:06

构建高效可靠的消息队列系统：设计与实现

目录一、引言二、设计目标2.1、高可用性1.集群搭建1.1DockerCompose配置示例2.容错和恢复2.1异常检测与自动故障迁移2.2SpringBoot代码示例3.心跳检测4.优雅关闭2.2、持久性
喔的 喔的嘛呀·2024-01-31 07:31

Zookeeper实现分布式队列

Zookeeper不适合大数据量存储，官方并不推荐作为队列使用，但由于实现简单，集群搭建较为便利，因此在一些吞吐量不高的小型系统中
山鸟与鱼！·2024-01-31 05:33

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2024-01-31 05:41

mongodb java spring_MongoDB和Java（4）：Spring Data整合MongoDB（XML配置）

最近花了一些时间学习了下MongoDB数据库，感觉还是比较全面系统的，涉及了软件安装、客户端操作、安全认证、副本集和分布式集群搭建，以及使用SpringData连接MongoDB进行数据操作，收获很大。
務酒者·2024-01-31 02:03

三、ElasticSearch集群搭建实战

本篇ES集群搭建主要是在LinuxVM上，未使用Docker方式,ES版本为7.10,选择7.10版本原因可以看往期文章介绍。
南天一梦N·2024-01-31 02:29

ElasticSearch 7.4集群部署 启用x-pack验证 Kibana7.4用户管理

一.es7.4集群搭建1.1下载es以及修改相应配置1.1.1节点规划内网ip节点192.168.18.126node-1192.168.18.125node-2192.168.18.133node-31.1.2
Cocktail_py·2024-01-31 02:28

四、ES集群安全策略设置 X-pack

本文主要是结合ES集群搭建时使用，并且适用于ES7.x以上版本背景及安全策略方案对比ES7.x以下版本默认几乎没有任何安全策略，如果集群IP、端口被暴露，在可访问的情况下任何用户都可以对索引进行管理以及数据的增删改查等
南天一梦N·2024-01-31 02:57

Linux自动备份MySQL数据库

目录1.创建备份目录2.创建自动化备份脚本3.执行备份脚本测试4.设置每天凌晨两点自动执行1.创建备份目录cdhomemkdirbackup2.创建自动化备份脚本vimbackup.sh编辑脚本内容主机
数据艺术家.·2024-01-31 01:05

kafka集群搭建需要做的事情

首先，虚拟机克隆好之后的步骤如下：1.修改IP、主机名，关闭防火墙；（reboot重启）2.在/etc/hosts文件中进行IP与主机名的映射配置，集群中每天都记得配置；3.安装JDK并进行分发；进入/etc/profile.d/目录创建my_env.sh文件并在其中配置JAVA_HOME并进行分发；（分发jdk前先卸载自带的jdk）；4.安装zookeeper并进行分发，具体为：首先，在zook
薛薛哦·2024-01-30 21:24

ELK集群搭建(基础教程)

ELK集群搭建(基础教程)目录：机器准备集群内各台机器安装Elasticsearch安装部署Kafka（注：每个节点都配置，注意ip不同）安装logstash工具安装filebeatELK收集Nginx
lqcbj_IT老混混·2024-01-30 16:41

103.Flume对Kafka数据采集并写入HBase

103.1演示环境介绍CM版本：5.12.1CDH版本：5.12.1Flume，HBase服务已安装且正常运行root用户操作103.2操作演示1.HBaseSink开发示例开发HBaseSink需要添加
大勇任卷舒·2024-01-29 21:54

Elasticsearch-head插件的安装

2、下载es-head插件3、启动es-head插件4、设置跨域5、访问效果三、ElasticSearch7.9.0集群搭建详细步骤总结前言介绍三种安装es-head插件的方式1、Google浏览器插件安装
lfwh·2024-01-29 11:55

Pytorch学习记录-Pytorch可视化使用tensorboardX

https://www.jianshu.com/p/23205a7921cdhttps://www.jianshu.com/p/6235c1ecde67https://www.jianshu.com/p
我的昵称违规了·2024-01-29 11:20

Redis集群方案及Redis3.2本地集群搭建搭建

前言我们都知道Redis是一个很优秀的缓存框架，很大程度上提高了我们获取数据的效率，然而在现在的互联网环境下，Redis存储的数据有限，并且为了保证高可用性，我们得想办法来保证Redis能够一直高效的运转，使得我们的请求到达时，能快速并且准确的返回我们需要的数据，所以我们得做集群，保证随时都有一个Redis服务可用为什么Redis要做集群，总结下来有以下三点【1】解决单点故障问题，保证随时都有一个
fortune_often_in·2024-01-29 07:20

【cdh】hive执行SQL提示缺少3.0.0-cdh6.3.2-mr-framework.tar.gz文件

问题：执行SQL报错提示缺少文件异常信息如下在hdfs上查看的时候连文件夹都没有，所以这个异常会抛出，但是我是基于CDH搭建的，可以直接基于下面操作执行完成之后查看HDFS文件重新执行SQL发现可以正常执行了
谷新龙001·2024-01-29 07:46

使用 create-react-app 创建 react 应用

创建项目并启动第一步：全局安装：npminstall-gcreate-react-app第二步：切换到想创建项目的目录，使用命令create-react-apphello-react第三步：进入项目目录，cdhello-react
hsdjhaiwhdnjw·2024-01-29 05:42

【Docker】nacos集群搭建Nginx负载均衡

目录一、mysql安装与基操1.1数据准备1.2创建mysql与数据表二、Nacos集群部署2.1创建nacos及配置2.2创建Nginx容器一、mysql安装与基操1.1数据准备拉取mysqldockerpullmysql:5.7(版本)定义挂载目录mkdir-p/mysql/{conf,data,script}配置my.cnfmy.cnf内容：[mysqld]#Mysql服务的唯一编号每个my
云村小威·2024-01-28 18:13

在CDH6.3中单独升级Impala到Apache Impala 3.4

１.实验环境一个CDH6.3.3集群，部署在三台Ubuntu16.04机器上一台同样环境的Ubuntu16.04机器用来编译ApacheImpala3.4CDH6.3.3对应的Impala基础版本是ApacheImpala3.2
stiga-huang·2024-01-28 12:06

如何对CDH集群中的Impala打印线程堆栈

如何对CDH集群中的Impala打印线程堆栈上一篇文章《Impala查询卡顿分析案例》介绍了怎么对Impala进程打印线程堆栈，JVM部分直接用jstack比较直接，但C++部分由于要使用gdb或breakpad
stiga-huang·2024-01-28 12:05

Impala依赖组件的客户端源码下载

Impala编译时默认依赖CDH/CDP组件，这些组件跟开源Apache组件的源码可能有差异，但对应的客户端源码也是开源的，可以从S3下载。
stiga-huang·2024-01-28 12:04

66.管理Hive外部表——Sentry

66.1演示环境介绍操作系统：CentOS6.5CM和CDH版本：5.12.1采用root用户操作集群运行正常，Kerberos/HDFS/Hive/Impala/Hue服务已与Sentry集成，Hive
大勇任卷舒·2024-01-28 11:57

DevOps工程师技能_容器化技术之K8s集群搭建

K8s-集群搭建部署说明1、安装包下载CentOSLinux7.61810x8664iso官方原版镜像下载https://renwole.com/archives/15302、系统环境配置ipaddrvi
Coder_Boy_·2024-01-28 06:57

Elasticsearch8.1.0 集群搭建（linux）

一、传统模式1.下载elasticsearchDownloadElasticsearch|Elastic最新版的elasticsearch，最好jdk选用172.linux配置es用户tar-xzvfelasticsearch-8.1.0-linux-x86_64.tar.gzgroupaddesuseraddes-gespasswdes:123456chown-Res:eselasticsear
发呀发呀哈哈·2024-01-28 05:53

Nginx进阶篇【五】

Nginx进阶篇【五】八、Nginx实现服务器端集群搭建8.1.Nginx与Tomcat部署8.1.1.环境准备(Tomcat)8.1.1.1.浏览器访问:8.1.1.2.获取动态资源的链接地址:8.1.1.3
良辰美景好时光·2024-01-28 03:08

ELK Stack 7.3.0构建多系统多用户安全认证日志平台（二）

Elasticsearch集群搭建，操作系统Linuxcentos7三台机器：192.168.137.55192.168.137.56192.168.137.571、192.168.137.55这台机器
程序员之成长路·2024-01-28 00:56

centos7 安装k8s集群

Kubernetes集群搭建(centos7)部署架构ip域名备注安装软件192.168.2.246master主节点DockerKubeadmkubeletkubectlflannel192.168.2.247node1
ricky饭团·2024-01-27 15:50

利用Docker搭建Mysql 5.7强一致性集群解决方案实战

利用Docker搭建Mysql5.7强一致性集群解决方案实战前言拓展：Mysql高可用,弱一致性集群搭建解决方案之：Replication主角：Mysql强一致集群搭建解决方案：percona-xtradb-cluster
24K不怕·2024-01-27 12:50

Oracle 11g RAC安装运维总结

1.1高可用（HA）1.2负载均衡（LB）1.3RAC集群1.4CRS2架构2.1RAC环境组成2.1.1硬件环境2.1.2软件组成2.2CRS组成2.3单实例与RAC环境3.Oracle11gRAC集群搭建
不 古·2024-01-27 11:03

linux 查看zookeeper server运行版本号

zookeeper版本查看运行命令：echostat|nclocalhost2181显示如下图所示：Zookeeperversion:3.4.5-cdh6.3.2--1,builton11/08/201913
qq_21480329·2024-01-27 08:25

03-Redis缓存高可用集群

文章目录1、Redis集群方案比较2、Redis高可用集群搭建redis集群搭建Java操作redis集群4、Redis集群原理分析槽位定位算法跳转重定位Redis集群节点间的通信机制gossip通信的
野心与梦·2024-01-27 08:39

Cloudera5 安装 CDH 卡住 报 Failure due to stall on seeded torrent

Failureduetostallonseededtorrent屏幕快照2017-12-1021.47.53.png可以用curl-vhttp://localhost:7180/cmf/parcel/download/CDH
TreviD·2024-01-27 06:21

37.Java连接Kafka

37.1实验环境Intellij已安装且正常运行Maven环境正常RedHat7.2CM和CDH版本为5.11.2Kafka2.2.0-0.10.2创建topic，test3有3个replication
大勇任卷舒·2024-01-27 06:40

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2024-01-27 03:24

CDH 6.3.2 Parcel 包安装 Apache Flink 1.10.2

CDH6.3.2Parcel包安装ApacheFlink1.10.2文档材料介质路径调整Maven配置文件编译Flink1.创建服务目录2.下载介质3.编译FlinkShaded制作Pacel包配置FlinkParcel1
JP.Hu·2024-01-26 19:37

手把手超详细Docker部署MongoDB集群

Mongodb集群搭建mongodb集群搭建的方式有三种：主从备份（Master-Slave）模式，或者叫主从复制模式。副本集（ReplicaSet）模式。分片（Sharding）模式。
YellowKang·2024-01-26 18:04

ElasticSearch7.7.1集群搭建

前言Elasticsearch（ES）是一个基于ApacheLucene的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储、实时检索、高效分析的场景。通过简单易用的RESTfulAPI，Elasticsearch隐藏了Lucene的复杂性，使得全文搜索变得简单。以下是Elasticsearch的主要特点：分布式：由于其分布式特性，Elasticsearch可以将海量数据分散到多台服务器上
卢卡上学·2024-01-26 16:32

5. 梳理离线批次spark作业提交脚本

/bin/bash-x#[email protected]_NAME="SparkALS"CDHUSER=adminCDHPASSWORD=adminCDHURL=http:/
赛尔木·2024-01-26 11:47

Linux高可用集群搭建

1.准备两个部署好项目的服务器这里采用VM+CentOS7进行虚拟机搭建，为了避免重复搭建的繁琐，创建好第一个虚拟机并搭建好环境后，第二个使用克隆右键虚拟机-》管理-》克隆选择好安装路径确定即可完成clone克隆完成后打开两个虚拟机，可使用命名来修改主机名hostnamectlset-hostname主机名两个虚拟机分别安装keepalived,具体步骤如下安装keepalivedyuminsta
顾十方·2024-01-26 09:03

MongoDB集群搭建（三节点副本集）

软件包安装0、主机规划IP地址访问端口10.0.0.2012701710.0.0.2022701810.0.0.203270191、MongoDB安装包下载下载地址：https://www.mongodb.com/try/download/community版本根据需求选择，Mongodb6.0及以上的版本没有mongo命令2、上传至服务器，并添加环境变量将下载的安装包mongodb-linux-
四火..·2024-01-26 09:29

Hadoop3.x学习笔记

Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount）4、Hadoop集群搭建
魅Lemon·2024-01-26 09:24

php连接redis集群 CodeIgniter(ci)框架redis5集群RedisClustert类使用，php redis集群加密码调用

注意：如果redis集群配置了密码，需要把php环境升级到php7.3，不然无法使用redis5集群搭建（集群加密）看这里：https://blog.csdn.net/u011477914/article
爱吃榴莲的橙子·2024-01-26 08:56

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。星环一站式多模型大数据基础平台TDH架构图TD
星环科技·2024-01-26 07:08

使用CDH的api接口对cdh服务进行滚动重启

同时cdh的大数据服务对用户都是黑盒。无法直接操作。
Mumunu-·2024-01-26 01:32

CDH浏览器安装流程

1主节点得ip：7180，然后输入账号密码：admin，admin2然后下一步下一步，选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置（安装得时候，一般做了配置）6然后下一步，然后选择自定义安装，先安装最基本得几个组件：HDFSHbaseZooKeePerYARN7然后就是分配主机安装组件了，分配规则是要均衡，而
PunkP·2024-01-25 23:41

Hbase集群安装部署

hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com/cdh5
我还不够强·2024-01-25 12:02

Kubeadm安装单master多node节点K8S集群

kubeadm安装k8s1.25版本集群步骤环境说明实验环境规划集群搭建规划初始化安装k8s集群的实验环境安装虚拟机更新yum源和操作系统配置机器主机名配置主机hosts文件，相互之间通过主机名互相访问配置主机之间无密码登录关闭交换分区
sissie喵~·2024-01-24 18:15

22-07-19 西安 RabbitMQ（03） 消息可靠投递、消费端限流、死信队列、延迟队列、集群搭建

消息的可靠投递消息发送方希望杜绝任何消息丢失或者投递失败，RabbitMQ为我们提供了两种方式用来控制消息的投递可靠性模式confirm确认模式return退回模式消息从producer到exchange有问题了则会返回一个confirmCallback（确认模式）。消息从exchange–>queue投递失败则会返回一个returnCallback（退回模式）利用这两个callback控制消息的
￡小羽毛·2024-01-24 11:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他