cdh集群安装

CDH6.3配置安装实操

环境要求Redhat7.4安装CDH6.3。
MrGrant·2023-08-18 06:57

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
Juicedata·2023-08-17 22:48

阿里云服务区ECS，申请免费的服务器之后，如何使用xshell 登陆，找不到匹配的host key 算法

问题当在阿里云免费领取服务器之后，使用xshell登陆不上，提示找不到匹配的hostkey算法或者找不到匹配的keyexchange算法咋解决2解决在在服务器端配置文件：/etc/ssh/sshd_config#在行尾增加",ecdh-sha2
一写代码就开心·2023-08-17 20:15

CDH Hadoop 3.0 使用OSS作为储存 2021-09-07

简介：CDH和CM(ClouderaManager)CDH(Cloudera’sDistribution,includingApacheHadoop)是众多Hadoop发行版本中的一种，由Cloudera
迷藏_·2023-08-17 16:41

使用FIFO的文件控制shell的线程数

/bin/bashdate+'%Y/%m/%d%H:%M:%S'HADOOP_CONF_DIR=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0
飞天大漠·2023-08-17 12:17

Cloudera 管理Hadoop API 依赖

翻译：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_hadoop_api_dependencies.html
金刚_30bf·2023-08-17 10:25

sealos安装k8s

一、前言1、我前面文章有写过使用kubeadm安装的方式，大家可以去参考（二）k8s集群安装，有一系列的k8s文章说明2、安装k8s的方式有很多kubeadmsealoskubespray等等3、关于sealos
灵泽~·2023-08-17 03:55

【k8s】基于Prometheus监控Kubernetes集群安装部署

目录基于Prometheus监控Kubernetes集群安装部署一、环境准备二、部署kubernetes集群三、部署Prometheus监控平台四、部署Grafana服务五、grafanaweb操作基于
人间打气筒（Ada）·2023-08-16 20:24

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
·2023-08-16 18:28

elasticsearch入门

ES集群安装安装环境基于Dokcer，单机安装Docker版集群。
·2023-08-16 14:06

CDH6.3.2搭建HIVE ON TEZ

参考https://blog.csdn.net/ly8951677/article/details/124152987----配置hive运行引擎在/etc/hive/conf/hive-site.xml中修改如下：hive.execution.enginemr–>tezhive.execution.engine设为tez或者运行代码的时候：sethive.execution.engine=tez
小亚文·2023-08-15 11:56

cassandra3节点集群安装

操作系统centos71、安装java8[root@ca~]#java-versionjavaversion"1.8.0_111"Java(TM)SERuntimeEnvironment(build1.8.0_111-b14)JavaHotSpot(TM)64-BitServerVM(build25.111-b14,mixedmode)2、安装python2[root@ca~]#python-VP
江南救世·2023-08-15 05:51

【openwrt学习笔记】dnsmasq源码阅读

目录一、DHCP(DynamicHostConfigurationProtocol)1.1前置知识1.2参考链接1.3IP地址分配代码分析rfc2131.cdhcp-common.cdhcp.c1.4几个小问题
瓜洲大大·2023-08-14 21:26

CDH6.3应知应会

文章目录1.CDH简介1.1CDH版本2.CDH集群的优势是什么？3.CDH集群的部署方式有哪些？4.CDH集群中如何进行故障排除和监控？5.你有使用CDH部署集群的经验吗？
程序终结者·2023-08-14 07:47

01-集群安装JDK(普通用户)

机器部署集群规划我们准备三台服务器kk01、kk02、kk03，内存4G、硬盘50G、处理器4核心2内核（总8）kk01使用192.168.188.128kk02使用192.168.188.129kk03使用192.168.188.130模板机准备我们先创建一台作为模板机，后续的两台采用完整克隆的方式1）我们配置了模块机kk01的主机名为kk012）配置了root用户的密码123456、创建了普通
书香恋仁心·2023-08-14 05:33

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。首先是大数据开发基础篇环境搭建、组件面试题等其次是更新大数据开发面经的java面试基础最后更新一个大数据开发离线数仓的实战项目，自己写入简历的项目。关注不迷路，学习要进步！！！！！！集群规划node01node02node03角色主节点从节点从节点NameNode√DataNode
葡萄成熟时_·2023-08-14 01:19

Nginx配置(ngx_http_ssl_module)

Directivessslssl_buffer_sizessl_certificatessl_certificate_keyssl_ciphersssl_client_certificatessl_conf_commandssl_crlssl_dhparamssl_early_datassl_ecdh_curvessl_ocspssl_ocsp_cachessl_ocsp_responderssl
PurelightMe·2023-08-14 00:02

Centos 7 离线安装Cloudera Manager6 和CDH6.3.1

零、前言之前写过一篇CDH5的，本文是在之前操作基础上进行的Centos7离线安装ClouderaManager5和CDH5.13.0CDH6与CDH5安装的整体流程基本一致，而且简单了不少。
LY丶Smile·2023-08-13 19:59

ES7.10集群搭建及EFK搭建教程

以下内容参考详尽的Elasticsearch7.X安装及集群搭建教程，ES7集群安装、配置、卸载，进行再次整理。简介官方的ElasticsearchReference提供了不同版本的文档连接。
小煦仔·2023-08-13 11:10

Kubernetes 默认的4种命名空间

Kubernetes集群安装完毕后随带许多（Namespace）命名空间。一些命名空间很重要，事关你的Kubernetes使用是否正常！搞坏其中一个命名空间即会损坏Kubernetes系统。
huainian·2023-08-13 09:53

MapReduce任务报错：Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1

现在放到测试集群上报错了错误信息：Error:java.lang.IllegalArgumentException:UnrecognizedHadoopmajorversionnumber:3.0.0-cdh6.2.1atorg.apache.hadoop.hive.shims.ShimLoader.getMajorVersion
ustbxyls·2023-08-12 16:34

史上最全！大数据开源框架技术扫盲

一目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS
hanxiaolaa·2023-08-12 16:22

监控工具htop安装和使用

直接使用命令安装我这里换了yum源，仓库无此安装包，故使用站点下载地址：Indexof/htop/releases(hisham.hm)image.png直接解压、编译tarxzvfhtop-2.2.0.tar.gzcdhtop
十三_0223·2023-08-12 08:43

Airflow集群搭建

部署节点cdhnode1：webserverschedulerworkercdhnode2：workerflowercdhnode3：worker访问地址Airflow：xxxFlower：xxx同步物料
哥本哈登_sketch·2023-08-11 23:41

集群安装OpenFOAM

在个人电脑上安装比较简单，在服务器上安装多出几个步骤，需要首先安装boost库以及openmpi库下面步骤主要参考这篇博文，这里我自己重复一遍。1、安装包准备1.1、首先是下载OF源码和第三方库，这里采用wget的方式下载wget-O-http://dl.openfoam.org/source/8|tarxvzwget-O-http://dl.openfoam.org/third-party/8|
ambu1230·2023-08-11 16:21

hadoop集群的安装

1、CDH软件版本重新进行编译1、编译hadoop的原因，需要对hadoop安装包中添加以下C程序库2、编译环境的准备2.1：准备Linux环境准备一台linux环境，内存4G或以上，硬盘40G或以上，
我还不够强·2023-08-11 16:28

Ceph集群安装部署

Ceph集群安装部署目录Ceph集群安装部署1、环境准备1.1环境简介1.2配置hosts解析(所有节点)1.3配置时间同步2、安装docker(所有节点)3、配置镜像3.1下载ceph镜像(所有节点执行
退役小学生呀·2023-08-11 14:18

CDH6.3.2搭建HIVE ON TEZ步骤

|引言参考：CDH6.3.2hiveontez搭建过程_我不是橙子的博客-CSDN博客CDH6.3.2版本搭建Tez执行引擎过程-虎啸千峰-博客园hiveontez集成完整采坑指南(含tez-ui及安全环境
ly8951677·2023-08-11 14:16

hadoop与第三方（CDH等）的比较

文章来源：https://blog.csdn.net/wdr2003/article/details/80248147CDH：全称Cloudera’sDistributionIncludingApacheHadoopCDH
你的努力时光不会辜负·2023-08-11 11:52

k8s集群 后续追加新节点

k8s1.20.1集群安装搭建完毕之后，从2020-12-30到2021-1-11的10多天时间里，突然想再给k8s集群增加个节点。
泥人冷风·2023-08-11 09:17

centos6 启动cloudera-scm-agent失败

背景：最近准备在自己的虚拟机上搭一个cdh的集群，在启动cloudera-scm-agent失败排查思路：进去log日志查看报错信息：/usr/bin/env:python2.7:没有那个文件或目录参考技术链接
安申·2023-08-11 06:46

基于阿里云服务器搭建CDH之后Hadoop50070页面访问不了

在CDH5.12搭建完成之后NameNode的WebUI50070访问不了。遇到这个其实不难解决！首先一定确保hadoop搭建无误。
李指导、·2023-08-11 06:19

大数据学习之Hadoop——02Hadoop集群安装

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装：1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop：解压hadoop安装包tarxfhadoop-2
Jiang锋时刻·2023-08-11 03:28

从0到1搭建数据仓库流程

Deloitte已经选好用CDH，这步可以不考虑三、规范制定在数仓建设阶段，我们只需要制定数仓相关的规范。如：分层设计规范、表命名规范、字段命名规范、
夜希辰·2023-08-11 00:17

千云物流 -安装企业CM&CDH6.3.2

基础环境准备cloudera官网下载需要的包自2021年1月31日起，所有Cloudera软件都需要订阅https://www.cloudera.com/downloads.htmlhttps://www.cloudera.com/downloads/cdp-private-cloud-trial.html这里官网不提供免费版本了。环境准备ssh配置服务器准备mysql数据库准备#获取mysqlr
青0721松·2023-08-10 21:39

解决python3和jupyter-notebook中的报错No module named pyspark和No module named ‘py4j’

背景描述：在centos7–CDH6下配置了spark2.4和hive2.3，在linux-shell中输入pyspark可以正常启动，执行下列语句可正常显示frompyspark.sqlimportSparkSessionspark
Nancy_张·2023-08-10 20:16

0483-如何指定PySpark的Python运行环境

Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1文档编写目的在使用PySpark进行开发时，由于不同的用户使用的Python
zuoseve01·2023-08-10 18:28

PySpark之Python版本如何选择(详细版)

但是两个Spark集群安装的Python版本都是一样的，都是3.6.8之前对大数据Spark了解不多，接手之后协助开发在提交PythonSpark任务的时候遇到问题。
eaglecolin·2023-08-10 18:36

2.3 DIY Base Image

，以后使用docker不用再加sudo$sudogroupadddocker$sudogpasswd-ausernamedocker#完成后重启命令行接下来建立自己的docker$mkdirhalo$cdhalo
ouchaochao·2023-08-10 17:33

Kafka多版本集群搭建超详细

本文详细的介绍了多个版本的Kafka集群安装，包括其多个版本之间的命令差异，有需要
楚生辉·2023-08-10 16:41

kubekey部署kubernetes集群

kubekey简介kubeykey是KubeSphere基于Go语言开发的kubernetes集群安装工具，可以轻松、高效、灵活地单独或整体安装Kubernetes和KubeSphere，底层使用Kubeadm
freesharer·2023-08-10 08:02

zookeeper集群安装

1、环境准备             表1-1集群节点配置信息ip操作系统内存磁盘空间安装软件10.166.50.23164位Centos7标准版8G127Gjdk1.8、zookeeper3.4.10、centos710.166.50.23264位Centos7标准版8G127Gjdk1.8、zookeeper3.4.10、centos710.166.50.23364位Centos7标准版8G1
菜鸟社长·2023-08-10 06:38

【Hadoop-HDFS压测】针对HDFS进行读写性能测试

测试工具Hadoop自身集成的工具包：hadoop-mapreduce-client-jobclient-3.1.1.jar注意：1、如果是Apache版本安装的Hadoop默认在lib目录下，如果是CDH
bmyyyyyy·2023-08-09 08:53

rust web框架actix （快速入门文档译）----基础（第一节）

首先创建一个新的基于二进制的Cargo项目并切换到新目录：cargonewhello-worldcdhello-world现在，通过确保您的Cargo.toml包含以下内容，将actix-web添加为项目的依赖项
rgwu·2023-08-09 07:54

cdh5.15.1集成flink说明

本文说明如何在已有的cdh集群上添加flink服务。
Demo_zfs·2023-08-09 04:54

CDH测试环境搭建

CDH测试环境搭建需要的软件及包的地址：Centos镜像：http://mirror.nsc.liu.se/centos-store/7.3.1611/isos/x86_64/CDH5.15.1-1parcel
圈半球·2023-08-09 02:11

React脚手架搭建项目

create-react-app一、项目的搭建第一步：全局安装npmi-gcreate-react-app第二步：切换到准备创建项目的目录，使用命令：create-react-apphello-react第三步：进入项目文件夹：cdhello-react
Jayson柴·2023-08-08 15:02

CDH6.3.2 启用Kerberos 认证

一.Kerberos概述强大的身份验证和建立用户身份是Hadoop安全访问的基础。用户需要能够可靠地“识别”自己，然后在整个Hadoop集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行MapReduce作业）。除了用户之外，Hadoop集群资源本身（例如主机和服务）需要相互进行身份验证，以避免潜在的恶意系统或守护程序“冒充”受信任的集群组件来获取数据访问权
格格巫 MMQ!!·2023-08-08 13:24

CDH配置Kerberos和Sentry详解

1.安全之Kerberos安全认证1Kerberos概述1.1什么是KerberosKerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对
Mumunu-·2023-08-08 13:24

0628-6.2-如何在CDH6.2中启用Kerberos

Fayson的github：https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f1文档编写目的在前面的文章中
Hadoop_SC·2023-08-08 13:52
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他