CDH大数据环境搭建

CDH重启cloudera-scm-agent报错：No socket could be created — ((‘127.0.0.1’, 9001): [Errno 98] Address alre

CDH集群重启cloudera-scm-agent，发现重启失败，查看日志如下：[21/Jul/202319:49:10+0000]11006HTTPServerThread-2_cploggingERROR
linweidong·2023-08-23 04:42

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

使用CDH5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。
weixin_30262255·2023-08-23 00:44

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出
·2023-08-22 15:47

部署HAproxy的TCP代理模式

haproxy-1.8.0.zip，下载页面https://github.com/haproxy/haproxy/tree/v1.8.02、安装部署haproxyunziphaproxy-1.8.0.zipcdhaproxy
泡泡白菜·2023-08-22 13:13

Tez 0.9.1基于CDH 6.1.x安装部署

一、文档目的近期在CDH6.1.x中部署Tez0.9.1，踩到很多坑，主要还是CDH集群版本较高，导致所用教程和实际部署不一致（自己挖的坑），希望给大家一个参考。
宅宅屋·2023-08-22 10:02

Python随机密码生成。编写程序，在26个字母大小写和10个数字随机生成10个8位密码。

样例：类似AB12cdHi的十组8位密码。
爱吃泡芙的小白白·2023-08-22 08:28

CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)

1.1原生Hadoop的问题版本管理过于混乱部署过程较为繁琐,升级难度较大兼容性差安全性低1.2CDH和CM(ClouderaManager)CDH(Cloudera’sDistributionIncludingApacheHadoop
小宇0926·2023-08-22 04:50

HBase探索篇 _ ZGC和G1在HBase集群之中的GC性能对比

在前几篇文章中，我为大家分享了使用JDK15编译HBase（和CDHHBase）的踩坑记录和ZGC在HBase集群中的配置方法，有对ZGC感兴趣的小伙伴，也可以亲自动手尝试一下，体验体验这个来自未来的技术
大猿小猿向前冲·2023-08-22 01:31

使用CDH调整yarn的内存和CPU资源大小

1、登录CDH后选择YARN2、更改CPU在yarn配置页面，搜索在类别->资源管理中找到【容器虚拟CPU内核】或者直接搜索yarn.nodemanager.resource.cpu-vcores这里改的是单个服务器可以用的
马飞·2023-08-21 07:56

CDH初始化服务

1.设置集群名称image-202011220038036722.设置管理的主机image-202011220038509143.设置存储库image-20201122003948461image-202011220040467934.安装parcelimage-202011220041101995.检查网络和主机image-202011220041477336.选择服务根据自己的需求选择对应的服
QuoVadis_k·2023-08-21 00:21

windows 配置 Kerberos客户端访问CDH组件

0.背景想在window机器上访问内网集群的CDH组件(如solr的webui),由于集群配置了Kerberos验证,所以需要配置相关,否则打开webui会有401未授权错误1.流程1.1windows
mizuhokaga·2023-08-19 23:22

一张图告诉你为什么Hadoop要选第三方发行版

真的就是一张图哈哈哈哈BTW如果你在厂商选型的话我们可以愉快地交流一下~CDH和HDP虽然合并了但是它们原先的版本还是会存在很长一段时间的至于现在要不要用新的CDP，看企业自身的目标、预算、团队了~
ClouderaHadoop·2023-08-19 14:09

linux 安装hue

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/Hue的版本：cdh5.3.6-hue-3.7.0->需要编译才能使用->联网pingwww.baidu.com
小赖同学啊·2023-08-19 05:49

cloudera-manager-agent-5

在配置cdh集群时候，以rpm包的方式安装cloudera-manager-agent-5....的时候一直报错无法安装，网上找了很多方法我自己的办法是：在后面加上"--nogpgcheck"参数，以强制安装
在朝阳寺树下·2023-08-19 02:31

Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2

一.环境描述spark提交job到yarn报错，业务代码比较简单，通过接口调用获取数据，将数据通过sparksql将数据写入hive中，尝试各种替换hadoop版本，最后拿下1.hadoop环境2.项目pom.xmlspark-submit\--nameGridCorrelationMain\--masteryarn\--deploy-modecluster\--executor-cores2\-
远方有海，小样不乖·2023-08-18 21:24

CDH遇到的坑

启动datanode报错，由于该主机之前安装过CDH，需要清空原有的datanode配置Failedtoaddstoragedirectory[DISK]file:/dfs/dnorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException
行动家嘘嘘·2023-08-18 19:31

大数据环境搭建

一、准备工作1.安装好虚拟机VMware.Pro2.安装好操作系统CentOSCentOS的安装_编程届的学渣的博客-CSDN博客3.安装好远程控制虚拟机的终端Finallshell下载地址：http://www.hostbuf.com/t/988.html虚拟机输入ifconfig查找IP地址远程连接连接成功。如果再次登录时无法连接，可能是IP地址发生改变，改一下自己的IP地址即可二、Hadoo
编程届的学渣·2023-08-18 18:31

cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景：FlinkOnYarn任务启动组件版本：CDH：6.3.2Flink：1.13.2Hadoop：3.0.0问题描述：在使用FLinkonYarn调度过程中，发现taskmanager总是分配在集中的几个节点上
日复一日伐树的熊哥·2023-08-18 17:15

Linux完全卸载某应用

背景：这两天安装cdh，重新温习了下linux的使用，关于卸载应用，特记录强制删除已安装程序及其关联：rpm-qa|greppython|xargsrpm-ev--allmatches--nodeps删除所有残余文件
安申·2023-08-18 16:58

CDH6.3配置安装实操

环境要求Redhat7.4安装CDH6.3。
MrGrant·2023-08-18 06:57

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
Juicedata·2023-08-17 22:48

阿里云服务区ECS，申请免费的服务器之后，如何使用xshell 登陆，找不到匹配的host key 算法

问题当在阿里云免费领取服务器之后，使用xshell登陆不上，提示找不到匹配的hostkey算法或者找不到匹配的keyexchange算法咋解决2解决在在服务器端配置文件：/etc/ssh/sshd_config#在行尾增加",ecdh-sha2
一写代码就开心·2023-08-17 20:15

CDH Hadoop 3.0 使用OSS作为储存 2021-09-07

简介：CDH和CM(ClouderaManager)CDH(Cloudera’sDistribution,includingApacheHadoop)是众多Hadoop发行版本中的一种，由Cloudera
迷藏_·2023-08-17 16:41

使用FIFO的文件控制shell的线程数

/bin/bashdate+'%Y/%m/%d%H:%M:%S'HADOOP_CONF_DIR=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0
飞天大漠·2023-08-17 12:17

Cloudera 管理Hadoop API 依赖

翻译：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_hadoop_api_dependencies.html
金刚_30bf·2023-08-17 10:25

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
·2023-08-16 18:28

CDH6.3.2搭建HIVE ON TEZ

参考https://blog.csdn.net/ly8951677/article/details/124152987----配置hive运行引擎在/etc/hive/conf/hive-site.xml中修改如下：hive.execution.enginemr–>tezhive.execution.engine设为tez或者运行代码的时候：sethive.execution.engine=tez
小亚文·2023-08-15 11:56

【openwrt学习笔记】dnsmasq源码阅读

目录一、DHCP(DynamicHostConfigurationProtocol)1.1前置知识1.2参考链接1.3IP地址分配代码分析rfc2131.cdhcp-common.cdhcp.c1.4几个小问题
瓜洲大大·2023-08-14 21:26

CDH6.3应知应会

文章目录1.CDH简介1.1CDH版本2.CDH集群的优势是什么？3.CDH集群的部署方式有哪些？4.CDH集群中如何进行故障排除和监控？5.你有使用CDH部署集群的经验吗？
程序终结者·2023-08-14 07:47

Nginx配置(ngx_http_ssl_module)

Directivessslssl_buffer_sizessl_certificatessl_certificate_keyssl_ciphersssl_client_certificatessl_conf_commandssl_crlssl_dhparamssl_early_datassl_ecdh_curvessl_ocspssl_ocsp_cachessl_ocsp_responderssl
PurelightMe·2023-08-14 00:02

Centos 7 离线安装Cloudera Manager6 和CDH6.3.1

零、前言之前写过一篇CDH5的，本文是在之前操作基础上进行的Centos7离线安装ClouderaManager5和CDH5.13.0CDH6与CDH5安装的整体流程基本一致，而且简单了不少。
LY丶Smile·2023-08-13 19:59

MapReduce任务报错：Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1

现在放到测试集群上报错了错误信息：Error:java.lang.IllegalArgumentException:UnrecognizedHadoopmajorversionnumber:3.0.0-cdh6.2.1atorg.apache.hadoop.hive.shims.ShimLoader.getMajorVersion
ustbxyls·2023-08-12 16:34

史上最全！大数据开源框架技术扫盲

一目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS
hanxiaolaa·2023-08-12 16:22

监控工具htop安装和使用

直接使用命令安装我这里换了yum源，仓库无此安装包，故使用站点下载地址：Indexof/htop/releases(hisham.hm)image.png直接解压、编译tarxzvfhtop-2.2.0.tar.gzcdhtop
十三_0223·2023-08-12 08:43

Airflow集群搭建

部署节点cdhnode1：webserverschedulerworkercdhnode2：workerflowercdhnode3：worker访问地址Airflow：xxxFlower：xxx同步物料
哥本哈登_sketch·2023-08-11 23:41

hadoop集群的安装

1、CDH软件版本重新进行编译1、编译hadoop的原因，需要对hadoop安装包中添加以下C程序库2、编译环境的准备2.1：准备Linux环境准备一台linux环境，内存4G或以上，硬盘40G或以上，
我还不够强·2023-08-11 16:28

CDH6.3.2搭建HIVE ON TEZ步骤

|引言参考：CDH6.3.2hiveontez搭建过程_我不是橙子的博客-CSDN博客CDH6.3.2版本搭建Tez执行引擎过程-虎啸千峰-博客园hiveontez集成完整采坑指南(含tez-ui及安全环境
ly8951677·2023-08-11 14:16

hadoop与第三方（CDH等）的比较

文章来源：https://blog.csdn.net/wdr2003/article/details/80248147CDH：全称Cloudera’sDistributionIncludingApacheHadoopCDH
你的努力时光不会辜负·2023-08-11 11:52

centos6 启动cloudera-scm-agent失败

背景：最近准备在自己的虚拟机上搭一个cdh的集群，在启动cloudera-scm-agent失败排查思路：进去log日志查看报错信息：/usr/bin/env:python2.7:没有那个文件或目录参考技术链接
安申·2023-08-11 06:46

基于阿里云服务器搭建CDH之后Hadoop50070页面访问不了

在CDH5.12搭建完成之后NameNode的WebUI50070访问不了。遇到这个其实不难解决！首先一定确保hadoop搭建无误。
李指导、·2023-08-11 06:19

从0到1搭建数据仓库流程

Deloitte已经选好用CDH，这步可以不考虑三、规范制定在数仓建设阶段，我们只需要制定数仓相关的规范。如：分层设计规范、表命名规范、字段命名规范、
夜希辰·2023-08-11 00:17

千云物流 -安装企业CM&CDH6.3.2

基础环境准备cloudera官网下载需要的包自2021年1月31日起，所有Cloudera软件都需要订阅https://www.cloudera.com/downloads.htmlhttps://www.cloudera.com/downloads/cdp-private-cloud-trial.html这里官网不提供免费版本了。环境准备ssh配置服务器准备mysql数据库准备#获取mysqlr
青0721松·2023-08-10 21:39

解决python3和jupyter-notebook中的报错No module named pyspark和No module named ‘py4j’

背景描述：在centos7–CDH6下配置了spark2.4和hive2.3，在linux-shell中输入pyspark可以正常启动，执行下列语句可正常显示frompyspark.sqlimportSparkSessionspark
Nancy_张·2023-08-10 20:16

0483-如何指定PySpark的Python运行环境

Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1文档编写目的在使用PySpark进行开发时，由于不同的用户使用的Python
zuoseve01·2023-08-10 18:28

2.3 DIY Base Image

，以后使用docker不用再加sudo$sudogroupadddocker$sudogpasswd-ausernamedocker#完成后重启命令行接下来建立自己的docker$mkdirhalo$cdhalo
ouchaochao·2023-08-10 17:33

【Hadoop-HDFS压测】针对HDFS进行读写性能测试

测试工具Hadoop自身集成的工具包：hadoop-mapreduce-client-jobclient-3.1.1.jar注意：1、如果是Apache版本安装的Hadoop默认在lib目录下，如果是CDH
bmyyyyyy·2023-08-09 08:53

rust web框架actix （快速入门文档译）----基础（第一节）

首先创建一个新的基于二进制的Cargo项目并切换到新目录：cargonewhello-worldcdhello-world现在，通过确保您的Cargo.toml包含以下内容，将actix-web添加为项目的依赖项
rgwu·2023-08-09 07:54

cdh5.15.1集成flink说明

本文说明如何在已有的cdh集群上添加flink服务。
Demo_zfs·2023-08-09 04:54

CDH测试环境搭建

CDH测试环境搭建需要的软件及包的地址：Centos镜像：http://mirror.nsc.liu.se/centos-store/7.3.1611/isos/x86_64/CDH5.15.1-1parcel
圈半球·2023-08-09 02:11

React脚手架搭建项目

create-react-app一、项目的搭建第一步：全局安装npmi-gcreate-react-app第二步：切换到准备创建项目的目录，使用命令：create-react-apphello-react第三步：进入项目文件夹：cdhello-react
Jayson柴·2023-08-08 15:02
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他