CDH大数据环境搭建

CDH6.3.2安装

、ClouderaManager的功能3、ClouderaManager的架构二、准备清单1、部署步骤2、集群规划3、软件环境准备三、安装清单1、操作系统iso包2、JDK包3、MySQL包4、CM和CDH
烟雨话浮生·2024-02-02 14:09

【具身智能】Habitat挑战赛2023环境搭建

Habitat挑战赛2023环境搭建安装步骤拉取源码gitclonehttps://github.com/facebookresearch/habitat-challenge.gitcdhabitat-challengeNvidia
Moresweet猫甜·2024-02-01 22:35

利用 Cloudera Manager下安装kafka

文章目录前言一、基于CDH版本选择安装1.1基于CDH版本选择安装1.2选择依赖项1.3角色分配1.4设置KafkaBroker配置1.5查看命令详请1.6安装概要1.7主页查看/启动前言本文章是是利用
914 JJ·2024-02-01 13:28

CDH5部署三部曲之二：部署和设置

GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览本文是《CDH5
程序员欣宸·2024-01-31 23:19

数据湖技术Iceberg0.12预研文档

预研本次预研场景主要为kafka=>flinksql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2
我去探险了·2024-01-31 15:36

Intelj IDEA 配置Hadoop 远程调试环境

远程hadoop版本：Hadoop3.0.0+cdh6.3.2一、设置本地hadoop环境1、下载hadoop下载hadoop-3.0.0.tar.gz，并解压到D:\BigData\并重命名为hadoop
跟着大数据和AI去旅行·2024-01-31 12:34

大数据环境搭建(一)-Hadoop

1.服务器环境准备Linux镜像:centos7.9JDK:jdk1.8.0_212Hadoop:apache-hadoop-3.3.4创建虚拟Linux服务器配置虚拟机，每台主机名与ip如下主机名ipbd-centos01192.168.159.101bd-centos02192.168.159.102bd-centos03192.168.159.103修改网络配置文件（以bd-centos01
xfchn多多学习学习·2024-01-31 07:20

Linux自动备份MySQL数据库

目录1.创建备份目录2.创建自动化备份脚本3.执行备份脚本测试4.设置每天凌晨两点自动执行1.创建备份目录cdhomemkdirbackup2.创建自动化备份脚本vimbackup.sh编辑脚本内容主机
数据艺术家.·2024-01-31 01:05

103.Flume对Kafka数据采集并写入HBase

103.1演示环境介绍CM版本：5.12.1CDH版本：5.12.1Flume，HBase服务已安装且正常运行root用户操作103.2操作演示1.HBaseSink开发示例开发HBaseSink需要添加
大勇任卷舒·2024-01-29 21:54

Pytorch学习记录-Pytorch可视化使用tensorboardX

https://www.jianshu.com/p/23205a7921cdhttps://www.jianshu.com/p/6235c1ecde67https://www.jianshu.com/p
我的昵称违规了·2024-01-29 11:20

【cdh】hive执行SQL提示缺少3.0.0-cdh6.3.2-mr-framework.tar.gz文件

问题：执行SQL报错提示缺少文件异常信息如下在hdfs上查看的时候连文件夹都没有，所以这个异常会抛出，但是我是基于CDH搭建的，可以直接基于下面操作执行完成之后查看HDFS文件重新执行SQL发现可以正常执行了
谷新龙001·2024-01-29 07:46

使用 create-react-app 创建 react 应用

创建项目并启动第一步：全局安装：npminstall-gcreate-react-app第二步：切换到想创建项目的目录，使用命令create-react-apphello-react第三步：进入项目目录，cdhello-react
hsdjhaiwhdnjw·2024-01-29 05:42

在CDH6.3中单独升级Impala到Apache Impala 3.4

１.实验环境一个CDH6.3.3集群，部署在三台Ubuntu16.04机器上一台同样环境的Ubuntu16.04机器用来编译ApacheImpala3.4CDH6.3.3对应的Impala基础版本是ApacheImpala3.2
stiga-huang·2024-01-28 12:06

如何对CDH集群中的Impala打印线程堆栈

如何对CDH集群中的Impala打印线程堆栈上一篇文章《Impala查询卡顿分析案例》介绍了怎么对Impala进程打印线程堆栈，JVM部分直接用jstack比较直接，但C++部分由于要使用gdb或breakpad
stiga-huang·2024-01-28 12:05

Impala依赖组件的客户端源码下载

Impala编译时默认依赖CDH/CDP组件，这些组件跟开源Apache组件的源码可能有差异，但对应的客户端源码也是开源的，可以从S3下载。
stiga-huang·2024-01-28 12:04

66.管理Hive外部表——Sentry

66.1演示环境介绍操作系统：CentOS6.5CM和CDH版本：5.12.1采用root用户操作集群运行正常，Kerberos/HDFS/Hive/Impala/Hue服务已与Sentry集成，Hive
大勇任卷舒·2024-01-28 11:57

linux 查看zookeeper server运行版本号

zookeeper版本查看运行命令：echostat|nclocalhost2181显示如下图所示：Zookeeperversion:3.4.5-cdh6.3.2--1,builton11/08/201913
qq_21480329·2024-01-27 08:25

Cloudera5 安装 CDH 卡住 报 Failure due to stall on seeded torrent

Failureduetostallonseededtorrent屏幕快照2017-12-1021.47.53.png可以用curl-vhttp://localhost:7180/cmf/parcel/download/CDH
TreviD·2024-01-27 06:21

37.Java连接Kafka

37.1实验环境Intellij已安装且正常运行Maven环境正常RedHat7.2CM和CDH版本为5.11.2Kafka2.2.0-0.10.2创建topic，test3有3个replication
大勇任卷舒·2024-01-27 06:40

CDH 6.3.2 Parcel 包安装 Apache Flink 1.10.2

CDH6.3.2Parcel包安装ApacheFlink1.10.2文档材料介质路径调整Maven配置文件编译Flink1.创建服务目录2.下载介质3.编译FlinkShaded制作Pacel包配置FlinkParcel1
JP.Hu·2024-01-26 19:37

5. 梳理离线批次spark作业提交脚本

/bin/bash-x#[email protected]_NAME="SparkALS"CDHUSER=adminCDHPASSWORD=adminCDHURL=http:/
赛尔木·2024-01-26 11:47

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。星环一站式多模型大数据基础平台TDH架构图TD
星环科技·2024-01-26 07:08

使用CDH的api接口对cdh服务进行滚动重启

同时cdh的大数据服务对用户都是黑盒。无法直接操作。
Mumunu-·2024-01-26 01:32

CDH浏览器安装流程

1主节点得ip：7180，然后输入账号密码：admin，admin2然后下一步下一步，选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置（安装得时候，一般做了配置）6然后下一步，然后选择自定义安装，先安装最基本得几个组件：HDFSHbaseZooKeePerYARN7然后就是分配主机安装组件了，分配规则是要均衡，而
PunkP·2024-01-25 23:41

Hbase集群安装部署

hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com/cdh5
我还不够强·2024-01-25 12:02

HBase详细概述

不过在此之前，你可以先了解Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase吧！
a867901084·2024-01-24 08:49

cdh6.3.2的hive配udf

背景大数据平台的租户要使用udf，他们用beeline连接，意味着要通过hs2，但如果有多个hs2，各个hs2之间不能共享，需要先把文件传到hdfs，然后手动在各hs2上createfunction。之后就可以永久使用了，重启hs2也可以调研先查的hive官网https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#La
zdkdchao·2024-01-23 07:02

CDH6.2 集群离线部署

文章目录CDH6.2集群离线部署服务器集群节点角色规划系统环境准备cm-server配置ssh免密码登录认证在cm-server服务器上下载CDH6.2相关的安装包安装nginx做cm本地yumrepo
那些、快乐。·2024-01-22 21:44

二进制部署高可用k8s集群V1.20.11版本

将桥接的IPv4流量传递到iptables的链7、时间同步二、部署Etcd集群1、准备cfssl证书生成工具2、生成Etcd证书2.1、自签etcd证书颁发机构（根CA）2.2、使用自签的CA来签发EtcdHTTPS
不知名运维:·2024-01-22 07:57

【Spark分布式内存计算框架——Spark SQL】14. 分布式SQL引擎

语句方式二：启动服务HiveServer2（HiveThriftServer2)将Hive当做一个服务启动(类似MySQL数据库，启动一个服务)，端口为100001)、交互式命令行，bin/beeline，CDH
csdnGuoYuying·2024-01-21 06:38

CDH禁用Kerberos

禁用Kerberos，由于没有按钮可以直接操作，需要我们手动一个个修改开启了Kerberos的组件的配置。修改步骤按以下来：1.先关闭集群（如果yarn上有任务则等待停止，或手动停止）。2.修改zookeeper的配置enableSecurity取消勾选，EnableKerberosAuthentication取消勾选，在zoo.cfg的Server高级配置代码段（安全阀）写入skipACL:ye
sf_www·2024-01-20 11:23

cdh 安装 elsticsearch

前言记录了我使用CDH安装ES过程第一步：cdh集成es参考文章我使用的是7.13.4的版本，并非全部按照文章的来，问题解决第二步：安装kibana参考文章注意：版本要一致我使用的docker安装kibana
万事万物·2024-01-19 20:18

kafka可视化客户端工具（Kafka Tool）的使用

一、下载下载地址：http://www.kafkatool.com/download.html我们的kafka版本是2.11（kafka_2.11-2.0.0-cdh6.1.1），下载kafkatool2.0.6
勤奋的超跑·2024-01-19 12:54

CDH6.3.2，不互通的cdh平台互导hive数据

1、先导出所有建表语句，在源CDH服务器命令行输入下面命令，该库下所有建表语句保存至hive目录中的tables.sql文件中，不知道具体路径可以全局搜索一下，拿到源库hive的建表语句后，稍微处理一下
李小晨同学·2024-01-19 01:12

【大数据】HBase集群安装部署

并启动安装好对应版本的zookeeper集群，并启动1.HBase集群安装部署1.1准备安装包下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com/cdh5
橙子园·2024-01-19 00:51

helm安装

下载安装包，并解压wgethttps://get.helm.sh/helm-v2.15.2-linux-amd64.tar.gztar-xfhelm-v2.15.2-linux-amd64.tar.gzcdhelm-v2.15.2
无处安放的躁动·2024-01-18 09:27

[CDH5] Oozie web console is disabled 问题解决

CDH5安装完成以后OozieWebUI点开显示Ooziewebconsoleisdisabled.问题解决：下载ExtJS2.2:下载地址：http://archive.cloudera.com/gplextras
尼小摩·2024-01-17 19:12

Linux平台建立GB28181设备模拟器

下载模拟器到网站下载Linux平台版本:https://www.happytimesoft.com/download.htmltar-zxvfhappytime-gb28181-device.tar.gzcdhappytime-gb28181
ketaotech·2024-01-17 12:53

Hudi0.14.0最新编译（修订版）

Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps://github.com/apache/hudi.git$cdhudi
跟着大数据和AI去旅行·2024-01-16 20:40

在线SM2密钥生成工具

是中国国家密码管理局颁布的中国商用公钥密码标准算法(一种非对称加密算法)，SM2采用的是ECC256位的一种椭圆曲线的加密算法,其密钥长度256bit，包含数字签名、密钥交换和公钥加密，用于替换RSA/DH/ECDSA/ECDH
yunmoon01·2024-01-16 09:46

flink1.14.5使用CDH6.3.2的yarn提交作业

使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDHyarn
码道功成·2024-01-16 06:30

Kafka部署及使用

kafka四个核心概念：producer、consumer、broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压：tar-zxvfzookeeper
Sx_Ren·2024-01-16 05:15

Cloudera公司的CDH与HDP均无法下载问题（403 Forbidden (varnish) the provided credentials were incorrect）

Cloudera公司的CDH与HDP均无法下载问题1.问题描述2.解决方法1.问题描述最近想下载CDH的相关安装包，发现需要输入用户名和密码然而输入cloudera账号之后，会出现如下提示也就是说cloudera
小宇0926·2024-01-15 07:41

Hbase跨集群迁移

备注：新集群Hbase版本cdh2.1.0。1、copyTable方式集群间迁移（HBase层数据迁移）copyTable也是属于HBase数据迁移的工具之一，以表级别进行数据迁移。
喧嚣已默，往事非昨·2024-01-14 06:14

Matlab 使用 DH table 建立的 robot 和实际不符

DHtable建立robotBuildManipulatorRobotUsingKinematicDHParameters主要使用setFixedTransform，DHtable中都是数值，不带变量robot
Kasen's experience·2024-01-13 13:19

Ubuntu按转发HDF5

amazonaws.com/wp-content/uploads/manual/HDF5/HDF5_1_14_3/src/hdf5-1.14.3.zip解压unziphdf5-1.14.3.zip进入解压后的目录cdhdf5
1037号森林里一段干木头·2024-01-13 12:29

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

解决MacBook Pro终端报错Homebrew Error: Failure while executing；

在终端中输入一下命令（直接粘贴到终端，enter键等待安装完成就可）cd"$(brew--repo)/Library/Taps/"rm-rfhomebrewmkdirhomebrewcdhomebrewgitclonegit
大铺头狗哥·2024-01-13 07:58

CDH5x离线安装+解决报错教程

CDH5x离线安装+解决报错教程本章为云服务器CDH5.12.1基于HTTP离线源完全搭建。前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

13.Kubernetes应用部署完整流程：从Dockerfile到Ingress发布完整流程

Dockerfile多阶段构建[root@dockergithub]#gitclonehttps://gitee.com/yxydde/http-dump.git[root@dockergithub]#cdhttp-dump
CodingDemo·2024-01-10 13:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他