CDH大数据环境搭建

CDH集成LDAP配置

转载自JavaChenBlog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html
101之歌·2024-01-10 07:48

Oozie WorkFlow中Shell Action使用案例

/usr/bin/envbash+##studentselect/opt/cdh5.3.6/hive-0.13.1-cdh5.3.6/bin/hive-fstudent-select.sqlvistudent-select.sqlins
明明德撩码·2024-01-10 05:56

sqoop的安装与使用

Sqoop是一个用于在hadoop与mysql之间传输数据的工具Sqoop环境搭建(1)上传安装包:sqoop-1.4.6-cdh5.14.2.tar.gz到/opt/software(2)解压安装包:
xinxinyydss·2024-01-09 15:23

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera
Sql强·2024-01-09 07:24

48.Kerberos高可用配置

48.1演示环境介绍Kerberos已安装并与CDH集成操作系统RedHat7.2用sudo权限的ec2-user用户Kerberos节点ip-186-33-22-88.ap-southeast-1.compute.internal
大勇任卷舒·2024-01-08 20:18

【技术问题】CDH无法下载之后

也就是说CDH各版本都不能免费获取了。
yestolife123·2024-01-08 08:14

获取两个字符串中最大的相同子串

classTest{publicstaticvoidmain(String[]args){Stringa="abcwerthelloadcedf";Stringb="cdhelloesadcedf";Stringc
hhiijay·2024-01-06 13:33

新一代大数据管家 DataSophon 1.2 重磅发版

在大数据领域，现在普遍认为是后Hadoop时代，CDH的停更和闭源导致传统的Hadoop体系组件栈没有一个称手好用的管理工具，越来越多新一代的大数据项目也在层出不穷,同样也需要管理，并且需要适配云原生的能力
Datavane·2024-01-06 05:47

1.大数据概述

目录概述hadoophadoop模块hadoop发行版apache社区版本CDP(CDH+HDP)其它云产商框架选择hadoop安装结束概述先了解几个常用的网站apache官网hadoop官网hadoopgithubhttps
流月up·2024-01-05 23:00

【无标题】

ETL项目–自学笔记（补充）1、服务启动cdh虚拟机中服务会自动启动手动启动启动hadoop服务/export/server/hadoop/sbin/start-all.sh启动hive服务metastore
中长跑路上crush·2024-01-05 23:02

Pentaho Kettle 6.1连接CDH5.4.0集群

最近把之前写的HadoopMapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的PentahoKettle来测试,把一些配置过程和遇到的坑记录下来.Kettle可以在官网下载到,但是官网会让你注册才能下载而且速
香山上的麻雀·2024-01-05 16:43

CDH集群kafka运行正常但是连接不上的问题

Causedby:org.apache.kafka.common.errors.TimeoutException:Call(callName=listNodes,deadlineMs=*****,tries=1,nextAllowedTryMs=*****)timedoutat*****after1attempt(s)Causedby:org.apache.kafka.common.errors.
李小晨同学·2024-01-05 08:41

CDH6.3.2平台kafka问题记录

最近在弄kafka数据同步，总是出问题，所以重装了好几次kafka1.第一次直接CDH平台删除后重新部署kafka，结果启动失败。
李小晨同学·2024-01-05 08:41

datax不支持对hive hdfs(ha)高可用 的hdfsreader（即无法读取到HDFS多节点高可用）.

处理方案：采用引入CDH的hive、hdfs等配置文件到hdfsreader,jar替换原的jar文件解决。
whbi·2024-01-05 08:06

hive问题记录

com.ctc.wstx.exc.WstxParsingException:Unexpectedclosetag;expected.at[row,col,system-id]:[48,15,"file:/opt/cloudera/parcels/CDH
李小晨同学·2024-01-05 08:02

记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出

观察到CDH页面上该节点已经下线。问题解决思路第一步：查看系统日志翻遍hbase各种日志均无任何报错信息，那么我们怀疑是不是系统把这个节点给kill掉了呢。接下来
yzw_ai_sx·2024-01-05 02:11

CloudManager大数据本地环境标准部署文档

二、安装介质FTP服务器：http://172.16.246.252:81/hadoopteam/cloudmanager/CDH-5.8.2-1.cdh5.8.2.p0.3-el7.parcelhttp
有语忆语·2024-01-04 04:29

关于Cloudera Hadoop的安装（CentOS）- 官文标注（待完成）

CDH5andClouderaManager5RequirementsandSupportedVersionsInanenterprisedatahub,ClouderaManagerandCDHinteractwithseveralproductssuchasApacheAccumulo
DazzlingTiger·2024-01-03 21:15

Linux集群组件启停查脚本

大数据平台中涉及很多集群，如果你使用的不是CDH、Ambari等集成版工具，而是自己去部署的源生组件集群，那可能需要简单的脚本去启动、停止、查看状态。这里以zookeeper为例，起一个简单的。
碼小白·2024-01-03 13:31

HBASE基础

hbase的逻辑结构是由行与列族构成的，其中的行是由rowkey（行键唯一确定），列族是由多个列构成的6、hbase中的数据都是以字节的形式存储7、伪分布式安装Hbase:(1)将hbase-1.2.0-cdh5.14
xinxinyydss·2024-01-03 12:25

Trino兼容Hive SQL方案探索

应用场景公司的经营分析使用的数据仓库是基于开源CDH5.12.6自带的Hive（1.1.6版本）实现的。数据仓库的开发平台使用的是数澜科技的数栖平台（4.8.4版本）。
DawsonSally·2024-01-03 11:15

Hive(二)之bash群起脚本

集群的启动启动HDFS启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode
DarrenmondZhang·2024-01-02 07:45

Linux Hadoop安装

Hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
神游御风·2024-01-01 14:08

CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败

CDH6.3.2集成flink1.18zookeeper版本不匹配Flink-yarn不能正常启动，而在CHDWeb页面，flink日志报错提示不明确，不能定位具体错误。
qq_21480329·2024-01-01 10:05

CDH5到CDH6都更新了些什么？

发现最近很多人关注CDH版本更新的问题，CDH6更新有一年多的时间了，2019年2月19日，迭代的版本为CDH6.1.1，现在CDH最新的版本已经到CDH6.3.3了。
ClouderaHadoop·2023-12-30 14:18

23.Kudu表插入中文字符

测试环境：CDH5.12.0Kudu1.4.0ImpalaJDBC41_2.5.35使用ImpalaJDBC代码进行测试，测试代码staticStringJDBC_DRIVER="com.cloudera.impala.jdbc41
大勇任卷舒·2023-12-29 09:17

seatunnel同步oracle到clickhouse问题

Thereasonisthattheversionofhttpclient.jarthatcomeswiththeCDHversio
lin502·2023-12-29 09:58

如何判断https使用了哪个版本的TLS？

安全连接使用TLS1.2具有P-384的ECDHE和AES_256_GCM进行加密和身份验证。再使用360浏览器检查一个安装有国密SSL证书的网站举个例子。我们可以看到安全连接使用SSLVPN1.1、
陕西CA数字证书认证中心·2023-12-29 04:33

虚拟机共享目录位置

进入根目录2.在进入mnt目录3.然后看一下这个文件夹下是否有东西ls，若没有，新建文件夹hgfsmkdirhgfs创建此文件4.执行vmhgfs-fuse/mnt/hgfs5.此时，在进入hgfs文件夹，cdhgfs6
qq_25427995·2023-12-29 02:28

linux基础之--系统配置文件

etc/sysconfig/network-scripts/ifcfg-eth0网卡配置文件TYPE=Ethernet#网络类型以太网BOOTPROTO=none#配置IP地址的方式nonestaticdhcpNAME
hcvc·2023-12-28 22:12

org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.

在cdh集群上，通过如下命令，提交flink任务到yarn集群中：flinkrun-myarn-cluster-d-ynmmy_flink_jobxxx.jar报错，信息如下：org.apache.flink.client.program.ProgramInvocationException
赶路人儿·2023-12-28 13:42

springboot远程连接HDFS-hadoop3.0

一.hadoop前置环境:hadoop3.0+CDH6.1这里默认已经在linux环境配置好;如何安装hodoop不在本次范围内;注意：此时集群没有开启Kerberos认证我的环境:win10+IDEA2019.3
尚云峰·2023-12-28 13:33

hadoop面试问题

1当前你们公司使用的Hadoop版本是什么Hadoopcdh-5.7.6/hadoop-2.6.02HDFS常见的数据压缩格式有哪些，介绍其中一种详细的实现方式Gzip优点是压缩率高，速度快。
code学习社·2023-12-28 13:31

R语言4.3.0安装及使用教程(非常详细)，从零基础入门到精通，看完这一篇就够了（附安装包））

77.74M安装环境：Win7及以上版本，64位操作系统硬件要求：[email protected]内存@4G(或更高）下载通道①百度网盘丨64位下载链接：https://pan.baidu.com/s/1RuQKDCdhNrTTPVmkFmRBkQ
教IT的无语强·2023-12-28 06:29

大数据开发之Sqoop详细介绍

测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
lcz-2000·2023-12-27 23:31

大数据库分析

ElasticSearch和impala首先，对于两个数据库作出说明，有hive查询比较慢，hbase会针对于列的查询不太友好，所以CDH推出了impala搜索引擎，都是基于HDFS的。
靈08_1024·2023-12-27 19:00

达梦数据库DPI接口常用句柄、宏、返回值信息

达梦DPI包含以下句柄：句柄说明宏定义dhenv环境句柄DSQL_HANDLE_ENVdhcon连接句柄DSQL_HANDLE_DBCdhstmt语句句柄DSQL_HANDLE_STMTdhdesc描述符句柄
Bussy-Lake·2023-12-27 07:16

Hadoop-Hbase集群搭建

1.下载http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz2.解压#解压到指定的文件夹tarxzvfhbase-1.2.0
GuangHui·2023-12-27 07:17

CDH安装

https://www.linuxidc.com/Linux/2018-03/151491.htmCentOS7下ClouderaManager及CDH5.14.0安装过程详解1.系统环境搭建1.1下载
Hanson_Huang·2023-12-27 00:03

CDH框架搭建【小白易上手】

CDH框架搭建Vmware安装CentOS虚拟机java环境搭建mysql环境搭建CDH集群搭建遇到的问题1.磁盘空间不够2.centOS版本过低3.连接虚拟机ip失败4.node0节点无法加入集群Vmware
刀锋0001·2023-12-26 02:14

java.io.IOException: Key exchange was not finished, connection is closed.Cannot negotiate, proposa

diffie-hellman-group14-sha1,diffie-hellman-group-exchange-sha1,diffie-hellman-group-exchange-sha256,ecdh-sha2
zhaofuqiangmycomm·2023-12-25 23:39

centos 7.6源码编译DPDK 19.11.14

yum-yinstallgccgcc-c++libstdc++-develmakenet-toolspciutilssudo下载匹配的kernel、kernel-devel、kernel-headersrpm包[root@cdh1kernel
dongsongz·2023-12-25 22:34

Shell Tools of Missing Semester（二）

foo=barecho"$foo"#打印barecho'$foo'#打印$foobash同样支持函数：mcd(){mkdir-p"$1"cd"$1"}输入：mcdhello由于hello是函数的第一个参数
瑜陀·2023-12-24 15:47

hadoop 3.3.3集群安装部署

前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节
以茉萱·2023-12-24 02:18

千亿级工业大数据的最优方案！智光电气的时序数据库应用

小T导读：此前，智光电气（股票代码：002169）子公司智光研究院在工业项目中使用基于ApacheHadoop的CDH集群来做时序业务数据的处理，但由于数据量级太大，处理占用了大量资源，导致集群有发生崩溃的风险
涛思数据（TDengine）·2023-12-24 01:25

[强网杯2023] 只作了几个小题

Enterastring(shouldbelessthan10bytes):abcdHereisyourcodecoverage:000000000Pleasetryagain.Ifyoucanre
石氏是时试·2023-12-23 13:22

cloudera-agent一键卸载脚本

/bin/bash#停止CDHAgent服务echo"停止CDHAgent服务..."
远方有海，小样不乖·2023-12-23 06:20

在自己电脑配置cdh 版 hadoop 提交mr job客户端

image.png1.首先下载与我们cdhhadoop集群对应的hadoop安装文件hadoop-2.6.0-cdh5.14.2.tar.gz链接:https://pan.baidu.com/s/1iHm5M-gGZRWLKbzVjbYJmA
Helen_Cat·2023-12-23 04:51

79.Sentry实现Hive/Impala数据脱敏

79.1演示环境介绍CM和CDH版本：5.13.1已启用Kerberos已启用Sentry79.2操作演示测试数据[root@ip-186-31-16-68datamasking]#vimemployees.csv1
大勇任卷舒·2023-12-22 21:55

Comparison and Differences beteen Powershell and Linux

thesame1.1)functionsonPowershellandLinuxII）differencepoints2.1)CD:changedirectory2.1.1)Powershell：commandcdhasnoeffect
DADIAN_GONG·2023-12-21 07:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他