CDH5

hive on tez踩坑记1-hive0.13 on tez

最近集群准备升级到cdh5.2.0，并使用tez，在测试集群cdh5.2.0已经稳定运行了很长时间，因此开始折腾hiveontez了，期间遇到不少问题，这里记录下。
weixin_33696106·2020-09-17 05:47

[CDH5] CDH5.13.1 hue服务红色警告，启动失败

CentOS7，安装CDH5.13.1集群完成后，hue上面红色感叹号，日志提示[Errno2]Nosuchfileordirectory:'/data/log/hue-httpd/error_log'
cindysz110·2020-09-17 05:33

如何搭建hadoop集群

1、先把四台虚拟机之间打通免密登录，如果不清楚如何进行免密登录可以看这篇Linux中root用户之间的免密登录2、把hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native
yu247809536·2020-09-17 02:04

Hadoop中创建maven项目是需要的pom依赖

4.0.0hadoop-practicehadoop-practice1.0-SNAPSHOTUTF-82.6.51.2.0-cdh5.12.01.1.0-cdh5.12.05.1.182.6.20.6.1clouderahttps
卢子墨·2020-09-17 01:18

java连接zookeeper集群报错

原系统部署是基于Windows系统三个solr节点，一个zookeeper调度管理，现在需要将Windows的检索迁移到hadoop的集群中集群采用11+2的模式，solr索引数据存放在hdfs上的，整套集群是cdh5.8.3
法法-發發發·2020-09-17 00:43

cdh5.7.0伪分布式集群之spark-2.2.0安装

基本环境及软件：软件版本软件包centos-6.4JDK-1.8jdk-8u191-linux-x64.tar.gzhadoop-2.6.0hadoop-2.6.0-cdh5.7.0.tar.gzscala
剑穹·2020-09-16 21:55

cdh5.7.0伪分布式集群之hive安装

基本环境及软件：软件版本软件包centos-6.4JDK-1.8jdk-8u191-linux-x64.tar.gzhadoop-2.6.0hadoop-2.6.0-cdh5.7.0.tar.gzhive
剑穹·2020-09-16 21:25

hive基于json格式创建hive表

我使用的是cdh5.13.3，在这里下载了hive-hcatalog-core的
wx740851326·2020-09-16 19:10

【Hadoop】 NameNode无法启动，日志提示file:/// has no authority，导致不能访问50070端口

环境：CentOS7hadoop-2.5.0-cdh5.3.6jdk1.8.0_162查看日志提示2018-08-0513:24:26,408FATALorg.apache.hadoop.hdfs.server.namenode.NameNode
Debug~·2020-09-16 19:09

scp 指定端口映射传文件

scp-P21822-rCDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcelroot@ip:/root/
潇洒-人生·2020-09-16 18:53

hive基于json格式创建hive表

我使用的是cdh5.13.3，在这里下载了hive-hcatalog-core的包hive-hcatalog-core下载地址hive里是使用命令添加jar包addjarhdfs:///user/hive
zxfBdd·2020-09-16 17:36

cloudera CDH5 vmware中cloudera manager报错"Internal error while querying the Host "

无法获取host和service状态，解决办法：sudovi/etc/hosts#改为下面就好了127.0.0.1localhost--end
iteye_20817·2020-09-16 15:31

Cloudera Manager CDH5.14.2下部署Phoenix

为此，需要在ClouderaManagerCDH5.14.2也部署Phoen
Alderaan·2020-09-16 11:32

大数据实战第十八课 - CDH5.16.1离线部署

第一章：CDH5.16.1导读及前置准备工作1.1CDH离线部署的三种方式1.2阿里云购买三台按量付费的机器1.3事先准备好所有的软件包1.4节点初始化工作概览1.5hosts文件配置1.6云主机和内网机器的防火墙抉择
zhikanjiani·2020-09-16 06:32

cdh5.15.1离线搭建说明

前言本文档的搭建说明是基于centos7、jdk8、cdh5.15.1、clouderamanager5.15.1，部署节点为3个对应的hostna
Demo_zfs·2020-09-16 06:26

Hadoop伪分布式安装步骤之hdfs

本篇是hdfs的安装所用版本：hadoop-2.6.0-cdh5.7.0.tar.gz1）jdk安装解压：tar-zxvfjdk-7u79-linux-x64.tar.gz-C~/app添加到系统环境变量
php_ray·2020-09-16 06:14

CENTOS7.2 安装 CDH5.16 集群一前置检查

CENTOS7.2安装CDH5.16集群一前置检查一前置检查1主机情况2统一主机名和域名3修改网关4禁用SELinux5关闭防火墙6关闭透明大页7swap设置为18安装Httpd服务9yum源的安装10
时间的对手·2020-09-16 06:21

CDH5.16使用sqoop导入数据进入hive表遇到的坑之mysql远程访问权限和sqoopUnsupported major.minor version 52.0

CDH5.16使用sqoop导入数据进入hive表遇到的坑之mysql远程访问权限和sqoopUnsupportedmajor.minorversion52.0[mysql远程访问权限]报错如下：Accessdeniedforuser
时间的对手·2020-09-16 06:21

Tensorflow on Spark在CDH5.16上的实践

Spark和Tensorflow目前是各自领域的代表，二者集成的资料很少，官方资料过于简单这是官方的安装地址https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN#convert-the-mnist-zip-files-into-hdfs-files讲得很简单，按这个步骤是肯定跑不起来的，遇到的问题下文大概都有。我已经装好了一
tianqin_data·2020-09-16 06:40

在cdh5.16中使用Zeppelin

最近闲来无事，决定安装个zeppelin玩玩，我是在阿里云镜像上面下载的，国内下载速度比在官网快多了阿里镜像链接这上面目前只有两个版本，我下载的0.8.0版本一顿解压后开始修改配置文件，修改这三个文件，复制一份去掉template后缀修改的内容如下然后就可以启动了在浏览器上打开安装的机器ip+8080端口创建job就是Createnewnote右上方有所有的解释器包括spark，hbase，she
tianqin_data·2020-09-16 06:39

windows环境下使用Spark读取HBase

windows环境下使用Spark读取HBase工具：IDEA环境：jdk1.8，scala2.11hbase：1.2-cdh5.16.1spark：1.6-cdh5.16.1hadoop：2.6.0-
tianqin_data·2020-09-16 06:39

05.HADOOP CDH5.16.1 详细搭建流程

在这里我使用了CDH5.16.1版本，那么与其对应的软件包也需要相应下载。1.安装前的准备工作1）需要用的软件包CDH是不需要提
杰弗里 Zhang·2020-09-16 06:34

CDH5.16.1集群企业真正离线部署

archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gzParcelhttp://archive.cloudera.com/cdh5
钻石大门·2020-09-16 06:01

CDH5-角色分配和最终安装

角色分配:第一阶段角色:hadoop001:mysqlcm-servercm-agenthadoop002:cm-agenthadoop003:cm-agentcm(5个服务):hadoop001第二阶段角色:hdfs、yarn、zkhadoop001:NNDNRMNMZKhadoop002:SNNDNNMZKhadoop003:DNNMZK审核更改：默认配置若泽大数据交流群：671914634
weixin_39182877·2020-09-16 06:57

cdh5.13搭建步骤

CDH(5.13.1)大数据平台环境搭建1准备工作1.1版本选型NO.软件名称版本操作系统Centos7.464位JDKjdk-8u151-linux-x64ClouderManager5.13.1CDH5.13.1
浮生若梦1379·2020-09-16 06:55

视频教程-CDH5.16.1全网最细的企业级离线部署-大数据

CDH5.16.1全网最细的企业级离线部署大数据架构师，负责海量日志数据处理等方面的技术研究与管理工作。
学院导师-余思隽·2020-09-16 06:35

CDH5.16.1安装Spark2.x,简称CDS安装（图解官网安装）

CDH的官网都写的很详细，我们要学会看官网的步骤去安装，是最权威的文章目录一找到Spark在哪里二安装CDS2.1安装ServiceDescriptor步骤a步骤b步骤c步骤d2.2添加包裹仓库(parcelrepository)2.3CMS配置ParcelURL2.4下载，分发，激活2.5添加Spark2服务三运行example一找到Spark在哪里官网的文档地址：https://docs.cl
阿顾同学·2020-09-16 06:52

CDH5.11.0安装过程报错：Unable to verify database connection

CDH5.11.0安装过程报错：Unabletoverifydatabaseconnection问题原因是没有安装mysql-compat-libs包rpm-ivhmysql-community-libs-compat
_小海_·2020-09-16 06:20

CDH5.16.1离线安装部署

包部署CDH真正离线部署1:MySQL离线部署2:CM离线部署tar3:Parcel文件离线源部署hfsyarnhivebasezk准备三台阿里云按量付费机器准备好软件包[root@hadoop001cdh5.16.1
袁河之滨·2020-09-16 06:20

hadoop-2.6.0-cdh5.16.1集群部署详细文档

hadoop-2.6.0-cdh5.16.1集群部署详细文档准备工作开始安装（上传文件，修改配置）hadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslavesmasters
东寻桃·2020-09-16 06:57

CDH5.14.4离线安装Spark2.2.0详细步骤

目录一、简介：二、安装准备三、开始安装四、spark-shell启动问题五、spark安装问题一、简介：在我的CDH5.14.4集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.
北京小辉·2020-09-16 06:56

CDH5.16.1 离线安装 Kafka

1.环境CDH5.16.1CentOS7.62.安装前准备1.查看Kafka与CDH版本对应https://docs.cloudera.com/documentation/enterprise/release-notes
脚丫先生·2020-09-16 06:56

HdfsApi中copyToLocalFile中报空指针

HdfsApi中copyToLocalFile中报空指针环境：Hadoop2.6.0-cdh5.16.2、jdk1.8代码：packagecom.xk.Hdfs;importorg.apache.hadoop.conf.Configuration
XK&RM·2020-09-16 06:25

Hadoop-2.6.0-cdh5.7.0 部署

下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：推荐1.8
XK&RM·2020-09-16 06:54

HDFS 常用API及HDFS命令

HDFS常用API及HDFS命令本地环境：Centos：Centos7.6Java：1.8Hadoop：hadoop-2.6.0-cdh5.16.21.创建一个文件packagecom.xk.Hdfs;
XK&RM·2020-09-16 06:53

CDH5.15.0安装

CDH5.15.0安装文档一、基础环境1.1软件环境NO.软件名称版本1.操作系统Centos7.664位2.JDKjdk-8u191-linux-x643.ClouderManager5.15.04.
叁木-Neil·2020-09-16 06:46

CentOS7搭建CDH5.16.1教程

简介因为之前我搭建的是Apache原生的，维护起来很麻烦，重启什么的都需要写脚本，太麻烦了，所以这次公司需要搭建集群，我就选择了CDH5.16.1的进行搭建。
马尔东风·2020-09-16 06:46

CDH5.15搭建

一、配置hostname和hosts1.三台机器分别设置hostname为（需要重启ECS）：master.bd.cnslave1.bd.cnslave2.bd.cn2.然后三台的/etc/hosts统一配置如下映射： master.bd.cn slave1.bd.cn slave2.bd.cn二、配置三台ECS之间无密码SSH登陆1.将之前下载的.pem私钥上传到三台机器的/root/.ssh/
我思念的城市ZZZ·2020-09-16 06:13

hadoop-2.6.0-cdh5.7.1搭建

一、配置ssh、hosts、静态ip、hostname，java环境二、解压tar-zxvfhadoop，mv改名，配置环境变量bin和sbin1.hadoopversion验证一下三、创建数据存储目录${HAFDOOP_HOME}根据自己的路径写${HAFDOOP_HOME}/data/dfs/name${HAFDOOP_HOME}/data/dfs/data${HAFDOOP_HOME}/tm
尘缘未了-·2020-09-16 06:57

idea 本地调试虚拟机中的hadoop2.6.0-cdh5.7.0项目

涉及的软件或文件如下：1.ideamaven2.hadoop.dll,winutils.exe,winutils.pdb适配windows64位操作系统（重要）而且这三个是适合hadoop2.7版本的也适合于2.6版本下载链接：点击打开链接3.关闭hdfs的权限在这个etc/hadoop下的hdfs-site.xml添加（记得先关闭集群再重启）dfs.permissionsfalse设置没有权限，
leizhengtao520·2020-09-16 05:03

hadoop伪分布式安装yarn(CDH5.16.2版本)

yarn安装配置etc/hadoop/mapred-site.xmlmapreduce.framework.nameyarn配置etc/hadoop/yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.webapp.addressruozedata001:38088启动yarn:start-
jim8973·2020-09-16 05:52

CDH5.16.1安装SPARK2.3

概述:经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。1.安装准备1.1Spark2.3安装需求●CDHVersions●ClouderaManagerVersions●JDK1.8+●Scala2.11,Python2.7orhigher,Python3.4orhigher1.2所需软件①c
hrzgj·2020-09-16 05:05

CDH5.16：添加Kafka和Spark2服务

选择对应的版本2.2配置KafkaPacel下载源2.3CDH添加Kafka3、添加CDS2.43.1选择对应的版本3.2配置Spark2Pacel下载源3.3添加Spark23.4测试Spark21、前言CDH5
11号车厢·2020-09-16 05:25

CentOS 7.2 环境编译 hadoop-2.6.0-cdh5.15.1

仓库编译为什么要编译Hadoop官方提供的Hadoopbin包是不支持一些类似snappy，zlib等本地库功能，所以我们需要重新编译使Hadoop支持这些功能编译前的准备在hadoop-2.6.0-cdh5.15.1
gszhihan·2020-09-16 05:54

CDH5.15.0 安装搭建

CDH5.15.0安装前期准备工作部署:所有节点安装必要的工具包:yum-yinstallnet-toolsvimntplibaio1.所有节点配置禁用SELinuxvi/etc/selinux/configSELINUX
fei_tian123·2020-09-16 05:41

cdh离线安装部署

cdh安装准备环境的博文请参考：https://mp.csdn.net/console/editor/html/105581435CM离线部署:serveragent[root@mycluster001cdh5.16.2
流一恩典·2020-09-16 05:02

VMware-workstation14 PRO 安装配置Centos7 安装CDH5.14.2

安装虚拟机CDH版本，五台虚拟机一、前期准备配置操作（root用户操作）1、设置用户名配置IP设置虚拟机为静态IP：编辑-->虚拟网络编辑器配置[root@localhostDesktop]#vi/etc/sysconfig/network-scripts/ifcfg-eno16777736的时候对应关系如下用户名：[root@localhostDesktop]#vi/etc/sysconfig/
斗罗昊天锤·2020-09-16 05:47

五、CDH5.16.2集群之集群的安装配置

说明：【一、CDH5.16.2集群之VMware-workstation-14安装】【二、CDH5.16.2集群之三台虚拟机安装】【三、CDH5.16.2集群之三台虚拟机配置网络配置】【四、CDH5.16.2
斗罗昊天锤·2020-09-16 05:46

四、CDH5.16.2集群之XShell连接虚拟机

说明：【一、CDH5.16.2集群之VMware-workstation-14安装】【二、CDH5.16.2集群之三台虚拟机安装】【三、CDH5.16.2集群之三台虚拟机配置网络配置】一、通过XShell
斗罗昊天锤·2020-09-16 05:14

一、CDH5.16.2集群之VMware-workstation-14安装

说明：【Centos7下载】【Win10系统上安装VMware-workstation14PRO关闭Hyper-v的系统】一、安装VMware-workstation-141、启动下载的VMware-workstation-14软件并点击下一步2、接收许可协议并点击下一步3、在“1”中修改安装目录并点击下一步4、在“1”中可以取消勾选不要检查版本更新并点击下一步5、勾选创建桌面快捷方式开始菜单程序
斗罗昊天锤·2020-09-16 05:14
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他