cdh5

Hadoop安装部署

CDH5.15.0版本文档：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0/采用完全分布式的安装方式，使用系统为CentOS6.1064bit
HSJ_knight·2019-03-17 15:59

大数据组件使用 总文章

word文档下载链接：日萌社原创点击打开链接请到日萌社的C/C++板块中的置顶帖中回复查看度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记【日萌社】CDH6、CDH5
日萌社·2019-03-16 18:32

大数据组件安装(非CDH) 总文章

word文档下载链接：日萌社原创点击打开链接请到日萌社的C/C++板块中的置顶帖中回复查看度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记【日萌社】CDH6、CDH5
日萌社·2019-03-16 18:10

hive之beeline客户端操作hive

2、启动hiveserver2cd~/app/hive-1.1.0-cdh5.7.0/bin/#进入hive安装目录./hiveserver2#启动hive
qq_32641659·2019-03-15 22:38

用户画像 总文章

word文档下载链接：日萌社原创点击打开链接请到日萌社的C/C++板块中的置顶帖中回复查看度娘链接下载【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记【日萌社】CDH6、CDH5
日萌社·2019-03-12 18:18

Hive映射MongoDB

为了快速实施我们需要将hive集成mongodb软件版本cdh5.11.1mongodb3.2步骤1.下载jar包，放到hive节点的第三方包/opt/hive-lib/目录下(这个目录通过hivehive.aux.jars.path
kevin_wf·2019-03-11 21:41

CDH5配置kerberos

集群配置假设集群节点为：cat/etc/hosts172.16.100.101master172.16.100.102node1172.16.100.103node2172.16.100.104node3安装kerberos配置master节点1.在master节点上执行：yuminstallkrb5-serverkrb5-workstation-y2.修改/etc/krb5.conf，如下：..
david9·2019-03-11 18:56

CDH5.15安装Spark2.3服务

1、到CDH官网下载对应的spark的parcel包http://archive.cloudera.com/spark2/csd/jar包版本与parcels版本对应http://archive.cloudera.com/spark2/parcels/latest/以上均选择红框内的内容下载。注意，下载对应版本的包，我的CentOS7，所以下载el7的包。2、开始安装2.1.安装前可以停掉集群和C
Chuck_basic·2019-03-08 15:42

CDH5.15安装Spark2.3服务

1、到CDH官网下载对应的spark的parcel包http://archive.cloudera.com/spark2/csd/jar包版本与parcels版本对应http://archive.cloudera.com/spark2/parcels/latest/以上均选择红框内的内容下载。注意，下载对应版本的包，我的CentOS7，所以下载el7的包。2、开始安装2.1.安装前可以停掉集群和C
Chuck_basic·2019-03-08 15:42

实践：Flume同步信息到HDFS

实践：Flume同步信息到HDFS环境介绍  本次实战基于cdh5.8.5，flume1.8。
JeremyJiaming·2019-03-07 16:32

kettle 连接 hive

安装目录下/data-integration/plugins/pentaho-big-data-plugin/plugin.properties文件中active.hadoop.configuration=cdh510
紫色Dandelion·2019-03-05 17:47

redhat7.4完全卸载cdh5.11.0集群

前言我的学习环境，不需要保留数据库与集群数据，下次更新集群数据保留与数据库数据保留文章，本文章用途可用在特定的场景中：服务器数量缩减后转做他用，不需要保留任何大数据相关的残留。卸载前集群状态如下，需要全部卸载而后转做他用：主机名私网IP节点状态cdh1192.168.5.11主节点、mysql数据库cdh2192.168.5.12从节点cdh3192.168.5.13从节点cdh4192.168.
要树立远大的理想·2019-02-28 11:35

CDH 环境构建

agent192.168.1.192：agent需要下载的东西cm：http://archive.cloudera.com/cm5/cm/5/cdh：http://archive.cloudera.com/cdh5
daley_磊·2019-02-27 09:09

Sqoop报错accumulo does not exist

Warning:/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/bin/../lib/sqoop/../accumulodoesnotexist!
蘑菇丁·2019-02-25 14:29

【若泽大数据实战第九天】hdfs三个进程以机器名启动的设置

进入/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop目录可以看到这里面有很多配置文件，其中常用
liweihope·2019-02-24 13:21

hadoop实战4--(hdfs读流程，hdfs写流程，副本放置策略)

hadoop实战4--（hdfs读流程，hdfs写流程，副本放置策略）su-hadoopjpscdapp/hadoop-2.6.0-cdh5.7.0bin/hdfsdfs-ls一、本机被挖矿程序入侵处理
congpiqi6563·2019-02-22 14:05

CDH集群间数据迁移

工作中，需要进行不同集群间数据迁移（这里演示CDH5->CDH6），迁移分为2个步骤：1、库、表shema迁移2、数据迁移一、库、表schema迁移核心思想主要是构建建库、建表语句，传统数据仓库大概都会有
江畔独步·2019-02-15 11:16

impala故障（cdh5.15.1版本）

今天碰到一个很奇怪的问题，impala查询34亿条数据报错，不过多亏网上有神仙相助，少了一个插件，具体原因有待思考，，，问题是原创的，解决方案是大神提供的[cdh004:21000]>selectcount(*)fromimpala_100yi;Query:selectcount(*)fromimpala_100yiQuerysubmittedat:2019-02-1414:07:33(Coord
CODE男孩·2019-02-14 16:02

Sqoop将Oracle数据导入Hbase

Sqoop将Oracle数据导入Hbase系统环境Hadoop集群机器3台，操作系统均为CentOS7.2，CDH5.12.0拷贝Oracle的jar包将ojdbc6.jar放到/opt/cloudera
白曰梦想家·2019-02-06 14:20

centos7.5搭建cdh5.13.0

序言本文集群搭建为三台机器，cdh版本为5.13.0，以下是安装过程中所用到的软件包等，可以自行下载。一、前期准备1.安装环境系统：centos7.5/最小安装版本/64位内存：主节点-->32G/从节点-->16G三台机器组成小集群（物理机）cdh01cdh02cdh03需要下载的安装包cloudera-manager-centos7-cm5.13.0_x86_64.tar.gzCDH相关（注意
LXYuuuuuu·2019-02-01 16:03

kafka zookeeper 单节点安装测试

一介质版本kafka_2.11-1.1.1.tarzookeeper-3.4.5-cdh5.7.0.tar二安装1、解压tar-zxvfkafka_2.11-1.1.1.tar-C/apptar-zxvfzookeeper
夏至1208·2019-01-31 11:01

Hive简单概述及hive-1.1.0-cdh5.7.0安装部署

软件版本jdk8u45hadoop-2.6.0-cdh5.7.0.tar.gzhive-1.1.0-cdh5.7.0.tar.gzmysql-connector-java-5.1.46-bin.jarHive
Nekou_·2019-01-30 23:53

hive 添加udf函数pom文件

4.0.0udfudf1.0-SNAPSHOT2.6.0-cdh5.13.11.1.0-cdh5.13.1clouderahttp://repository.cloudera.com/artifactory
forever_ai·2019-01-30 17:28

Ansible 自动化安装 CDH5.15.1 数据平台

github地址:https://github.com/iceqiw/cdh_auto_setup.gitansiblehost配置[cdh-wei]wei-data1ansible_ssh_user=rootansible_ssh_pass=123456wei-data2ansible_ssh_user=rootansible_ssh_pass=123456wei-data3ansible_ss
xiao_kong·2019-01-30 17:08

Centos7 CDH5.16在线安装

步骤配置环境ntp安装阿里yumrepossh免密安装java安装配置cm安装配置mysql机器IPHostnameremark172.30.3.210wei-data1主节点172.30.3.211wei-data2从节点172.30.3.212wei-data3从节点环境Network修改ip[eachmachine]修改网络类型(static)[eachmachine]修改DNS[eachm
xiao_kong·2019-01-30 15:50

Spark2.4.0源码编译支持hadoop-2.6.0-cdh5.7.0

软件包JDK1.8.0_45apache-maven-3.6.0Scala2.11.8hadoop-2.6.0-cdh5.7.0注意设置内存*****exportMAVEN_OPTS="-Xmx2g-XX
Nekou_·2019-01-30 00:41

【Spark】Spark Local 及 Spark On Standalone 环境搭建

软件版本：JDK：1.7.0_67Scala：2.10.4Hadoop：2.5.0-cdh5.3.6Spark：1.6.1Spark运行模式：Local：本地运行Standalone：使用Spark自带的资源管理框架
魏晓蕾·2019-01-24 11:44

spark读取HIVE数据

包是否能够运行成功Xshell代码如下：spark-shell--deploy-modeclient--queueweimi.xxx--jars/opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1
回忆19930207·2019-01-24 10:54

HBASE数据库详解

不过在此之前，你可以先了解Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase吧！H
余飞军·2019-01-22 12:46

Hadoop集群安装指南（CHD5.9.1）（分布式+图文详解）

centos7.1，CDH5.9.1，3台机器，终极指导安装下载链接如下：安装文件下载链接如下：链接：https://pan.baidu.com/s/1RQYNiWn9a-T8GXcCsoDBsA密码：
somliy·2019-01-21 13:00

HDFS，Hive，Yarn的定义及环境搭建

*'''http://archive.cloudera.com/cdh5/cdh/5/2.6.0-cdh5.7.0wgethttp://archive.cloudera.com/cdh5/cdh/5/hadoop
阿呆33168·2019-01-19 23:37

[Hive进阶]-- Hive 优化

查出所使用的Hive版本支持的压缩编码方式，下面的set命令列出可用的编解码器(CDH5.8.x中的Hive)。h
highfei2011·2019-01-18 22:39

hbase shell运行问题

环境：CDH-5.15.0-1.cdh5.15.0突然运行hbaseshell出现问题：[root@cdh-master~]#hbaseshellError:Couldnotfindorloadmainclassorg.apache.hadoop.util.PlatformNameJavaHotSpot
lin502·2019-01-18 11:59

hive on tez 的安装

前提，已经正确安装了hadoop和hive1、版本选择根据tez官网关于tez与Hadoop版本之间的关系，选择的这三个框架的版本分别如下●Hadoop2.6.0-cdh5.7.1●Hive2.1.0●
酒精灯_·2019-01-17 18:23

impala-kudu 使用

bigtop-utils-0.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.noarch.rpmimpala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0
YangSir7·2019-01-16 11:39

Hadoop 集群安装（主节点安装）

下载安装包及测试文档切换目录到/tmpviewplaincopycd/tmp下载Hadoop安装包viewplaincopywgethttp://192.168.1.100:60000/hadoop-2.6.0-cdh5.4.5
小林觉·2019-01-12 19:00

Hadoop2.6.0源码编译支持Snappy压缩

环境准备系统:Centos6.564位JDK1.7因为pom文件里面很多注明了JDK1.7，所以最好用JDK1.7编译Maven：3.6.0Hadoop源码：Hadoop2.6.0-cdh5.7.0.src.tar.gzProtocolBuffer2.5.0Jar
Nekou_·2019-01-12 15:35

centOS7 安装hive

blog.csdn.net/starkpan/article/details/854704332、下载hive，注意hive版本与hadoop一定要一致wgethttp://archive.cloudera.com/cdh5
starkpan·2019-01-09 22:39

[Kafka基础]-- 在 mac os 10.14.2上安装 kafka-1.0.x

1、前言目前Kafka的稳定大版本是1.0.x，加上主流的CDH（CDH5.13.0以上）和HDP（hdp-3.x.x）厂商的稳定版本也是使用Kafka1.0.x版本，所以，个人选择使用Kafka-1.0
highfei2011·2019-01-06 18:59

linux centOs7安装zookeeper集群（三台）

（1）下载zookeeperwgethttp://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz(2)解压到安装目录tarzxvfzookeeper
starkpan·2019-01-01 21:45

Linux环境安装Zookeeper集群

Zookeeper安装包Apache版本下载地址http://mirror.bit.edu.cn/apache/zookeeper/CDH版本下载地址http://archive.cloudera.com/cdh5
年少时难免轻狂Ho·2018-12-26 21:12

Linux安装Hbase集群

1、下载HBase安装包apache版本http://hbase.apache.org/downloads.htmlcdh版本http://archive.cloudera.com/cdh5/cdh/5
年少时难免轻狂Ho·2018-12-26 17:11

Unable to start NodeManager: no leveldbjni64-1.8 in java.library.path

近日生产CDH5.7.2集群中的某一台机器在升级glibc和java后，YarnNodeManager无法正常启动，提示报错如下：2018-11-2707:04:47,023FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager
凡尔Issac·2018-12-21 20:16

Centos6.8安装CDH5.9.

Centos6.8安装CDH5.9.一．安装包下载考虑到公司机器不能直接上外网，采用离线安装方式，需要先下载好安装包如下。
韩暄·2018-12-20 18:45

spark整合hbase 和hive

spark集成HBASE，查询Hbase映射的hive表（cdh5.10.2）如果要查询hbase映射成hive的表则需要放入集群的hbase-site.xml文件到spark的.
小三你妹·2018-12-20 15:26

CDH环境下安装Tez(Hive on Tez )

CDH环境下安装Tez一、安装环境1、Linux版本：CentOS6.52、Hadoop版本：CDH5.8.03、Hive版本：Hive-1.1.0-cdh5.8.04、JDK版本：JDK1.85、Maven
血色彼岸花xy·2018-12-19 14:13

CDH5.12.0-HiveServer2-java.net.SocketTimeoutException: Read timed out

一.问题背景基于CDH构建离线数仓，在通过JDBC向HiveServer2提交作业时出现java.net.SocketTimeoutException:Readtimedout错误，导致大批量的作业失败，不能按时产生数据，已严重影响到业务运行。二.集群环境CDH-5.12.0Hive-1.1.0三.错误日志提交作业客户端报的错误日志如下:java.sql.SQLException:org.apac
HamaWhite·2018-12-14 21:45

hive与hbase关联

hive和hbase进行关联，将hbase中的和hive中的表进行关联1、把hive下的hive-hbase-handler-0.13.1-cdh5.3.6.jar包放到hbase的lib下，并修改hive-site.xml
Lu_Xiao_Yue·2018-12-11 08:23

hive生成唯一标识

在CDH中有个叫hive-contrib-1.1.0-cdh5.7.0.jar的jar包，名字因版本不同而不同。
qq_33872191·2018-12-10 23:36

Hadoop-2.6.0-cdh5.7.0 HDFS部署

1、添加sudo权限的无密码访问的hadoop用户[root@hadoop002~]#useraddhadoop[root@hadoop002~]#cat/etc/sudoers|grephadoophadoopALL=(ALL)NOPASSWD:ALL[root@hadoop002~]#[root@hadoop002~]#su-hadoop[hadoop@hadoop002~]$2、下载并安装[
Nekou_·2018-12-10 20:49
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他