CDH5

Spark HadoopRDD读取HDFS文件

前置条件Hadoop版本:Hadoop2.6.0-cdh5.15.0Spark版本:SPARK1.6.0-cdh5.15.0概述源码分析SparkHadoopRDD是如何读取HDFS上的文件分析HadoopRDD
首席数据师·2018-12-10 16:22

CDH集群安装Phoenix服务

而且在性能优化等方面优化也是需要着重注意；目前业界使用Phoenix操作HBase比较普遍，该方案无论是开发效率还是性能提升都能得到不错的保证，在这篇博客中记录下CDH集群如何安装Phoenix服务~集群信息：版本：CDH5.13.0
深寒丶·2018-12-09 17:27

CDH5 Hadoop集群完全离线安装说明

CDH5Hadoop集群完全离线安装说明系统环境：CentOS6.564位用到的文件JDK1.8.0.111安装包方法一使用：jdk-8u111-linux-x64.rpm方法二使用：jdk-8u111
钟敏_1788·2018-12-09 16:09

scala编程环境IDEA搭建以及各种依赖添加

maven路径；点击next4、点击finishpom文件4.0.0com.kun.spark_scalaspark_test1.0-SNAPSHOT20082.11.80.9.0.02.1.02.6.0-cdh5.7.01.2.0
-无妄-·2018-12-06 10:11

0002-CENTOS7.2安装CDH5.10和Kudu1.2

Fayson的github：https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。1.概述本文档描述CENTOS7.2操作系统部署CDH企业版的过程。Cloudera企业级数据中心的安装主要分为4个步骤：1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；2.外部数
Hadoop实操·2018-12-04 22:53

0470-如何在Redhat7.4安装CDH5.16.1

1.文章编写目的Cloudera在2018年11月29日发布了CDH5.16.1，新功能介绍可以参考Fayson之前的文章《0466-CDH5.16.1和CM5.16.1的新功能》。本文档主要描述如何
Hadoop_SC·2018-12-03 09:19

0466-CDH5.16.1和CM5.16.1的新功能

Fayson在2018年的6月15日介绍了《CDH5.15和CM5.15的新功能》，今天11月29日，Cloudera正式发布CDH5.16.1。从5.15到5.16，差不多等待了5个月，当然Clou
Hadoop_SC·2018-11-30 22:29

利用Hadoop自带脚本编写一个一次启动集群的所有进程的脚本

/usr/bin/envbashecho"开启hdfs"sshhadoop01"/home/hadoop/install/hadoop-2.5.0-cdh5.3.6/sbin/start-dfs.sh"echo
魂落忘川犹在川·2018-11-28 19:07

Linux下Flume安装配置及简单使用

:操作系统:CentOS6.964位解压：tar-xzvfapache-flume-1.7.0-bin.tar.gz创建软链接：ln-s/opt/modules/apache-flume-1.6.0-cdh5.9.3
荒野雄兵·2018-11-26 15:44

在CDH5.14.4 中安装StreamSets与案例运行

在CDH5.14.4中安装StreamSets与案例运行标签（空格分隔）：大数据平台构建一：Streamset简介与系统环境介绍二：安装软件准备三：在CDH5.14.4集成使用StreamSets四：streamsets
flyfish225·2018-11-24 16:19

IDEA（4）:Maven-CDH版本hadoop添加pom的依赖【重要】

cdh的repositoriesclouderahttps://repository.cloudera.com/artifactory/cloudera-repos/2.添加hadoop版本2.6.0-cdh5.7.03
RayBreslin·2018-11-24 15:07

编译HBase1.0.0-cdh5.4.2版本

1.编译环境准备Jdk：1.7.0_xMaven：3.3.9hbase：cdh5.4.2-release2.用idea打开项目使用gitclone得到HBase源码。
stillcoolme·2018-11-24 10:00

CDH开启HBase Replication

一、环境准备1、要求两套集群安装相同的CDH版本，如都为CDH4或者CDH5，不限定小版本2、要求两套集群网络互通，至少保证MasterHBase到SalveHBase网络是可达的二、开启HBasereplication
凡尔Issac·2018-11-23 18:53

在Hbase客户端启动Hbase shell问题

java.io.IOException:java.lang.reflect.InvocationTargetExceptioninitializeat/home/pgxl/proc/hbase-1.2.0-cdh5.8.2
盖茨坝涂·2018-11-22 19:09

Linux中Hadoop 集群搭建

零、下载Hadoop：http://archive.cloudera.com/cdh5/cdh/5/?
Y白墨·2018-11-22 11:13

大数据入门学习笔记（柒）- Hadoop分布式集群搭建

环境介绍版本为cdh5.7.0-2.6.0先准备好三台虚拟机或者服务器hadoop000：192.168.199.102hadoop001：192.168.199.247hadoop002：192.168.199.138
-无妄-·2018-11-20 17:32

0021-使用JDBC向Kudu表插入中文字符-cast的秘密

2.问题复现测试环境：CDH5.12.0Kudu1.4.0ImpalaJDBC41_2.5
Hadoop_SC·2018-11-19 22:41

离线安装 Cloudera Manager 5.12.0 和 CDH5.12.0 完全教程

离线安装ClouderaManager5.11.1和CDH5.11.1完全教程关于CDH和ClouderaManagerCDH(Cloudera'sDistribution,includingApacheHadoop
风一样的男人_·2018-11-19 19:49

入门大数据

title:入门大数据categories:大数据tags:[java,大数据,hadoop]大数据概述导学环境linuxcentos6.4hadoop版本CDH5.7开发工具idea搭建环境章节安排大数据概述大数据故事大数据背景大数据基本概念大数据设计到的技术大数据带来的技术挑战大数据带来的思维变革
uanei·2018-11-18 17:34

Centos7离线安装cdh5.15.1

Centos7离线安装cdh5.15.1以下亲测过，放心参考~JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads
我胡汉三又回来了·2018-11-16 14:01

Centos6 安装cdh5.7

Centos6安装cdh5.7安装前的准备工作JDK环境版本：jdk-7u79-linux-x64.tar.gz下载地址：oracle官网（http://www.oracle.com/technetwork
xitaotao·2018-11-13 10:08

（十四）Spark on Yarn的基本使用及常见错误

spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn\/home/hadoop/app/spark-2.3.1-bin-2.6.0-cdh5.7.0
白面葫芦娃92·2018-11-12 16:17

工作可能会用到的网址

下载cdh5安装包的网址：archive.cloudera.com/cdh5/jar包下载：http://maven.ibiblio.org/maven2/http://mirrors.ibiblio.org
文动天下·2018-11-09 17:20

动态加载hive-jdbc

亲测版本：hive-jdbc-1.1.0集群版本：CDH5.13.2(hadoop-2.6.0)相关jar包：packagecom.zcah.healthScan.common;importjava.
Mr.差啥呀·2018-11-09 16:00

Spark基础之--启动local与standalone模式

我们得到编译好的spark压缩包之后，进行解压；随后进入spark文件夹，获取到spark的路径：/home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0为了后续使用方便
翰文不是瀚·2018-11-06 22:51

阿里云搭建大数据平台（7）：Hbase和zookeeper安装和配置

namenode（2）从节点:regionserver具体的数据流和数据存储工作，类似与datanode二、zookeeper安装和配置伪分布式1.解压缩tar-zxvfzookeeper-3.4.5-cdh5.15.0
RayBreslin·2018-11-06 00:30

flume日志小例子

模拟Flume监听日志变化，把增量日志文件写入hdfs中cd/bigdata/hadoop-2.5.0-cdh5.3.6/flume-1.5.0/agentconf//mkdiragentcongvimtail-hdfs.conf
一只迷途的小狼·2018-11-05 11:48

从零开始虚拟机安装单节点CDH5.15

从零开始虚拟机安装单节点CDH5.15环境和离线文件安装CentOS7更换yum源配置host配置SSH免密登陆关闭selinux安装jdk1.8安装mysql添加jdbc驱动为CDH创建数据库和用户~
qqqingdou·2018-11-04 23:57

spark2.1源码编译

我的hadoop版本：hadoop-2.6.0-cdh5.7.0我的scala版本：2.11.8我的hive版本：hive-1.1.0-cdh5.7.0hadoop下载地址：http://archive.cloudera.com
匪_3f3e·2018-10-31 09:46

15.4 hive和hbase的集成

image.pngimage.png原理是用相对路劲设置文件目录exportHBASE_HOME=/opt/modules/hbase-0.98.6-cdh5.3.0exportHIVE_HOME=/opt
6cc89d7ec09f·2018-10-26 11:49

hue集成Oozie工作流调度之Spark2 Workflow

一、环境准备CDH5.15.0，spark2.3.0，hue3.9.0注意：由于使用的是CDH集群，默认的spark版本为1.6.0，又通过parcel包的方式安装了spark2.3.0，此时集群存在两个
jmx_bigdata·2018-10-25 18:15

大数据平台搭建

都是离线的环境项目所需的安装文件CentOS-7-x86_64-DVD-1708mysql-5.6.41-linux-glibc2.12-x86_64.tar.gzjdk-7u80-linux-x64.tar.gzCm5.13.1Cdh5.13.1cloudera-manager-centos7
dssj_fh·2018-10-25 00:49

Cnetos7.5离线安装CDH5.15.1

Cnetos7.5离线安装CDH5.15.11.环境准备1.1系统环境1.1.1基础配置信息1.1.2虚拟化服务器配置1.2安装JDK1.3修改静态IP,主机名,配置HOSTS1.3.1修改静态IP:1.3.2
一直有梦想的小菜鸟·2018-10-23 11:36

flume（三）：常见source、channel和sink总结

本文以flume1.6.0为例，参考http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/FlumeUserGuide.html二
RayBreslin·2018-10-21 10:25

非关系型分布式数据库hbase简介及环境安装部署

下载：http://archive-primary.cloudera.com/cdh5/cdh/5/解压缩以后将地址写入配
29DCH·2018-10-19 22:43

非关系型分布式数据库hbase简介及环境安装部署

下载：http://archive-primary.cloudera.com/cdh5/cdh/5/解压缩以后将地址写入配
29DCH·2018-10-19 22:43

Hadoop2.6-CDH5.7部署安装

cdh地址http://archive-primary.cloudera.com/cdh5/cdh/5/添加sudo权限的无密码访问的hadoop用户#useraddhadoop#vi/etc/sudoershadoopALL
SuGM·2018-10-18 19:13

HDFS之 put命令权限问题剖析和文件系统常用命令

/ruozedata修改对应的用户和用户组生产管控不严格或者测试学习2.常用命令[hadoop@hadoop002hadoop-2.6.0-cdh5.7.0]$hdfsdfs（前缀）hdfsdfs=
Jaserok·2018-10-17 23:26

maven依赖提示Missing artifact jdk.tools:jdk.tools:jar:1.6或1.7类似

转载:http://piaoling.iteye.com/blog/2176435比如我的项目要依赖Xml代码org.apache.hbasehbase-client0.96.1.1-cdh5.0.0jdk.toolsjdk.tools
琅琊山二当家·2018-10-17 16:47

flume+kafka接收syslog实战

1、环境配置：平台版本：CDH5.15.1服务器资源：VM虚拟机三台（规格：CPU2核，内存8G，硬盘300G）组件版本：flume使用但是5.15.1自带的版本（1.6），kafka是CDH5.15.1
芒果布丁Mark·2018-10-12 14:17

CDH5.7Hadoop集群搭建（离线版）

CDH5.7Hadoop集群搭建（离线版）用了一周多的时间终于把CDH版Hadoop部署在了测试环境（部分组件未安装成功），本文将就这个部署过程做个总结。一、Hadoop版本选择。
zjunzz·2018-10-12 14:38

sqoop job省略输入mysql密码

将出现警告，并且每次都要手动输入密码才能执行job，sqoop规定密码文件必须存放在HDFS上，并且权限必须是400，下面介绍如何创建密码文件执行job，使用的sqoop版本是版本是sqoop-1.4.6-cdh5.7.0
Sx_Ren·2018-10-11 10:54

Hbase servlet

4.0.0com.mulhyaclearn-hbase1.0.0warclouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hbasehbase-client1.2.0-cdh5.13.0org.apache.hadoophadoop-core2
徐卖狼·2018-10-11 10:46

快速搭建HBase分布式集群

1.2软件规划前面hadoop集群使用的安装包为hadoop-2.6.0-cdh5.10.0.tar.gz，这里选择与Hadoop相兼容的
易水大数据·2018-10-10 18:09

Cloudera Manager 5.12.0图文详解安装过程

这里介绍的是cdh5的离线安装方式，需要的文件提前准备好，安装过程会快一些。安装前提：机器配置内存一定要高，我这里安装的虚拟机均是redhat7：内存分别是6G,4G,4G。
luffy5459·2018-10-09 17:45

Impala与Hive混合使用的一个深坑

Hive版本1.1.0-cdh5.9.0Impala版本2.7.0-cdh5.9.0Impala的高性能很好的弥补了Hive的查询响应慢的缺陷，在生产中若有实时查询的需求，我通常将这些表以Parquet
Caoyun·2018-10-09 16:38

hadoop之hdfs部署

1.添加sudo权限的无密码访问的hadoop用户2.下载3.java1.7部署（参考博客java在linux的部署及配置环境变量）4.准备[hadoop@hadoop002hadoop-2.6.0-cdh5.7.0
Jaserok·2018-10-08 23:01

搭建CDH实验环境，以三个节点为例的安装配置

Everything-1708.isonjdk-8u161-linux-x64.rpmncloudera-manager-centos7-cm5.12.1_x86_64.tar.gznCDH-5.12.1-1.cdh5.12.1
asdud·2018-10-08 22:54

Java API操作HDFS文件

Maven,添加相关的HDFS依赖pom.xml4.0.0HDFS_TestHDFS_Test1.0-SNAPSHOTHDFS_Testhttp://maven.apache.orgUTF-82.6.0-cdh5.7.0clouderahttps
29DCH·2018-10-01 21:04

Java API操作HDFS文件

Maven,添加相关的HDFS依赖pom.xml4.0.0HDFS_TestHDFS_Test1.0-SNAPSHOTHDFS_Testhttp://maven.apache.orgUTF-82.6.0-cdh5.7.0clouderahttps
29DCH·2018-10-01 21:04
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他