E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hortonworks
大数据平台搭建(二):hadoop HA 集群搭建
),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’sDistributionIncludingApacheHadoop,简称CDH)、
Hortonworks
闹闹的BaBa
·
2020-06-27 03:38
大数据学习之HDP SANDBOX开始学习
Hortonworks
数据平台是一款基于ApacheHadoop的是开源数据平台,提供大数据云存储,大数据处理和分析等服务。
三名狂客
·
2020-06-27 02:57
大数据与云计算
Apache Tez基本知识
官方blog:http://
hortonworks
.com/blog/author/arun_murthy/svn源码:http://
hortonworks
.com/blog/introducing-tez-faster-hadoop-processing
HuFeiHu-Blog
·
2020-06-27 01:13
Tez
在
Hortonworks
HDP 2.2 上安装Hue 3.7.1
Hortonworks
的招牌一直是采用全部apache开源方案搭建hadoop大数据系统。HortonworksHDP2.2今年新鲜出炉,里面集成了开源hadoop社区几乎所有最新的内容。
tiimfei
·
2020-06-26 19:10
hadoop
Hive做数据仓库,对Hadoop Hive 的多用户的资源分配和权限管理 (
Hortonworks
HDP2.2 hadoop 2.6)
使用的
Hortonworks
的HDP2.2版本。数据仓库主要的使用场景(usecase)是1.从各数据源通过ETL将数据汇集到hadoop和hive中。
tiimfei
·
2020-06-26 19:10
hadoop
在
HortonWorks
HDP 2.1 和2.2 集群间进行数据迁移 包括(Hive数据表)
我之前搭建了一个基于HDP2.1的集群。现在又根据需要重新搭建了一个新的HDP2.2版本的集群准备做新的生产环境。HDP2.1集群上大约有600GB的数据,主要以Hive数据表格的形式存在。因此需要将HDP2.1集群的数据迁移到新集群上来。实施的思路参考了这篇文章:https://amalgjose.wordpress.com/2013/10/11/migrating-hive-from-one-
tiimfei
·
2020-06-26 19:09
hadoop
[环境]hadoop版本~Cloudera CDH或者
Hortonworks
HDP
《Hadoop/Spark企业应用实战》-小象学院-中国最专业的Hadoop,Spark大数据在线教育平台——权威课程:Hadoop培训,Spark培训,HBase培训,Hive培训,Mahout培训等http://www.chinahadoop.cn/course/113Hadoop/Spark环境的安装请大家自行解决,建议用ClouderaCDH或者HortonworksHDP现有几大Hado
葡萄喃喃呓语
·
2020-06-26 18:17
Amabri 2.1安装HDP2.3.2 之 二、需求配置说明
二、需求配置说明Ambari安装
hortonworks
相应ambari版本可以支持的hdp版本如下:图2.0我们选择的是ambari2.1.2,hdp是2.3.2.0此时我们准备好一台纯净虚拟机作为master
大兰子小丸子
·
2020-06-26 11:59
HDP平台
hortonworks
HDP
Amabri 2.1安装HDP2.3.2 之 一、HDP介绍
一、HDP(一)简介HDP全称是HortonworksDataPlatform,是由一家美国大数据公司
Hortonworks
开发的企业级Hadoop平台。
大兰子小丸子
·
2020-06-26 11:59
HDP平台
从零使用本地仓库安装Ambari
Ambari和CDH一样,是较为流行的hadoop管理工具(虽然
Hortonworks
已经被Cloudera收购了),这篇文章我记录了如何从头安装ambari和HDP,主要是参照
HORTONWORKS
的
大数据学徒
·
2020-06-26 07:05
hdp-hadoop离线安装
通过ambari安装需要下载下面的三个主要包:HDP:http://public-repo-1.
hortonworks
.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0
DU_XXRS
·
2020-06-25 09:47
hadoop
HDP 2.2 ( Hadoop 2.6 ) 集群的内存参数配置和参数调优 (Yarn/MapReduce2)
作为示例的配置集群版本是2.6,
hortonworks
2.2.首先要理解,hadoop中yarn作为资源管理器,起到一个底层的控制调配运算资源的作用。yarn中资源的最小单位是container。
onlyloveonce
·
2020-06-24 18:53
云计算
hortonworks
HDP集群安装
原来公司的大数据服务器都是CDH,这次客户要求用HDP,记录一下环境安装的过程第一部分和CDH安装基本相同,都是做准备工作1.准备工作1.1.SSH免密码登录通过配置rsa等配置免密码登陆1.2.修改host10.0.0.21server2110.0.0.22server2210.0.0.23server2310.0.0.24server241.3时间同步NTP安装,配置ntp.conf1.4安装
liuwei063608
·
2020-06-24 06:30
hadoop
hdp
HDP与CDH
一、Hadoop版本目前Hadoop发行版本非常多,我个人接触的有HDP和CDH,
Hortonworks
版本(HortonworksDataPlatform,简称“HDP”),Cloudera版本(ClouderaDistributionHadoop
筱浪
·
2020-06-23 23:48
大数据
Hortonworks
Nodemanager启动但失败:连接拒绝:8042 解决方法
问题描述:Connectionfailedtohttp://IP:8042/ws/v1/node/info(Traceback(mostrecentcalllast):File"/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/YARN/package/alerts/alert_nodemanager_health.py",line171,in
华南虎1989
·
2020-06-23 16:19
大数据开发和运维
FME 2018.1 新特性
下载FME2018.1新增格式ApacheHive读模块–我们一直在努力支持Hadoop,现在你可以通过Hive(需要
Hortonworks
的HiveJDBC驱动)读取HDFS的数据。
fmechina
·
2020-06-23 08:37
默认分类
Centos7.5下HDP集群搭建(二)
二、本地仓库搭建(本地仓库为172.16.172.17服务器,以下操作都在这台设备上进行)1.准备下载文件a.Ambari下载包:wgethttp://public-repo-1.
hortonworks
.com
betty_ru
·
2020-06-22 17:20
基于
Hortonworks
的HDP Sandbox
Hadoop基础学习:基于HortonworksHDP我最开始是通过HadoopFundamentals这个课程学习了Hadoop的基础知识,该课程使用了
Hortonworks
的HDP作为Hadoop平台
鲍礼彬
·
2020-06-22 17:39
重磅消息:Cloudera和
Hortonworks
宣布合并
本文转载自云头条公众号:https://mp.weixin.qq.com/s/QkOYHHhGdX2kkV1W4oCo0w两家大数据先驱Cloudera和
Hortonworks
今天宣布了它们所谓的相对平等的合并
Hadoop技术博文
·
2020-06-22 16:38
Ranger、LLAP管理SparkSQL权限配置(hiveserver2)
zhuanlan.zhihu.com/p/35647068概述之前一直使用ranger管理hive的用户权限,现在系统要集成SparkSQL(thriftserver),但是在ranger下并没有SparkSQL的相关的插件,通过搜集
HORTONWORKS
W609392362
·
2020-06-22 07:52
hadoop
spark
ranger
Kerberos与Ranger、KMS整合
http://docs.
hortonworks
.com/HDPDocuments/HDP2/HDP-2.5.3/bk_command-line-upgrade/co
光于前裕于后
·
2020-06-21 19:19
大数据动物园
Hadoop
HDP集群搭建
2019独角兽企业重金招聘Python工程师标准>>>下载包:http://public-repo-1.
hortonworks
.com/ambari/centos7/2.x/updates/2.6.0.0
weixin_33816946
·
2020-06-21 10:29
HDP 2.2 ( Hadoop 2.6 ) 集群的内存参数配置和参数调优 (Yarn/MapReduce2)
作为示例的配置集群版本是2.6,
hortonworks
2.2.首先要理解,hadoop中yarn作为资源管理器,起到一个底层的控制调配运算资源的作用。yarn中资源的最小单位是container。
tiimfei
·
2020-06-21 08:46
hadoop
大数据平台安全策略(Kerberos,Sentry,Ranger)
近些年来大数据所用到的的安全方案主要有如下三种Kerberos(业界常用的服务认证)Sentry(Cloudera选用的方案,cdh版本集成)Ranger(
Hortonworks
选用的方案,hdp发行版集成
双椒叔叔
·
2020-06-21 05:00
Ranger
Kerberos
HDP YARN MapReduce参数调优建议
以下是
hortonworks
给出的配置建议:http://docs.
hortonworks
.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book
mnasd
·
2020-06-21 03:00
hadoop
hadoop调优
从大数据到数据挖掘之后分布式的学习之路
当时接触的是Hadoop生态圈,从cloudera的HDP4开始入手(当年cloudera和
hortonworks
还没有合并),入手的时候从hdfs(文件系统)和mapreduce(计算框架)开始学起,
viking714
·
2020-05-15 09:40
Hadoop
分布式
企业大数据CDH管理平台搭建方案
1基本介绍1.1概述Hadoop的发行版本有很多,有华为发行版,Intel发行版,Cloudera发行版(CDH),MapR版本,以及
HortonWorks
版本等。
月正明
·
2020-05-14 20:35
大数据
CM
CDH6
企业CDH大数据平台
这6款Cloudera宝藏产品,帮助轻松实现企业大数据分析
2018年与世界大数据巨头
Hortonworks
合并,2019年被CloudReport中评为大数据和Spark的领跑者。这么厉害的厂商,它里面都有些什么软件呢?我们一起来看看吧!
yuyuxi123
·
2020-05-13 16:28
cloudera
大数据
BI
大数据干货:Apache NiFi介绍及使用体验
当看到
Hortonworks
的DataPlatform组件后,类似的产品概念更加清晰起来。
Hortonworks
是用NiFi做的,我们希望这样的数据传送平台,让我们
Java程序员YY
·
2020-04-08 22:58
Ambari2.6.2安装
Ambari和HDP版本支持查询https://docs.
hortonworks
.com/https://docs.
hortonworks
.com/HDPDocuments/HDP2/HDP-2.6.3
nightwish夜愿
·
2020-04-04 21:22
15. [HDF] 安装HDF management pack 在新的HDP cluster 上
1.下载HortonworksHDFmanagementpack:Repositorytodownload:https://docs.
hortonworks
.com/HDPDocuments/HDF3/
aries228
·
2020-04-04 01:30
用docker搭建单机
hortonworks
/ambari集群环境
参考:https://hub.docker.com/r/
hortonworks
/ambari-server/一、前期docker环境配置:1.安装docker服务:yum-yinstalldocker2
Lydia_He
·
2020-03-28 16:21
一张图告诉你为什么要选择第三方发行版的Hadoop
Cloudera和
Hortonworks
都是基于Apache协议,100%开源;相较于原生的hadoop在兼容性、安全型以及稳定性方面有所提升;版本管理清晰,更新更快;提供了部署、安装、配置工具,大大提高了集群部署的效率
ClouderaHadoop
·
2020-03-26 15:00
Hadoop
大数据
CDH
11. [HDP-Ambari,create repo step already done this] 下载Ambari report file,准备安装Ambari
1.在选定的Ambarihostserver上安装Ambari,下载Ambarirepositoryconfigwget-nvhttp://public-repo-1.
hortonworks
.com/ambari
aries228
·
2020-03-23 11:30
浅尝HDP2.6
单节点伪分布)192.168.111.135master01安装包下载RedHat6/CentOS6/OracleLinux6--Ambari-2.5.0下载地址:http://public-repo-1.
hortonworks
.com
Pleb_King
·
2020-03-21 23:27
2.[创建Local Repository]2. create local repo
cd/var/www/html4.mkdir-pambari/centos75.下载repofile并且确认repository可用Ambari:wget-nvhttp://public-repo-1.
hortonworks
aries228
·
2020-03-21 11:21
如何在Redhat7.7中安装CDP DC7.0.3
空格分隔):大数据平台构建一:关于CDPDC7.0.3概述二:系统环境初始化三:构建CDPDC7.0.3一:关于CDPDC7.0.3概述1.1CDPdc7.0.3CDPDC7.0.3是Cloudera与
Hortonworks
flyfish225
·
2020-03-19 14:10
cdp
dc
cdh7.0.3
hadoop
大数据技术
私有Yum源搭建(CentOS6.5)
的情况镜像服务器可访问Internet的情况所需资源列表CentOS6.5x86_64镜像Ambari-2.0.1下载Ambari的公共库文件$sudowgethttp://public-repo-1.
hortonworks
.com
半个王国
·
2020-03-12 13:24
hortonworks
部署集群的毛病
hortonworks
部署hadoop集群的时候,老提示"Heartbeatlostforthehost",然后节点就fail了。
python大大
·
2020-03-08 01:38
Hadoop单机版安装
资源下载常用的Hadoop发行版:/优点缺点Apache纯开源不同版本/不同框架之间整合jar冲突CDH有比较完善的客户端cm、可以一键式安装升级cm不开源、与社区版本有些许出入
Hortonworks
原装
蓝色
·
2020-02-28 21:47
hadoop
hdfs
yarn
大数据
大数据是什么?
关键词:大数据,Hadoop,
hortonworks
,mapReduce,Yahoo大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力
武汉飔拓科技
·
2020-02-27 11:43
Hadoop学习笔记(一)安装Hadoop单机版
资源下载常用的Hadoop发行版:/优点缺点Apache纯开源不同版本/不同框架之间整合jar冲突CDH有比较完善的客户端cm、可以一键式安装升级cm不开源、与社区版本有些许出入
Hortonworks
原装
蓝色_fea0
·
2020-02-26 14:48
使用 Apache Atlas 进行数据治理
为寻求数据治理的开源解决方案,
Hortonworks
公司联合其他厂商与用户于2015年发起数据治理倡议,包括数据分类、集中
网易云社区
·
2020-02-20 18:23
初探storm in Docker
在目前的主流大数据平台软件栈中(如
Hortonworks
的HDP和Cloudera的CDH),Storm的部署方案都是单实例部署,即部署的是一个Storm集群,租户的权限控制交给Ranger管理。
biggeng
·
2020-02-18 17:23
Ambari安装hadoop遇到的问题(一)
failure:repodata/repomd.xmlfrommysql56-community:[Errno256]Nomoremirrorstotry.http://s3.amazonaws.com/dev.
hortonworks
.com
艾_文
·
2020-02-11 21:24
Hadoop数据生命周期管理框架Apache Falcon简介
如生命周期管理,备份,存档到云等,通过WebUI可以很容易地配置这些预定义的策略,能够大大简化hadoop集群的数据流管理.本文主要介绍了Falcon的基本特性,核心概念以及架构,最后讨论了它的优点和局限.
Hortonworks
guoqian123
·
2020-02-08 14:12
关于spark-hbase在pyspark上的那些破事
前提:1.你要有个可以通repo的spark集群,或通过某种手段可以通repo(自建内网http://repo.
hortonworks
.com/
咩咩红莉栖
·
2020-02-05 09:50
HDP2.5上尝鲜Spark2.1稳定版
如果需要在HDPstack上支持Spark2.1,估计需要等待
hortonworks
后续推出。笔者尝试在HDP2.5上运行Spark2.1社区正式版,以下为部署方法。
biggeng
·
2020-02-05 03:28
ambari2.7搭建hadoop3.0
一、安装前准备1、下载ambari和hadoop的包,从https://docs.
hortonworks
.com/HDPDocuments/下载到ambari和hdp的安装包,文件如下:ambari-2.7.1.0
积极流年
·
2020-01-09 20:36
Hadoop
Ambari启用Kerberos认证
官方资料:https://docs.
hortonworks
.com/HDPDocuments/Ambari-2.6.2.2/bk_ambari-security/content/ch_amb_sec_guide.html
jidi_0
·
2020-01-08 20:45
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他