E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
AMBARI
从零使用本地仓库安装
Ambari
Ambari
和CDH一样,是较为流行的hadoop管理工具(虽然Hortonworks已经被Cloudera收购了),这篇文章我记录了如何从头安装
ambari
和HDP,主要是参照HORTONWORKS的
大数据学徒
·
2020-06-26 07:05
Ambari
Spark 集成Hive
Ambari
Spark集成Hive1.beeline出现org.apache.thrift.TApplicationException:Requiredfield‘client_protocol’isunset
江湖不忘
·
2020-06-25 17:45
Ambari
Spark
Hive
Ambari
界面配置安装集群在Confirm Hosts项报错Registry Failed节点注册失败
confirmhosts项时,确保节点间配置好ssh免密登录,如果遇到RegistryFailed问题,Agent向Server注册失败,需要在所有节点的/etc/amabri-agent/conf/
ambari
-agent.ini
Troyong
·
2020-06-25 16:48
运维
安装oozie
安装oozie环境:centos:7.2oozie:2.4
ambari
:2.6.1hdp:2.6.41.安装通过
ambari
的ui安装oozie组件安装完成后,访问UI:http://10.250.11.60
shdqiu
·
2020-06-25 15:00
oozie
卸载
ambari
中kafka后安装Apache的kafka不能消费
故障现象背景集群规模较小,听说是本来
ambari
中kafka用的很正常,开发人员说flink与kafka版本不一致(具体指scala版本),然后就将HDP的kafka在
ambari
界面卸载了,最后安装的是
双椒叔叔
·
2020-06-25 13:13
Kafka
kafka
大数据
zookeeper
hadoop
kafka全操作精讲
kafka基本操作如下是在${KAFKA_HOME}/bin/目录下所有kafka自带脚本启动关闭kafka集群我用的
Ambari
进行管理,如果是自己搭建的全分布集群,则可以用如下kafka-cluster-start.sh
双椒叔叔
·
2020-06-25 13:12
Kafka
linux
ambari
整合Grafana修改配置报错401
问题1:出于安全性考虑,需要将grafana的允许注册功能禁用掉2:在
ambari
中对
Ambari
Metrics配置进行修改配置–高级ams-grafana-ini配置选项—参数ams-grafana-initemplate
双椒叔叔
·
2020-06-25 13:42
Grafana
kafka集群扩容以及物理资源(broker)隔离
需求:要对于几个业务topic进行基于broker级别的物理资源隔离步骤1:
Ambari
2.7.x基于HDP3.x进行kafka集群扩容用于隔离的broker是若干台新机子在
ambari
界面–主机–add—kafkabroker
双椒叔叔
·
2020-06-25 13:42
Kafka
kafka
基于
Ambari
安装HDP2.6.X
避免出现安装过程中自己不能和自己连接,如果自己没有对自己ssh免密则下面第一个爆红关闭SELinux永久关闭防火墙4查看自己机器名字并修改hostname-fvi/etc/hostname安装wgetyuminstallwget下载
ambari
null_水金admin
·
2020-06-25 12:45
大数据的点点滴滴
错误总结
工具使用
FAILED:HiveAccessContorlException Permission denied: user[hive] does not havar[USER] privilege on
2、遇到的问题安装
Ambari
时安装了Ranger但是没有配置权限,所以出现了下面的问题:Error:Errorwhilecomi
kangna_卧龙先生
·
2020-06-25 10:16
#
Ambari
大数据运维
Ranger
运维
服务器
linux
CentOS7.3 内网环境安装
Ambari
2.7.4+HDP3.1.4(阿里云服务器)
SELINUX4.关闭Linux的THP服务5.SSH免密登录6.时钟同步7.配置最大打开文件数最大进程数等操作系统限制8.安装JDK9.安装httpd服务10.数据盘格式挂载11.MySQL数据库安装二、
Ambari
kangna_卧龙先生
·
2020-06-25 10:16
#
Ambari
hadoop
python调用
ambari
rest api刷新节点客户端配置
#--coding:UTF-8--"""参考:https://github.com/apache/
ambari
/blob/trunk/
ambari
-server/docs/api/v1/参考:https
人蠢多读书
·
2020-06-25 09:47
大数据运维之python日常
Docker- kylin +
ambari
快速搭建
1.拉取docker镜像(注意:这个kylin是0.7.2版本的,集成了
ambari
1.7和hdpHadoop2.2,镜像大约6G)dockerpullsequenceiq/kylin:0.7.2拉取完成镜像
风一样的男人_
·
2020-06-25 09:00
Docker
大数据
Kylin
玩转docker
利用iaas平台搭建apache官方
ambari
2.7+hdp3.0平台
一、
ambari
架构解析二、基础环境配置以两台节点为例来组件Hadoop分布式集群,这里采用的系统版本为Centos71511,如下表所示:主机名内存硬盘IP地址角色master8192MB100G192.168.200.6
Ambari
-Server
Ambari
-Agentslaver8192MB100G192.168.200.7
Ambari
-Agent
AnotherYou
·
2020-06-25 09:54
大数据
hdp-hadoop离线安装
通过
ambari
安装需要下载下面的三个主要包:HDP:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0
DU_XXRS
·
2020-06-25 09:47
hadoop
在HDP安装的yarn基础上,自定义安装个spark on yarn
一、概述通常用HDP+
AMBARI
安装的sparkonyarn模式可以正常使用,但是缺点是spark版本是HDP包中固定好的,极其不灵活,目标就是使用HDP+
AMBARI
安装的yarn,然后spark自己部署
小小小黄鸡
·
2020-06-25 05:49
spark
on
yarn
spark
yarn
ambari
PredictionIO 做推荐系统踩的坑
1.spark安装目录问题
ambari
安装的spark版本号和社区下载的不一样,semver.sh脚本执行正则的时候验证spark版本是否合格,会失败。
灬皇帝的新装灬
·
2020-06-25 05:50
大数据
算法
Ambari
2.7.3 + HDP3.1.0 集群搭建手册
文章目录工具包下载准备工作(所有机器)安装vim编辑器修改系统语言服务器防火墙关闭关闭iptables关闭firewalld修改主机名及机器映射修改各个节点的名称修改hosts文件重启电脑服务器的免登陆删除openJDK检查是否安装JDK查找他们的安装包删除全部,noarch文件可以不用删除检查是否删除服务器时间同步安装ntp服务设置master为主服务器,开启nptd服务(主服务器)启动服务开机
qq_27960935
·
2020-06-25 03:26
大数据平台部署
Oozie简介和运行实例
;(本文暂时不介绍具体的安装步骤,可以参考https://blog.csdn.net/lucylove3943/article/details/80673962)二是CDH的包来安装,和源生类似;三是
Ambari
少年阿峣_从零单排
·
2020-06-25 00:35
#
Oozie
Ambari
安装_配置本地
Ambari
+HDP的yum源
在线安装httpdyuminstallhttpd-y3.安装完httpd后,会生成/var/www/html目录(相当于Tomacat的webapps目录).进入到/var/www/html目录下,创建
ambari
aruia
·
2020-06-24 17:50
Ambari安装
Ambari
在线安装
摘要:安装所需条件2.1操作系统的需求RedHatEnterpriseLinux(RHEL)版本5.x或者6.x(64位)CentOS版本5.x或者6.x(64位)OracleLinux版本5.x或者6.x(64位)SUSELinuxEnterpriseServer(SLES)11,SP1(64位)2.2软件的需求在你的每一台主机上都要安装以下软件:(selinux上自带的python有重大bug
nalnait
·
2020-06-24 16:35
BI
Ambari
Agent-启动、Controller主线逻辑分析
Ambari
Agent进程是由
Ambari
Agent.py脚本启动的,
Ambari
Agent.py脚本又会启动main.py脚本,开始真正的处理逻辑。
分裂四人组
·
2020-06-24 16:59
Spark - 使用IDEA远程调试位于Yarn-Client模式下的Spark集群相关配置
环境介绍我使用的是基于
Ambari
的HDP-2.6.1.0-129的Hadoop环境1.Spark1.6.32.Scala2.10.6(可以使用2.11以后的版本)开发环境是IDEA2017.2版本,使用
mianshui1105
·
2020-06-24 14:47
spark
Kerberos安装以及使用
ambari
开启HDP集群Kerberos认证
文章目录环境准备安装KDCMASTER安装KDCSLAVER安装客户端:使用
ambari
环境准备安装jdk下载CryptographyExtension(JCE)UnlimitedStrengthJurisdictionPolicyFile
小南瓜瓜
·
2020-06-24 14:40
大数据安全
Ranger与Kerberos整合
1.在
Ambari
上安装了Kerberos,HDFS,Yarn,Hive。Pricaple。需要生成Keytab。
唐予之_
·
2020-06-24 10:31
Ambari
背景
一句话介绍
Ambari
官方介绍TheApache
Ambari
projectisaimedatmakingHadoopmanagementsimplerbydevelopingsoftwareforprovisioning
侯金彪
·
2020-06-24 08:56
基于
ambari
2.6.2.0的docker镜像安装大数据服务组件
Ambari
在大数据集群部署方面有得天独厚的优势,但是集群操作系统安装准备工作以及基础包的安装还是需要花费很多的时间。为了节省大数据集群的部署时间接下来我们用Doc
Mote Malone
·
2020-06-24 06:52
Ambari
轻松部署
ambari
2.7
一
Ambari
说明
Ambari
为您的集群提供了端到端管理和监视解决方案。使用
Ambari
WebUI和RESTapi,您可以部署、操作、管理集群配置,并监视集群中所有节点的服务。
踩大侠
·
2020-06-24 06:53
ambari
hdp安装及使用问题汇总(二)
1)某些服务或子服务启动失败时,如果重启所有服务后依然失败,进入
Ambari
Hosts页面,单独在节点启动服务或子服务试试,如果还是启动失败,进入/var/log目录查看相应服务的日志。
俊采LEo
·
2020-06-24 03:11
HDP
大数据
ambari
离线安装以及hadoop环境搭建详细过程
一、安装环境六台相同配置的虚拟机OS:CentOSrelease6.5(Final)(x86_64)Cores(CPU):8(8)Disk:50GBMemory:8GB最好先安装自己的jdk,配置好环境变量。二、安装包下载安装包过大(最大的hdp包3GB),虚拟机环境外网网络不稳定,在线安装太耗时,只能用制作离线源方式进行安装,so,先下载以下安装包,备用。http://public-repo-1
_delin
·
2020-06-23 20:23
hadoop
【Hadoop】使用
Ambari
安装部署Hadoop集群(原)
部署环境使用4台机器,OS使用CentOS7,部署图如下:Paste_Image.png环境准备1、节点间互信#ssh-keygen-trsa#cat.ssh/id_rsa.pub>>.ssh/authorized_keys#scp.ssh/authorized_keyshadoop-node1:~/.ssh/authorized_keys将所有节点的rsa公钥信息都保存到authorized_k
mikeliuy
·
2020-06-23 20:29
Hortonworks Nodemanager启动但失败:连接拒绝:8042 解决方法
问题描述:Connectionfailedtohttp://IP:8042/ws/v1/node/info(Traceback(mostrecentcalllast):File"/var/lib/
ambari
-agent
华南虎1989
·
2020-06-23 16:19
大数据开发和运维
[Yarn基础]-- Yarn资源分配
背景在2018年11月的某一天,我发现spark-submit设置的资源参数未生效(–executor-cores10),仔细排查后定位是Yarn的分配策略使用有误,由于我们集群是使用
Ambari
安装的
highfei2011
·
2020-06-23 14:37
Hadoop
CDH
aarch64架构(ARMv8)系统环境下编译
Ambari
整个安装编译以这个官方文档为准:华为云鲲鹏大数据解决方案通过华为的移植分析工具分析,对于
Ambari
2.7.3的移植分析结果可以查看执行移植分析目录1前言2环境2.1JDK2.2Maven2.3安装Ant2.4sbt
YoreYuan
·
2020-06-23 10:11
大数据
Hadoop生态圈
其他子项目:
Ambari
:是一个部署、管理和监控ApacheHadoop集群的
秋幻旎苏
·
2020-06-23 10:56
Mahout推荐算法API详解
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,
Ambari
,Chukwa,新增加的项目包括
Fens
·
2020-06-23 07:29
HDP一键配置
本篇博客针对HortonWorksDataPlatform平台配置,使用此配置完成后,可以直接在浏览器登陆
ambari
进行集群配置,即此配置是前置条件配置!脚本可在HDP一键部署下载!
fansy1990
·
2020-06-23 07:11
大数据安全管理 -- FreeIPA的使用
HDP也在它们的
Ambari
安装中支持FreeIPA的部署。FreeIPA是CentOS(我只用过这个操作系统,RedHat中名称好象不是这个)提供的一个开源组件。
eyoulc123
·
2020-06-23 06:50
Kerberos
Linux
[HDP-
Ambari
-2.7]
Ambari
配置
1.打开浏览器访问
Ambari
server,初始账号密码为admin/admin登录界面2.点击SIGNIN,欢迎界面,点击LaunchInstallWizard欢迎界面3.设置cluster名称,点击
aries228
·
2020-06-23 02:54
Centos7.5下HDP集群搭建(三)
三、安装
ambari
1.安装
ambari
-server(1)在172.16.172.17下执行yuminstall
ambari
-server.直到看到Complete!代表安装成功。
betty_ru
·
2020-06-22 17:53
Centos7.5下HDP集群搭建(二)
二、本地仓库搭建(本地仓库为172.16.172.17服务器,以下操作都在这台设备上进行)1.准备下载文件a.
Ambari
下载包:wgethttp://public-repo-1.hortonworks.com
betty_ru
·
2020-06-22 17:20
Ambari
—YARN配置ResourceManager HA(二)
2、ResourceManager2.1先决条件(1)群集中必须至少有三台主机(2)运行ApacheZooKeeper服务器至少三台2.2操作步骤(1)在Web主界面中,浏览Services>YARN>Summary(2)选择ServiceActions并选择EnableResourceManagerHA。"EnableResourceManagerHA"向导将启动(3)在“GetStarted”
源神
·
2020-06-22 10:14
YARN
大数据—周源
Ambari
2.7.3版本编译报错各问题解决
执行编译命令:#mvn-Bcleaninstallrpm:rpm-DnewVersion=2.7.3.0.0-DskipTests-Dpython.ver="python>=2.6"-Drat.skip=true-X1、报错:[DEBUG]Configuringmojoorg.apache.rat:apache-rat-plugin:0.12:checkfrompluginrealmClassRe
源神
·
2020-06-22 10:14
Ambari
LDAP报错:javax.naming.AuthenticationException: [LDAP: error codelid Credentials]
ambari
-serversync-ldap--all报错:Syncingall...ERROR:Exitingwithexitcode1.REASON:CaughtexceptionrunningLDAPsync
源神
·
2020-06-22 10:13
LDAP
大数据运维初探之Hadoop搭建(入门)
混合处理框架:spark1.生态圈核心项目1.HDFS分布式文件系统2.yarn调度与管理3.mapreduce数据并行处理2.生态圈相关项目1.hive数据仓库基础架构2.hbase分布式数据库3.
ambari
@一只弱鸡
·
2020-06-22 07:37
学习与自我学习
学习
ambari
集成 Flume RPM 打包
ambari
集成FlumeRPM打包最近有一个新的工作,因为公司服务器过多,为了保证flume安装版本位置配置一致并且安装方便决定使用PRM打包的方式来完成flume的安装配置工作:目录
ambari
集成
偷偷溜走的王澄
·
2020-06-22 03:44
Ambari
2.5+HDP2.6集群配置安装
id=4a8bb0f1a02e3b9605824bc6ce3a1c9e一、官方链接
Ambari
版本:
ambari
-2.5.0.3-centos7http://
ambari
.apache.org/HDP版本
LCYong_
·
2020-06-21 23:27
hadoop
Ambari
2.7.3-HDP3.0.1-Yarn开启CPU调度和隔离
Ambari
WebUI-->YARN-->CONFIGS-->SETTINGS-->CPU开启:打开CPU调度和隔离按钮重启相关组件在启动Yarn组件时,NodeManager报错如下:Unexpected
@TangXin
·
2020-06-21 21:19
Ambari
Yarn
7 个最佳 Linux 电子书阅读器 | Linux 中国
--
Ambari
shKumar有用的原文链接请访问文末的“原文链接”获得可点击的文内链接、全尺寸原图和相关文章。
技术无边
·
2020-06-21 20:23
Kerberos与Ranger、KMS整合
环境:
Ambari
-2.4.2、HDP-2.5.3、CentOS6.51.之前用的是HDP2.4,装上Kerberos后Ranger的策略就失效了,KMS对秘钥也无法管理(WEB端),总感觉是因为哪里没配置好
光于前裕于后
·
2020-06-21 19:19
大数据动物园
Hadoop
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他