E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
AMBARI
重启集群之后,
ambari
与主机失去心跳无法恢复的解决办法
启动
ambari
服务表示已经存在:ERROR:
ambari
-agentalreadyrunning异常:theserverhasnotreceivedaheartbeatfromthishostformorethan3minutes3
光圈1001
·
2020-09-15 16:39
hadoop
ambari集群
大数据
spark 导入文件到hive出现多小文件的问题
环境:
ambari
:2.6.1spark2.1python3.6oracle11.2sqoop1.4将sqoop采集到HDFS中的文件导入到HIVE数据库,导入成功后,发现hive数据库中出现多个小文件的问题
shdqiu
·
2020-09-15 14:23
spark
hive
记学习大数据踩坑系列--Secondary namenode failed to start via
ambari
.
以下是报错日志File"/var/lib/
ambari
-agent/cache/common-services/HDFS/2.1.0.2.0/package/scripts/snamenode.py",
Truman1998
·
2020-09-15 06:35
ambari
openssl 版本问题:SSLError: Failed to connect. Please check openssl library versions.
centos使用
Ambari
搭建Hadoop集群
ambari
--ConfirmHosts报错Commandstarttime2018-08-1310:32:23bash:/var/lib/
ambari
-agent
o0milestone0o
·
2020-09-14 23:58
ambari
Ambari
踩过的坑及解决方案
文章目录
Ambari
安装
Ambari
2.6.0离线安装Apache
Ambari
-2.7.3离线安装
Ambari
踩过的坑及解决方案使用yuminstall
ambari
-server命令安装
ambari
-server
new个对象先
·
2020-09-14 16:57
开发环境搭建
centos
linux
Ambari
配置&安装的若干坑 centos6.8
centos6.5搭建过程可参考:(1)http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-
ambari
/index.html(2
yypiao
·
2020-09-14 12:08
Ambari
HDP集群搭建文档
一、配置主机和节点机器之间SSH无密登录多台外网服务器配置时,需要在/etc/hosts中把本机的IP地址设置为内网IP地址http://2d67df38.wiz02.com/share/s/0JpZYU2X7kl626aE730Q_Flq3daBjm08rAnl2oLpli2uMOfo二、为每台主机关闭iptables,SELinux,启动ntpd服务三、安装Mysql,JDK查看linux发行
aiyong3830
·
2020-09-14 00:38
CentOS7使用本地库(Local Repository)安装
Ambari
-2.4.1和HDP-2.5.0
当然,并不是说所有的软件都做成本地库,这里只是把安装
Ambari
和HDP的库本地化。1
strongyoung88
·
2020-09-13 23:20
Linux
ambari
hdp
Spark
Hadoop
ambari
关闭后,再次启动失去集群节点心跳
ambari
管理大数据集群,节点失去心跳,操作方法:1、在失去心跳节点打开配置vi/etc/
ambari
-agent/conf/
ambari
-agent.ini在[security]下添加force_https_protocol
Dawn_WL
·
2020-09-13 18:36
大数据集群
常见搭建方式:一、使用框架进行快速搭建,常见CDH(ClouderaManager)和HDP(
Ambari
)https://www.ibm.com/developerworks/cn/opensource
weixin_30437847
·
2020-09-13 18:07
kafka开启kerberos认证
采用的是
ambari
,直接按照官方文档部署,需要更改的地方:1、遇到这个错误:ERRORErrorwhensendingmessagetotopictestwithkey:null,value:3byteswitherror
Jane-wang
·
2020-09-13 15:51
大数据
ambari
安装笔记
Ambari
安装笔记1准备工作1.1系统及版本选择1.1.1选用Centos6原因:1、
Ambari
不支持ubuntu16,虽然最新的
Ambari
版本好像是支持的,但是没有试过。
hlantian
·
2020-09-13 12:38
大数据
基于ubuntu14.04的
ambari
安装及集群部署
第一节.
Ambari
简介
Ambari
跟Hadoop等开源软件一样,也是ApacheSoftwareFoundation中的一个项目,并且是顶级项目。目前最新的发布版本是2.4.1。
zkf541076398
·
2020-09-12 04:23
Ambari
使用mysql存放
Ambari
元数据的配置案例
使用mysql存放
Ambari
元数据的配置案例作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任。
weixin_33670713
·
2020-09-11 17:39
数据库
java
大数据
解决
ambari
安装cannot download file mysql-connector-java from http://xx8080/resource/mysql-connector-java
问题描述:
ambari
2.7.4安装hive客户端,hbase客户端时,界面报错显示Therepositorywithversion3.1.4.0-315forthiscommandhasbeenmarkedas
大哥惯过谁
·
2020-09-11 05:34
Mysql
Ambari
hive使用spark引擎的几种情况
有以下几种方式:1>使用spark-sql(sparksqlcli)2>使用spark-thrift提交查询sql3>使用hiveonspark(即hive本身设置执行引擎为spark)针对第一种情况:1>
ambari
weixin_30275415
·
2020-09-11 04:26
Phoenix 之kerberos 环境下 JDBC 操作Demo
一、操作环境
ambari
2.4.3+hdp2.5.3+hbase1.1.2+phoenix4.7+kerberos+centos6.9二、代码如下:packageycb.service;importjava.io.IOException
在屋顶听歌
·
2020-09-11 04:41
Phoenix
ambari
-server更改主机名后无法启动
1.安装
ambari
-server并启动运行一段时间后,把集群所有主机名都修改了(并在mysql中赋权),此时hadoop服务正常,但是在添加hive时报错链接不上
ambari
-server,于是想要重启
人蠢多读书
·
2020-09-11 02:03
大数据运维之ambari日常
用MapReduce实现矩阵乘法
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,
Ambari
,Chukwa,新增加的项目包括
Fens
·
2020-09-11 01:16
使用
Ambari
安装 HDP 集群
请先参考CentOs7安装apache-
ambari
获得一台
ambari
服务器。
yuisyu
·
2020-09-10 21:52
大数据
BM系列之 架构(k8s版本)
接下来,看下
ambari
的架构。最后,来看下BM容器版架构另附功能模块结构。
worgent
·
2020-09-10 17:49
BM系列
容器
学习资料分享
===============================================大数据:徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+
Ambari
weixin_33778778
·
2020-08-26 23:47
大数据之CM+CDH5.16.1(一)
鉴于在
Ambari
2.7+HDP3.0使用过程中有很多不方便之处,所以还是决定选择CDH框架来做。我是准备了4台虚拟机来搭这个环境。
LearnBigData
·
2020-08-26 07:12
ambari
的安装
dqf172.18.1.23bgsbtsp0007-dqf172.18.1.24bgsbtsp0008-dqf172.18.1.25bgsbtsp0009-dqf172.18.1.26bgsbtsp0010-dqf2、创建
ambari
wyl9527
·
2020-08-25 05:28
ambari搭建大数据组件
ambari
Ambari
学习1_
Ambari
——大数据平台的搭建利器
有了
Ambari
,这些都不再是难题。
Ambari
是什么
Ambari
Wang_Zhenwei
·
2020-08-25 04:39
Ambari
转载
尝鲜系列之手把手教你搭建
Ambari
2.2.0(全分布离线环境)
一.基础系统环境配置(注意需要英文环境,后面启动hive的时候会因为中文报错,如果中文环境,所有节点使用vi/etc/sysconfig/i18n将zh_CN改为en_US)1.网络通信配置:机房环境下需要使用u盘安装centos6.5的系统,需要手动设置网络桥接模式,方便后续集群通信和winscp上传压缩包。(虚拟机环境下的话只需要安装系统的时候设置一下网络连接模式,装完系统后安装vmware的
风中追风风
·
2020-08-25 04:38
大数据前沿技术尝鲜系列
VMware下centos7安装
ambari
并搭建hdp集群
:https://my.oschina.net/u/3964535/blog/2001945安装环境:centos7集群环境:(第一次安装,建议使用两台机器即可,成功后根据需要配置多台)机器名IP备注
ambari
.server.com192.168.66.135
w2115114903
·
2020-08-25 04:06
使用
ambari
搭建管理监控集群遇到的问题和搭建准备工作
使用
ambari
搭建管理监控集群遇到的问题和搭建准备工作**已亲测,强烈推荐**[
Ambari
具体搭建过程链接](https://www.cnblogs.com/zlslch/p/6629235.html
皮卡帅
·
2020-08-25 04:20
集群搭建
大数据
hadoop
ambari
hive
hdfs
ambari
大数据平台搭建
一.环境准备centos下载地址:https://www.centos.org/download/
Ambari
下载地址:http://docs.hortonworks.com/HDPDocuments/
一枚二白大学生
·
2020-08-25 04:42
大数据
平台搭建
大数据平台搭建
Ambari
集群的搭建过程
版本;Linux:CentOS6.6临时节点规划:一、五台虚拟机的搭建参考:https://blog.csdn.net/qq_36269293/article/details/79854531主要是第一台linux的搭建,克隆之后:修改主机名:修改IP地址:验证是否能够联网等问题二、集群环境的搭建五台机器搭建完成之后,现在搭建集群,搭建之前要安装一些组件:1.安装组件yum–yinstallhtt
哈尔科夫扫地僧
·
2020-08-25 04:05
Ambari
集群搭建(CentOS7)
本文以
ambari
-2.6.2.2、HDP-2.6.5.0、HDP-UTILS-1.1.0.22、HDP-GPL-2.6.5.0为例搭建
ambari
集群。
spark大数据玩家
·
2020-08-25 03:50
ambari
Ambari
简述及集群搭建(上)
一、
Ambari
简述1.1、什么是
Ambari
Apache
Ambari
项目旨在通过开发用于配置,管理和监控ApacheHadoop集群的软件来简化Hadoop管理。
Jeremy_Lee123
·
2020-08-25 03:45
Ambari
Ambari
搭建Hadoop集群
1.1环境需求1)3个节点的搭建2)分别为masterslave1slave2设置静态ip[root@master~]#cd/etc/sysconfig/network-scripts/[root@masternetwork-scripts]#viifcfg-enp0s3把动态#BOOTPROTO="dhcp"注释掉,在新增:TYPE="Ethernet"PROXY_METHOD="none"BR
流丶氓
·
2020-08-25 03:40
hadoop环境搭建之安装
Ambari
1、安装
Ambari
yuminstall
ambari
-server2、配置
Ambari
ambari
-serversetup3、配置的具体流程如下3.1、检查SELinux是否关闭,如果关闭不用操作Usingpython
我是知青
·
2020-08-25 03:31
linux
hadoop
Ambari
——大数据平台的搭建利器(利用
Ambari
管理 Hadoop 集群)
我们来看看如何通过
Ambari
管理Hadoop的集群。ServiceLevelAction(服务级别的操作)首先我们进到
Ambari
的GUI页面,并查看Dashboard。
kkx1988
·
2020-08-25 03:48
Ambari
9.
ambari
搭建
4使用下载好的包,部署jdk,本地下载目录为/usr/hcptar-xzfjdk-8u112-linux-x64.tar.gz-C/usr/jdk64设置环境变量vim/etc/profileJAVA_HOME=/usr/jdk64/jdk1.8.0_112JRE_HOME=/usr/jdk64/jdk1.8.0_112/jreCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:
我的海_
·
2020-08-25 03:45
基于
ambari
的大数据平台搭建-01环境初始化
基于
ambari
的大数据平台搭建-01环境初始化0.服务器准备个人搭建学习用,所以用VMware建5台虚拟机作为服务器集群安装VMware(略)。
董不懂22
·
2020-08-25 03:33
环境搭建
Ambari
搭建
Ambari
搭建
Ambari
简介Apache
Ambari
是一种基于Web的工具,支持ApacheHadoop集群的供应、管理和监控。
exklin
·
2020-08-25 03:51
大数据
云计算
Linux
Ambari
集群搭建
一.软件要求1.yum,rpm2.scpcurlunziptarwget3.jdk1.8.0二.前提环境准备2.1ssh免密生成master机器的ssh密钥#生成master机器的公钥和密钥[@hadoop.master01.comhadoop_install]ssh-keygen-trsa修改ssh登陆配置(禁用严格检查主机)[@hadoop.master01.comhadoop_install
OrangeCat_
·
2020-08-25 02:57
富途软件功能点解释
centos7离线安装
ambari
2.7.3.0 大数据平台
1.设置三台服务器的hostnamectticData1.ctticsh.cnctticData2.ctticsh.cnctticData3.ctticsh.cn2.设置三台服务器的hosts三个节点添加10.10.10.156ctticData1.ctticsh.cn10.10.10.157ctticData2.ctticsh.cn10.10.10.158ctticData3.ctticsh.c
I_T_T_I
·
2020-08-25 02:13
开发环境
ambari
平台的搭建过程
赶鸭子上架,尝试了一下
ambari
平台的一键式安装,感觉很方便,来分享一下过程。第一篇博文,不足之处,望大家包含。
蛋疼的罩罩
·
2020-08-25 01:28
hadoop成长史
在ARM机器上部署高可用大数据集群
由于
Ambari
安装在ARM机器上问题比较多。主要问题如下:
ambari
依赖的node.js版本是0.10.44,而aarch64机器只支持v4.x以上版本。
IIGEOywq
·
2020-08-25 01:11
Apache,CDH和Cloudera三者有什么区别
目前在中国流行的是apachehadoop,ClouderaCDH,当然Hortonworks也有用的Apache
Ambari
是一个基于web的工具,用于
北京小辉
·
2020-08-24 20:50
【大数据】Hadoop
Linux下磁盘分配问题,
ambari
分布式部署
ambari
部署分布式服务后出现的问题:大概运行一周后出现root下分配的50G磁盘空间占满的情况,初步分析应该是安装的时候把接近20-30G的安装文件放道了root下(初次接触Linux),
ambari
超超哥哥yc
·
2020-08-24 19:48
分布式部署
Linux
磁盘分配
学习笔记
hive乱码彻底解决方案全记录
hive乱码主要分为三种:一种是hivecli查询乱码,但是在
ambari
端查看正常;一种是导入汉字数据后,所有客户端方式查询都乱码;一种是hivecli查询没有乱码,但是通过jdbc或者hiveserver2
且听_风吟
·
2020-08-24 15:14
HIVE
hive执行job的时候报错:hadoop.hive.ql.exec.tez.TezTask
这几天刚安装好
ambari
集成下的hadoop生态环境,对大部分配置都不熟悉,基本都是按默认的来,但是在用hive发现了不少问题,以下是两点困扰了较久的问题,不比比,直接上过程:1.在服务器进入hive
泪三国云无痕
·
2020-08-24 14:04
数据库
用Hadoop构建电影推荐系统
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,
Ambari
,Chukwa,新增加的项目包括
Fens
·
2020-08-24 14:17
java
数据结构与算法
系统架构
Spark-sql 读hbase
spark-sqlcli,本质上就是通过Hive访问HBase表,具体就是通过hive-hbase-handler拷贝HBase的相关jar包到Spark节点上的$SPARK_HOME/lib目录下,清单如下:在
ambari
chenla5762
·
2020-08-24 13:28
hbase 日常运维
2.正在执行mapreduce作业可以通过
ambari
前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据:b.Iowait磁盘IO对集群的影响比较大,如
chenla5762
·
2020-08-24 13:58
大数据
运维
shell
ambari
干掉一个namenode 从新安装最快的方式
具体实施步骤:1.干掉之前,将namenode迁移走,不迁移也可以(ps:安装之后需要拷贝namenode的目录)2.ZooKeeperServer在别的节点创建一个3.JournalNode
ambari
chenla5762
·
2020-08-24 13:57
操作系统
大数据
数据库
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他