E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据集群
centOS 7安装Ambari2.6.2 HDP2.6.5
大数据集群
搭建
本文基于root用户操作一、安装环境准备操作系统centos7.6三台服务器以上主机名IP映射配置vi/etc/hosts#添加如下地址映射及FQDN(ambari注册时需要)192.168.133.XXnl-bd1192.168.133.XXnl-bd2192.168.133.XXnl-bd3配置ip,修改ifcfg-ens192vi/etc/sysconfig/network-scripts/
皎夜既明
·
2020-08-14 16:22
运维部署
linux
centos
ambari
大数据
分布式
Grafana安装部署
1Grafana安装部署Prometheus+Grafana=监控全家桶Grafana支持ClouderaManager数据源,因此可以搞一波把
大数据集群
中各种组件的监控都做到Grafana上。
Eights-Li
·
2020-08-14 16:20
给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解)
CDH版本
大数据集群
下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz+hue-3.9.0-cdh5.5.4.tar.gz)(博主推荐)以下,是我在Clouderamanager平台下,安装
weixin_33970449
·
2020-08-14 15:23
Kettle对比Sqoop
适用于能与
大数据集群
直接通信的关系数据库间的大批量数据传输
刘李404not found
·
2020-08-14 01:22
Sqoop
网络配置、防火墙 (
大数据集群
环境)Linux防火墙
网络配置、防火墙1.
大数据集群
环境,形成集群局域网,使用机器名替代真实IP,如何完成IP地址与机器名的映射?
wth_97
·
2020-08-13 23:44
Linux
基于Docker搭建
大数据集群
(三)Hadoop部署
主要内容Hadoop安装前提zookeeper正常使用JAVA_HOME环境变量安装包微云下载|tar包目录下Hadoop2.7.7角色划分角色分配NNDNSNNcluster-master是否否cluster-slave1否是是cluster-slave1否是否cluster-slave1否是否一、环境准备上传到docker镜像dockercphadoop-2.7.7.tar.gzcluster
njpkhuan
·
2020-08-11 22:06
Docker搭建大数据平台
sqoop学习文档(2){Sqoop import、Sqoop export}
sqoop学习文档(2)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】接我上一篇文章,sqoop学习文档(1)三、Sqoopimport导入数据Sqoopimport:将数据从关系型数据库导入
大数据集群
导入工具将单个表从
fy_1852003327
·
2020-08-11 03:29
大数据
一种处理Sqoop导出过程中数据的方法
文章目录一、Java代码调用SqoopAPI导出数据二、部分导出过程分析三、一种处理Sqoop导出过程中数据的方法参考链接一、Java代码调用SqoopAPI导出数据当前测试用
大数据集群
版本:cdh6.3.2
0x3E6
·
2020-08-10 19:04
大数据
Sqoop
Hive版本信息对比0.14.0-2.1.1
Hive版本信息对比0.14.0-2.1.1目前
大数据集群
的hive主要版本为0.14.0,版本日期为2014.11.13。
James_Page
·
2020-08-10 07:00
HDFS
知识回顾传统服务器系统安装系统硬盘(100%完全独立,不要存储业务数据)物理磁盘做raid1(两个硬盘物理备份)/boot200M/SWAP内存的1-2被(
大数据集群
中要关闭)/所有的空间数据硬盘多块小的硬盘做一个大的硬盘
玖拾丶
·
2020-08-09 16:16
从0开始一步一步搭
大数据集群
平台,小白也能玩,超详细!!!
从零开始の大数据生活(始める!!!)一、集群概况二、服务器搭建(一)创建虚拟机1.开启windows虚拟化服务2.创建第一台虚拟机3.克隆虚拟机4.设置新用户三、hadoop生态各框架安装与配置(一).jdk1.8安装与配置(环境准备)1.下载jdk2.解压安装3.配置JAVA_HOME4.测试是否安装成功5.顺便配置下hosts文件(二)搭建前准备ssh通信与shell脚本1.主机间ssh通信2
不存在的四月
·
2020-08-09 15:38
Ambari2.6.2 HDP2.6.5
大数据集群
搭建
Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-data3:192.168.163.53【安装环境准备每台集群机器一
weixin_30500105
·
2020-08-09 13:26
大数据集群
搭建之Linux安装hadoop3.0.0
目录一、安装准备1、下载地址2、参考文档3、ssh免密配置4、zookeeper安装5、集群角色分配二、解压安装三、环境变量配置四、修改配置文件1、检查磁盘空间2、修改配置文件五、初始化集群1、启动zookeeper2、在zookeeper中初始化元数据3、启动zkfc4、启动JournalNode5、格式化NameNode6、启动hdfs7、同步备份NameNode8、启动备份NameNode9
静谧星空
·
2020-08-09 10:33
YARN
Hadoop
zookeeper
Docker部署SQL Server 2019 Always On集群
随着2017和2019版本的发布,它开始支持Linux和容器平台上的HA/DR、Kubernetes和
大数据集群
解决方案。
Expect-乐
·
2020-08-09 10:45
Docker
SQL
Server
sql
server
大数据集群
搭建(四)——Hadoop-3.1.3安装
Hadoop-3.1.3安装下载hadoop-3.1.3压缩包将文件上传到nn1节点~/pkg目录下执行以下命令,在nn1、nn2、dn1、dn2、dn3五台节点安装#解压到/opt目录tar-zxvfhadoop-3.1.3.tar.gz-C/opt#创建hadoop的软连接cd/optln-sfhadoop-3.1.3hadoop#配置环境变量vim/etc/profile#在末尾增加以下内容
no_hot
·
2020-08-09 10:11
大数据集群
安装01之Linux配置
Linux配置1.下载上传插件rz【安装命令】:yuminstall-ylrzsz2.关闭Linux防火墙1:查看防火状态systemctlstatusfirewalldserviceiptablesstatus2:暂时关闭防火墙systemctlstopfirewalldserviceiptablesstop3:永久关闭防火墙systemctldisablefirewalldchkconfigi
钟兴宇
·
2020-08-09 01:28
大数据集群配置
大数据集群
安装02之Hadoop配置
Hadoop配置1.下载上传插件rz【安装命令】:yuminstall-ylrzsz2.上传hadoop压缩包【上传命令】:##上传压缩包rz##压缩tar-zxvf[包名]3.配置hadoop(1)编辑.bashrc文件在所有节点的.bashrc文件中添加如下内容:(也可以在profile文件中添加)#jdkexportJAVA_HOME=/root/jdk1.8.0_241exportPATH
钟兴宇
·
2020-08-09 01:28
大数据集群
安装03之spark配置
spark配置必看配置千万条,网络第一条。配置不规范,bug改到吐。内外ip要分清,本机配置内ip,连接请用外ip1.下载上传插件rz【安装命令】:yuminstall-ylrzsz2.上传spark压缩包【上传命令】:##上传压缩包rz##压缩tar-zxvf[包名]3.配置spark(1)编辑.bashrc文件在所有节点的.bashrc文件中添加如下内容:(也可以在profile文件中添加)#
钟兴宇
·
2020-08-09 01:28
spark
大数据集群配置
spark
hadoop
kafka
hdfs
mapreduce
hadoop
大数据集群
搭建详细教程
1.集群结构(hadoop3.1.1+zookeeper3.5.5+hbase2.0.0+spark2.3.4+phoenix5.0.0)类型zookeeperHbaseSparkPhoenixmasterNameNode否HMasterMastercore+serverjar包slave1DataNode是HRegionServerWorkercore+serverjar包slave2DataN
mythsc
·
2020-08-04 20:51
Hadoop
Spark大型项目实战:电商用户行为分析大数据平台
课程名称:Spark大型项目实战:电商用户行为分析大数据平台(高端大数据项目实战课程)价值2250元课程目录:一、
大数据集群
搭建第1讲-课程介绍第2讲-课程环境搭建:CentOS6.4集群搭建第3讲-课程环境搭建
hr868686
·
2020-08-04 14:37
Yarn-Client 模式下执行spark任务, Error initializing SparkContext. Failed to connect to driver!
redhat7.3系统
大数据集群
4台机器--集群外1台机器通过集群外的机器向
大数据集群
提交spark-sql任务,任务如下:任务执行失败。
Ru_ach
·
2020-08-03 20:27
Sqoop案例
导入数据导入从非
大数据集群
(RDBMS)向
大数据集群
(HDFS,HIVE,HBASE)中传输数据,关键字import。
梁云亮
·
2020-08-03 19:57
#
Sqoop
大数据集群
搭建和使用之五——Hive配置与使用
HiveMySQL配置卸载先前的MySQL(安全起见)安装MySQL下载mysql的repo源,例如5.7.20版本安装MySQL测试安装是否成功更换密码(mysql的要求,否则后续造作不能进行)使用新密码登录,并刷新远程登录权限修改mysql的root密码远程登录配置hive&mysql建立相关hadoop文件夹修改hive-site.xml修改hive-env.sh驱动包启动使用Hive建表导
ColonyAlbert
·
2020-08-01 13:06
BigData
(十九)插件化原理及深入讲解笔记1
(二)解决方案基于android的动态加载技术的支持1.将一个大的apk按照业务分割成多个小的apk2.每个小的apk即可以独立运行又可以作为插件运行,类似于
大数据集群
处理,将一个服务器耗时处理放到多
黑暗世界的微光
·
2020-08-01 00:38
大数据集群
环境配置
目录大数据环境环境准备MySQL的安装部署1.查看系统自带的mysql的rpm包2.mysql数据库的安装Hadoop的安装部署1.hadoop下载地址2.hadoop安装部署Yarn的安装部署1.1Configureparametersasfollows1.2StartResourceManagerdaemonandNodeManagerdaemon1.3查看resourcemanager进程2
Nice_N
·
2020-07-31 23:37
BigData
系列
从零搭建
大数据集群
环境:Hadoop2.7.4 + Spark2.4.5 分布式部署
此部署教程为基于虚拟机的Hadoop2.7.4+Spark2.4.5完全分布式部署文档,虚拟机系统为centos7,读者可根据自己实际部署环境情况进行相应调整。其中第三节Hadoop安装为可选安装:如果你的Spark应用涉及到HDFS或者使用YARN来调度集群资源,则必须安装;如果你只会用到Spark的local模式或者standalone模式并且不会涉及HDFS文件则可跳过(都点开本文了,建议全
单字一个箫
·
2020-07-31 10:04
hadoop
spark
分布式
大数据集群
相关组件的群起脚本
脚本一:集群群发脚本#!/bin/bash#1获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径pdir=`cd-P$(dirname$p1);pwd`echopdir=$pdir#4获取当前用
有心有梦
·
2020-07-31 09:00
cdh集群布局
最近开始从事大数据技术,看到公司采用cdn作为
大数据集群
工具,于是自己尝试了安装,但是在最后的角色划分时,由于对组件的一些架构和原理及服务器方面的知识欠缺,茫茫然。
selectgoodboy
·
2020-07-30 16:06
大数据技术
SparkStreaming读取Kafka对接Flume抽取到的数据库数据并保存到HBase中,Hive映射HBase进行查询
公司使用的是CDH6.3.1搭建的
大数据集群
~目录一、配置Flume,抽取数据到Kafka二、SparkStreaming对接Kafka保存数据到HBase三、Hive映射HBase四、测试一、配置Flume
象在舞
·
2020-07-30 13:21
Spark
Kafka
HBase
mysql
streaming
kafka
flume
hbase
CDH集群禁用kerberos
大数据集群
启用了kerberos,但有时因为种种原因需要暂时禁用,因此可以通过如下方法来进行操作:一、停止集群所有服务二、修改ZOOKEEPER配置1、Zookeeper的enableSecurity为
Moon_魔宽
·
2020-07-30 02:07
大数据
[Linux基础]阿里云
大数据集群
配置免密
1、生成密钥主节点上:ssh-keygen连续按四次回车,完成后可在~/.ssh/下查看生成的密钥[root@Yiyu~]#ll-a~/.ssh/total24drwx------2rootroot4096Jul1222:10.dr-xr-x---.6rootroot4096Jul1222:23..-rw-------1rootroot1679Jul1213:38id_rsa-rw-r--r--1
NBA首席形象大使阿坤
·
2020-07-29 23:56
大数据运维和开发
#
Linux系统
Cloudera Manager 中角色迁移和配置的一些操作记录
最近
大数据集群
中有一台节点磁盘坏掉,因为用的aliyun服务器,在考虑现有业务不需要太多的服务器资源,准备下架这台坏掉的服务器,记录一下其中的一些操作版本信息:CDH6.0.11.先需要造的是zookeeper
dengxt
·
2020-07-29 18:14
hadoop大数据
CDH(6.2.2)集群禁用kerberos
大数据集群
启用了kerberos,但因为认证太过麻烦,需要禁用,因此可以通过如下方法来进行操作:一、停止集群所有服务二、修改ZOOKEEPER配置1、Zookeeper的enableSecurity为false
summer089089
·
2020-07-29 14:31
hadoop
hbase
cloudera
CDH搭建
大数据集群
环境准备-阿里云主机
首先声明,这篇博文相对比较长,大约需要10min1、阿里云官网登录,购买ecs云服务器www.aliyun.com/如果你是新用户,需要注册,之后充值100购买ecs服务器我们可以看到公网和内网IP,将公网IP配置笔记本上的hosts文件,地址自己去找吧,这里不说了,我配置后的结果:这里顺便说下停止ecs服务器2、配置远程连接我这里使用的远程连接工具是xshell,你们也可以使用crt或者Moba
流一恩典
·
2020-07-29 13:20
CDH篇
一文理解kafka端到端的延迟
前言:在大规模的使用kafka过程中,我们通常会遇到各种各样的问题,比如说,通常会有一些
大数据集群
中的Job发现总有几个task会比较慢,导致整体的任务迟迟不能完成运行,这种情况通常问题会比较复杂,想要知道具体延迟在哪里
BGBiao
·
2020-07-29 06:28
运维
SRE
kafka
使用 Jupiter Notebook 运行 Delta Lake 入门教程
人员经历了阿里内部
大数据集群
的上线和发展壮大,现在阿里云EMR团队,负责Spark、Hadoop等计算引擎研发。本文的例子来自DeltaLake官方教程。
weixin_45906054
·
2020-07-28 23:53
趣头条 大数据部 技术专栏
3.
大数据集群
规模:2000台高配机器,数据量~50PB。
weixin_44678266
·
2020-07-28 22:53
Idea开发Spark直接以yarn-cluster模式提交到Ambari集群的解决方案
一.背景介绍许多中小型企业使用Ambari去管理自己的
大数据集群
,以Spark作为主要的计算框架去实现数据的分析。
人唯优
·
2020-07-28 20:23
Ambari
Spark
饿了么大数据计算引擎实践与应用
其中6人的离线团队需要维护
大数据集群
规模如下:Hadoop集群规模1300+HDFS存量数据40+PB,Read3.5PB+/天,Write500TB+/天14WMRJob/天,10WSparkJob/
weixin_34406796
·
2020-07-28 19:47
大数据集群
机房搬迁数据迁移
【一、背景】按照中心总体计划,目前部署在生产区的运营
大数据集群
需要搬迁至万国机房。
Moon_魔宽
·
2020-07-28 15:15
大数据
Hadoop 原生分布式对象存储 Ozone
背景HDFS是业界默认的大数据存储系统,在业界的
大数据集群
中有非常广泛的使用。HDFS集群有着很高的稳定性,得益于它较简单的构架,集群也很容易扩展。
过往记忆
·
2020-07-28 15:44
Nosql 理解篇+实战篇 一 了解nosql
在hadoop
大数据集群
运用中所处的位置及作用;NoSQL常用的几种数据库NoSQL名称阐议:1)是“NotOnlySQL”的缩写,不仅仅是sql,它不一定遵循传统数据库的一些基本要求,比如说遵循SQL
FmZero
·
2020-07-28 14:00
大数据组件及其环境搭建
不过现在很多公司要么直接购买大数据组件云服务,要么基于ambera等搭建/管理
大数据集群
环境,要么基于k8s、rancher等基于容器技术实现
大数据集群
环境。
叶子爷爷
·
2020-07-28 07:13
hadoop
大数据集群
搭建(五)——MySQL-8.0.19安装
MySQL-8.0.19安装下载mysql压缩包按照下图所示,选择“Linux-Generic”,找到下方的“Linux-Generic(glibc2.12)(x86,64bit),tar”,点击右侧的“download”,跳转到新页面选择不登录,直接下载下载速度特别慢,可将下载地址复制到迅雷下载网速飞快将压缩包解压得到三个文件,将“mysql-8.0.19-linux-glibc2.12-x86
no_hot
·
2020-07-28 04:18
RC ORC Parquet之大数据文件存储格式的一哥之争
背景 大数据如火如荼的发展中,以hadoop集群为基础的数据存储和计算框架也日新月异的精进,而如何减少存储空间又提升计算效率,一直是
大数据集群
老生常谈的问题,今天就一起聊聊最基本的大数据文件存储格式的区别对比
╭⌒若隐_RowYet
·
2020-07-27 16:30
Hadop
HDFS
hdfs
parquet
orc
rcfile
snappy
Spark on Yarn解密及运行流程
一、HadoopYarn解析1,Yarn是Hadoop推出整个分布式(大数据)集群的资源管理器,负责资源的管理和分配,基于Yarn我们可以在同一个
大数据集群
上同时运行多个计算框架,例如Spark、MapReduce
囧芝麻
·
2020-07-27 15:12
Spark
当我说要做大数据工程师时他们都笑我,直到七个月后……
因此我花了一个月时间整理了一份我当初学习的大数据学习路线,从最基础的
大数据集群
搭建开始,希望能帮助到大家。
云 祁
·
2020-07-27 14:40
大数据
编程语言
hadoop
人工智能
数据分析
当我说要做大数据工程师时他们都笑我,直到七个月后……
因此我花了一个月时间整理了一份我当初学习的大数据学习路线,从最基础的
大数据集群
搭建开始,希望能帮助到大家。
云祁
·
2020-07-25 16:00
[Centos版]Hadoop运行环境的具体搭建过程(超详细)
纠结了非常久,最终还是决定开始更新
大数据集群
类的文章了。
不温卜火
·
2020-07-16 04:11
#
Hadoop集群搭建
Hadoop
CDH6.x对应的Apache Atlas版本选择
一.CDH集群组件版本调研现有
大数据集群
使用的是CDH6.1.0版本,查看官方文档[1],可以查找到各组件的版本信息。
屋顶看飞机
·
2020-07-15 19:18
大数据组件
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他