E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
CentoOS6下搭建hadoop高可用平台——含多种错误解决方法
@Hadoop高可用搭建前期搭建可以通过以下链接学习:一、如何安装虚拟机与通过克隆在虚拟机里安装四台Linux系统及配置安装二、
伪分布式
安装你好!
风一样的女孩纸
·
2020-06-17 14:21
大数据
hadoop
hdfs
Jmeter基础010----分布式
2、基本架构(1)角色:控制机:任务分发+结果汇总执行机:接任务+做任务(2)流程:控制机分配任务给不同的执行机执行机执行任务,将结果发送给控制机控制机再将结果汇总3、
伪分布式
环境搭建搭建
伪分布式
环境,
搁浅的青木儿
·
2020-06-16 11:00
大数据系列之hadoop第一天(hadoop介绍和
伪分布式
安装)
前言:大数据系列包括hadoop,zookeeper,hive,flume,kafka,hbase,storm,spark等组件,我在这里会很详细跟大家分享集群的搭建和全部组件的使用,会有具体的案例。Hadoop概述官方网址:http://hadoop.apache.org/Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构,可利用分布式架构来存储海量数据,以及实现分布式的计算。Ha
下页丶莫
·
2020-06-09 20:05
大数据
hadoop
hadoop
大数据
Hbase
伪分布式
安装配置 详细步骤
因课程实验需要,得重新装回hbase,在此记录一下详细步骤总的分三个步骤1.安装配置jdk请移步我的另一篇博客:jdk安装配置2.安装配置hadoop请移步:hadoop
伪分布式
安装配置3.安装配置hbase1
认真写bug ٩(๑❛ᴗ❛๑)۶
·
2020-06-09 14:27
hadoop
hbase
伪分布式
环境下启动Hadoop下的Hive
在本地搭建好
伪分布式
环境,打开虚拟机进入linux系统,如果是在root用户下则需要切换至Hadoop用户su-hadoop按需输入hadoop密码在hadoop家目录下启动Hadoop集群start-all.sh
吕二口
·
2020-06-04 16:00
Docker 前世今生
前言记得是在二零一八年十月份,当时是因为在学校报名参加了一个叫什么全国大学生大数据技能竞赛的玩意儿,赛点设置在中国农业大学计算中心,比赛是搭建一个
伪分布式
Hadoop集群系统,按照搭建步骤完成度得分。
sunlingbot
·
2020-06-04 01:50
docker
容器
运维
Hadoop概述、
伪分布式
安装、配置
------------本文来自阿P官方博客思考1:为什么学习Hadoop?思考2:Hadoop能解决什么问题?一个小小的建议:我们每次再安装、配置应用时,最好从虚拟机开始,一步步安装一、Hadoop概述Apache提供的开源技术除了Apache提供的,还有Cloudera的CDH,华为的HDP发展历史(略)安装方式单机:下载安装包,直接解压就能使用。单机只能使用mapReduce。所有数据存储在
阿P_
·
2020-06-02 19:19
hadoop完全分布式集群环境搭建(超详细)
所需环境:关闭所有防火墙3台centos7(建议配置静态ip)master192.168.200.128slave1192.168.200.129slave2192.168.200.130参考官方文档
伪分布式
完全分布式配置
Bug.object
·
2020-06-02 12:42
hadoop
大数据
centos
hdfs
linux
Spark Standalone
伪分布式
安装
Standalone
伪分布式
安装实验环境·操作机:WindowsXP·目标机:1台CentOS7虚拟机配置:IP:192.168.129.100主机名:hadoop1内存:1GB硬盘:20GB实验工具·
ch123
·
2020-05-27 23:58
spark
Hadoop
伪分布式
模式安装
Hadoop
伪分布式
模式安装实验环境·操作机:Windows7实验工具·Web浏览器:常用的有谷歌浏览器,火狐浏览器等·Xshell6:是一个强大的安全终端模拟软件,它支持SSH1,SSH2,以及MicrosoftWindows
ch123
·
2020-05-27 23:20
hadoop
Hadoop学习笔记(1)-Hadoop在Ubuntu的安装和使用
非分布式即单Java进程,方便进行调试
伪分布式
模式:Hadoop可以在单节点上以
伪分布式
的方式运行,Hadoop进程以
北徯
·
2020-05-27 23:14
bash
HBase
伪分布式
集群安装
Hadoop版本间冲突,可以在CDH上下载和Hadoop兼容的HBase版本,本次搭建选择的是hbase-1.2.0下载路径:http://archive.cloudera.com/cdh5/二、配置
伪分布式
环境
INC随我
·
2020-05-24 22:42
大数据
大数据
HDFS
HBase
Ubuntu20.04安装Hadoop和Hive
Mysql二、安装Hadoop1.1创建Hadoop用户(如果需要将本机的账户与Hadoop分开,可以新建一个新用户)2.1安装SSH2.2安装JDK1.8.0_2513.1下载Hadoop-3.2.13.2
伪分布式
配置
風の住む街~
·
2020-05-21 17:44
#
Hive
第二章:Hadoop
目录Hadoop概述历史作用Hadoop的安装Hadoop版本介绍Hadoop的安装有三种方式Hadoop
伪分布式
安装进入目录上传安装包并解压修改配置文件启动初始化启动停止测试HDFS详解NameNodeDataNodeBlockSecondaryNameNodeHDFS
给dongcc换成百威
·
2020-05-19 17:15
课堂笔记
Hadoop2.x
伪分布式
集群搭建
第一步:配置网络(静态IP)vi/etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同)修改:将该配置文件中的ONBOOT=no修改为yes(网络开机自启)将BOOTPROTO=dhcp修改为static(将ip设置为静态ip)为了能够通过外部访问到虚拟机,增加:IPADDR=192.168.154.110(110是自己设置的,154是VMnet8的
孙晨c
·
2020-05-17 20:00
使用IDEA远程向
伪分布式
搭建的Hadoop提交MapReduce作业
环境VirtualBox6.1IntelliJIDEA2020.1.1Ubuntu-18.04.4-live-server-amd64jdk-8u251-linux-x64hadoop-2.7.7安装
伪分布式
harrylyx
·
2020-05-14 15:00
Ubuntu下搭建Hadoop的单机模式以及
伪分布式
模式
Ubuntu下搭建Hadoop的单机模式以及
伪分布式
模式环境准备创建Hadoop用户(可选)SSH登录权限设置安装Java环境单机模式以及
伪分布式
模式的搭建Hadoop单机安装配置Hadoop
伪分布式
安装配置环境准备创建
٩(๑^o^๑)۶( ˙˘˙ )
·
2020-04-24 19:21
hadoop
HBase的
伪分布式
安装详细版
1.下载HBase安装包:网盘链接:链接:https://pan.baidu.com/s/1KmZKAxlq_3SK4iPGBheqNA提取码:vwuq2.安装前的准备;2.1:安装vm虚拟机2.2:配置网络和IP内存2.3:关闭防火墙[root@localhost~]#chkconfigiptablesoff2.4:禁用selinuxvim/etc/sysconfig/selinuxSELINU
IT change the world
·
2020-04-20 21:17
企业应用
环境搭建
大数据
hadoop
hbase
jdk
hive环境搭建
Hive环境搭建环境准备,之前的linux和hadoop
伪分布式
系统1在linux系统里装mysql数据库,hive的元数据存储在mysql中RMP安装MySql①下载MySqlhttp://dev.mysql.com
yzy121403725
·
2020-04-16 15:25
hive
分布式文件系统
hadoop
伪分布式
搭建
Hadoop为分布式搭建过1利用之前安装好的虚拟环境下的linux系统2关闭防火墙①查看防火墙状态[root@standaloneezr]#serviceiptablesstatus②关闭防火墙a重启后生效开启:chkconfigiptableson关闭:chkconfigiptablesoffb即时生效,重启后失效开启:serviceiptablesstart关闭:serviceiptables
yzy121403725
·
2020-04-16 15:08
hadoop
分布式文件系统
大数据开发连载No1之搭建Hadoop
伪分布式
集群环境
是什么是hadoop?(1)框架核心设计:HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算(2)思想:分布式,分而治之,并行结算,计算向数据移动(3)模块:分布式文件存储系统HDFS:提供了高可扩展性,高可靠性,和高吞吐率的数据存储服务分布式计算框架MapReduce:计算向数据移动分布式资源框里框架YARN:负责集群资源的管理和调度(4)存储模型:字节--文件线性切割成
小石头的幸福
·
2020-04-14 11:59
hadoop开发环境
Hadoop
伪分布式
环境搭建1.设置ssh免密登陆1、生成秘钥对ssh‐keygen‐trsa(直接回车)2、查看隐藏目录ll‐a/rootcd.ssh3、创建authorized_keystouchauthorized_keys4
crystalcd
·
2020-04-14 08:03
大数据方向学习指南
熟悉工作室软件环境Step2VirtualBox使用&启动vimtutorStep3熟悉云平台的使用Step4初识HadoopStep5Hadoop单节点安装(1)本地模式Step6Hadoop单节点安装(2)
伪分布式
模式
tonyemail_st
·
2020-04-13 20:59
搭建Hadoop完全分布式环境
前提:搭建Hadoop
伪分布式
环境node01node02node03node04NameNodeSecondaryNameNodeDataNode01DataNode02DataNode03配置node01
上杉丶零
·
2020-04-13 15:05
连接hiveserver2-Hive用户配置
操作之前做必要假设:保证Hadoop(单机或者
伪分布式
模式)安装无误,运行Hadoopnamenode进程的用户名为hadoopuserHive安装和配置无误,能够正常使用HiveCLI下面正式开始修改配置文件编辑
staneyffer
·
2020-04-12 22:09
【贴心搭建系列】zookeeper(window)
伪分布式
集群搭建
1、下载window下的zk包点我!点我!右键用新窗口打开本次搭建所用的版本是zookeeper-3.4.142、制作配置文件进入zk中的conf目录,复制zoo-sample.cfg。改为zoo_1.cfg、zoo_2.cfg、zoo_3.cfg分别对zoo_1.cfg、zoo_2.cfg、zoo_3.cfg文件进行编辑,样板代码如下:3、创建文件夹细心的朋友已经注意到dataDir和dataL
邂逅那青春-VING
·
2020-04-12 22:00
黑猴子的家:Hadoop
伪分布式
Yarn运行MapReduce
1、配置集群(1)配置yarn-env.sh获取jdk的安装路径[
[email protected]
]$echo$JAVA_HOME/opt/module/jdk1.8.0_144修改JAVA_HOME路径[
[email protected]
]$vimetc/hadoop/yarn-env.shexportJAVA_HOME=/opt/module/jdk1.8.0_1
黑猴子的家
·
2020-04-12 17:35
华为云服务器centos7.2下hadoop
伪分布式
wordcount运行实例
1.jdk配置[root@ecs-f5cc~]#vim/etc/profileJAVA_HOME=/usr/local/src/java/jdkPATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEPATHCLASSPATHexportHADOOP_HOME
HUAWEIMate20
·
2020-04-12 04:46
<转载>HDFS
伪分布式
及全分布式的搭建
http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-common/ClusterSetup.html概述:利用多台Linux主机来进行部署Hadoop,对Linux机器集群进行规划,使得Hadoop各个模块分别部署在不同的多台机器上。新建一个虚拟机hadoop1为主站,分别克隆名为hadoop2、hadoop3、hadoo
有七段变化
·
2020-04-11 13:17
云平台配置3:配置完全分布式的 Hadoop
云平台配置3:配置完全分布式的Hadoop前面说了
伪分布式
的配置,也说了如何配置ssh,到现在是时候配置具有完全分布式的hadoop了主机信息,成功配置hadoop应该显示的进程。
zThanks
·
2020-04-11 05:21
hadoop本地模式和
伪分布式
模式
/**以下不涉及完全分布式,只说明单机版和
伪分布式
*/一,hadoop本地模式和
伪分布式
模式之间的区别1.单机(非分布式)模式这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统
丶阿颜
·
2020-04-11 04:50
hadoop-spark
伪分布式
搭建
==简介:==本为为hadoop/spark开发环境的
伪分布式
搭建,基于centos6.4系统,由三个虚拟机构成搭建版本详情系统centos6.4hadoop版本hadoop-2.6.0-cdh5.7.0spark
冷梦颜爱楠楠
·
2020-04-10 20:08
Windows Zookeeper 单机模式和
伪分布式
模式安装
目录zk目录.pngWindows安装zk版本为:zookeeper-3.4.141、单节点方式:部署在一台服务器上2、单IP多节点(伪集群):部署在同一IP,但是有多个节点,各有自己的端口3、多IP多节点:部署在不同IP,各有自己的端口(未测试)一、Zookeeper安装(单机部署)单节点方式:部署在一台服务器上1、下载地址:链接:zookeeper-3.4.14.tar.gz提取码:l77v下
宇宙小神特别萌
·
2020-04-10 12:06
Hadoop3.0 Java API使用指南
0.开发环境概述客户端环境Windows764位OracleJDK864位Eclipse4.7服务器
伪分布式
安装部署Hadoop31.Windows平台下Hadoop客户端运行环境搭建-下载winutils
z362831561
·
2020-04-09 04:40
6. zk集群安装
文章参考:https://segmentfault.com/a/1190000011797152zk多节点集群安装
伪分布式
,两种方式,一种多份程序,多份配置信息;另一种,一份程序,多份配置信息方案一:1
Gavin_Alison
·
2020-04-09 02:24
Linux系统搭建
伪分布式
ZooKeeper集群
1.去官网下载最新的ZK解压包tar.gz2.将解压包分别加压3次并重命名3.进入到其中一个目录下的conf目录下cpzoo_sample.cfg文件在conf目录下生成最新的zoo.cfg文件4.vimzoo.cfg5.根据第三、四步分别在其他两个目录分别进行操作6.分别进入到data目录里面,配置myid文件配置文件内容分别是123既2187为1、2188为2、2189为37.分别启动zk服务
我的自动化测试历程
·
2020-04-08 21:19
Mac下安装Hadoop(转)
基金会下的项目,它能够处理非常大的数据集在分布式计算环境,它可以运行在三种模式下:独立式Hadoop运行所有的东西在无后台的单独的JVM中,这种模式适合在开发阶段测试与DebugMapReduce程序
伪分布式
hikaty
·
2020-04-08 11:31
Linux 环境下磁盘io统计命令工具
[toc]实验背景上数据库课,老师出了一个作业:比较两个数据系统处理数据对io的要求,分别使用Hadoop
伪分布式
和mysql环境。让两个大文件,做简单jion操作,观察磁盘io情况。
zhouyao
·
2020-04-07 21:20
Hadoop完全分布式模式安装部署
在Linux上搭建Hadoop系列:1.Hadoop环境搭建流程图2.搭建Hadoop单机模式3.搭建Hadoop
伪分布式
模式4.搭建Hadoop完全分布式模式注:此教程皆是以范例讲述的,当然你可以按照教程搭建一个与教程一样的
主神
·
2020-04-07 01:28
hadoop
笔记
hadoop
大数据
分布式
linux
服务器
Kerberos协议及
Habase
相关参数
KerberosKerberos是一种计算机网络认证协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份,协议基于对称密码学,并需要一个值得信赖的第三方(KDC)。它主要包含:认证服务器(AS)和票据授权服务器(TGS)组成的密钥分发中心(KDC),以及提供特定服务的SS。相关概念描述:AS(AuthenticationServer)=认证服务器KDC(KeyDis
todd5167
·
2020-04-06 19:25
配置
伪分布式
Hadoop系统
一、配置文件(core-site.xmlhdfs-site.xmlyarn-site.xml)上述三个文件夹均在此目录下:cd/usr/local/hadoop/etc/hadoop把配置信息里面的所有hadoopm换成自己的主机名Hadoopcore-site.xml配置信息:hadoop.tmp.dir/root/hadoop_tmpAbaseforothertemporarydirector
九点六
·
2020-04-06 18:00
Hadoop
伪分布式
环境搭建
本文主要描述搭建Hadoop2.7.3伪分布环境.主要参考文档一,首先需要的软件JDKJDK是必须的,对应Hadoop需要的JDK见说明JDK安装完毕后,需要配置环境变量JAVA_HOMESSHSSH用来管理远程Hadoop二,下载Hadoop并解压从官网下载所需版本低Hadoop,然后解压到指定位置1,接下来修改配置文件etc/hadoop/core-site.xml用来指定HDFSfs.def
evil_ice
·
2020-04-05 14:59
Hadoop2
伪分布式
安装部署
安装操作系统在centos6.4和macos10.10下都测试通过,以下以centos6.4环境为例。安装JDK安装版本hotspotjdk864bit,安装路径/home/rbg/tools/jdk8安装hadoophadoop目前最新的稳定版是2.7.3,下载链接http://hadoop.apache.org/releases.html,下载下来是个压缩包hadoop-2.7.3.tar.g
墙角儿的花
·
2020-04-04 16:16
079-BigData-07hadoop
伪分布式
和分布式
上一篇:078-BigData-06hadoop架构及环境搭建一、hadoop
伪分布式
SSH无密码登录ssh-keygen-trsaimage.png回车确定,或者指定特定目录也行。
AncientMing
·
2020-04-04 15:28
hadoop视频教程培训 Hadoop从入门到精通全套学习教程
-------------------课程目录-------------------下载地址:http://demo.liuy88.cn/jp0539.html第一天hadoop的基本概念
伪分布式
hadoop
燕燕展翅东南飞
·
2020-04-04 07:15
Mac OS X上搭建
伪分布式
CDH版本Hadoop开发环境
最近在研究数据挖掘相关的东西,在本地Mac环境搭建了一套
伪分布式
的hadoop开发环境,采用CDH发行版本,中间遇到各种坑,于是还是想把一些过程给记录下来,供大家参考吧。
saviola1127
·
2020-04-03 08:52
hadoop笔记2--eclipse下hadoop的开发环境
在hadoop
伪分布式
环境搭建好之后,我们就可以进行hadoop应用的开发了。hadoop是用java写的,也提供了java开发包,我们需要先下载对应的jar包。
七号萝卜
·
2020-04-02 18:45
在Mac下安装Hadoop的坑
基金会下的项目,它能够处理非常大的数据集在分布式计算环境,它可以运行在三种模式下:独立式Hadoop运行所有的东西在无后台的单独的JVM中,这种模式适合在开发阶段测试与DebugMapReduce程序
伪分布式
木夜溯
·
2020-04-01 05:42
Hadoop2.6.5
伪分布式
环境配置
Java配置rpm-ijdk-7u67-linux-x64.rpm#安装Java7vi+/etc/profile#配置环境变量在文件末尾追加环境exportJAVA_HOME=/usr/java/jdk1.7.0_67PATH=$PATH:$JAVA_HOME/bin激活环境source/etc/profilessh配置检查ssh是否能免密登录本机sshlocalhost配置秘钥ssh-keyge
QQ大冰_30d9
·
2020-03-31 11:52
分布式集群配置简单指南 Special Edition
分布式集群配置简单指南
[email protected]
.准备工作0.1三台已经【配置好的】【可以运行】Hadoop
伪分布式
实例的虚拟机0.2将三台虚拟机连入同一个局域网(可以用三台电脑分别开一个虚拟机
望月时生
·
2020-03-30 12:18
上一页
28
29
30
31
32
33
34
35
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他