E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
大数据
伪分布式
平台搭建过程
大数据相关jar包可在https://www.siyang.site/portfolio/出下载平台结构为上图配置ssh每个节点操作sshlocalhost配置ssh免秘钥登录node1配置ssh-keygen-tdsa-P''-f/root/.ssh/id_dsa会在.ssh目录中生成2个文件:id_dsa及id_dsa.pub去.ssh目录将id_dsa.pub复制一份为authorized_
司杨
·
2020-07-14 19:41
大数据平台
linux/ubuntu
Windows+spark+scala+hadoop的Spark(python)开发环境搭建
实习单位的主管让我在写接口之余搞搞Spark,搞了2天终于搞定了windows下的单点
伪分布式
模式了,搭环境的坑实在是太多、太多了。主要是现在网上的博客,假的太多了,就是为了骗访问量,太无耻!!!
桔子66
·
2020-07-14 18:20
HDFS命令行操作
(点击查看
伪分布式
搭建;点击查看HA完全分布式搭建)。
墨玉浮白
·
2020-07-14 18:19
Hadoop
HBase集群搭建实验(2)_
伪分布式
部署(使用内置ZooKeeper)
HBase
伪分布式
模式1)HBase使用HDFS存储数据,所有进程运行在同一个节点上,不同的HBase或ZooKeeper守护进程运行在不同的JVM(JavaVirtualMachine)中2)使用HBase
whvcse_hlzhang
·
2020-07-14 18:50
Hbase
伪分布式
和完全分布式搭建步骤
hbase
伪分布式
以Linux文件系统存储使用自身、自带ZooKeeper1、基本环境ip、网络、hosts列表、防火墙关闭...2、安装jdk设置jdk环境变量3、下载安装包4、解压hbase环境变量设置
WF_事难懂
·
2020-07-14 18:14
HBase
大数据学习之路(二)——hadoop
伪分布式
开始搭建hadoop
伪分布式
使用机器:macbookpro,jdk我就不说明了,必备参考文章http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist
recover517
·
2020-07-14 17:38
大数据
Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机
伪分布式
安装
Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机
伪分布式
安装注意1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi
赵延东的一亩三分地
·
2020-07-14 17:54
大数据相关技术
Hadoop
超详细的Hadoop
伪分布式
搭建教程
准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:192.168.1.0子网掩码:255.255.255.0->apply->ok回到windows–>打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP:192.168.1
木小草
·
2020-07-14 17:14
hadoop
ubuntu
Hadoop
伪分布式
安装
学习大数据最烦人的是安装,很多人装了几天不成功,我自己摸索前前后后大概有大半个月,终于学会了如何在Linux下去安装hadoop,由于只是学习,没有必要使用集群安装,在这里,给出
伪分布式
安装的总结性指导
qq_19875729
·
2020-07-14 17:12
大数据
linux
hadoop
新手安装hadoop
伪分布式
教程
安装环境VirtualBox虚拟机CentOS6.9系统hadoop2.6.5(最新版一样,向下兼容低版本jdk)jdk包1.8
伪分布式
就一台虚拟机第一步在VirtualBox创建一个CentOS虚拟机附上镜像下载地址
Python之简
·
2020-07-14 16:44
大数据
Hadoop三种运行模式(单机模式、
伪分布式
模式、全分布式集群模式)
Hadoop的三种运行模式(启动模式)1.1、单机模式(独立模式)(Local或StandaloneMode)默认情况下,Hadoop即处于该模式,用于开发和调式。不对配置文件进行修改。使用本地文件系统,而不是分布式文件系统。Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行
qiulinsama
·
2020-07-14 16:26
Hadoop
Hbase
伪分布式
部署+zookeeper
伪分布式
部署
1.zookeeper部署[hadoop@hadoop002conf]$catzoo.cfg#ThenumberofmillisecondsofeachticktickTime=2000#Thenumberofticksthattheinitial #synchronizationphasecantakeinitLimit=10#Thenumberofticksthatcanpassbetween
muyingmiao
·
2020-07-14 15:24
HBase
Linux安装Hadoop2.4.1和
伪分布式
部署
Hadoop平台都是基于Linux系统下的,今天我们来讲解Hadoop的安装教程一.先安装JDK,详情安装清查看我的另一篇文章:点击打开链接二.安装Hadoop(1)先上传hadoop的安装包到服务器上去/usr/local/src(2)解压到指定目录[hadoop@hadoop02src]$tar-zxvfhadoop-2.4.1.tar.gz-C~/app(3)重命名,解决繁杂的版本标识[ha
校长专栏
·
2020-07-14 15:10
hadoop
ZooKeeper(二)-在Linux上的伪集群布置
显然,集群
伪分布式
模式为我们体验Zookeeper和做一些尝试性的实验提供了很大的便利。比如,我们在
推荐爱你Jonah
·
2020-07-14 14:15
zookeeper
zookeeper
linux
集群
大数据:hdfs操作命令手册
在使用hdfs之前,我们必须对namenode进行格式化,这个步骤在部署
伪分布式
的时候已经执行过了hdfsnamenode-format创建用户目录,进入hdfs时,默认目录就是/user/,是linux
loophome
·
2020-07-14 14:14
大数据处理
hadoop学习过程(一)
内容提示:——双系统安装(Ubuntu)——Hadoop
伪分布式
安装——Ubuntu下eclipse的下载安装与配置——eclipse中Maven插件的下载安装与配置——eclipse中hadoop插件的下载安装与配置
lln_lln
·
2020-07-14 14:08
大数据hadoop
hbase
伪分布式
搭建遇到的坑
网上一大堆,
伪分布式
的搭建,我这里推荐一个https://www.jianshu.com/p/f2340f02ec7f或者https://m.imooc.com/article/25594都一样重点是我部署完之后
keepons
·
2020-07-14 14:03
Hbase
Hadoop用户Hadoop
伪分布式
部署(HDFS)
环境要求java、ssh添加hadoop用户[root@hadoop-01~]#useraddhadoop[root@hadoop-01~]#vi/etc/sudoers#找到rootALL=(ALL)ALL,添加hadoopALL=(ALL)NOPASSWD:ALL上传并解压[root@hadoop-01software]#rz#上传hadoop-2.8.1.tar.gz[root@hadoop
ly稻草
·
2020-07-14 14:26
在linux环境下安装hadoop环境和配置
最后成功的配置了
伪分布式
hadoop。什么是
伪分布式
hadoop呢?
lixiaopengai
·
2020-07-14 14:01
centos7.2下zookeeper
伪分布式
集群搭建
一般情况下,当我们学习有关集群的知识时,都是在我们本地电脑来安装多个节点(有条件的可以运用不同的服务器去学习搭建),比如:mq、zookeeper、mysql等今天我就动手搭建一下在自己的电脑上如何搭建一个
伪分布式
badly1226
·
2020-07-14 13:17
zookeeper
Hadoop-2.7.3环境搭建之
伪分布式
模式
#准备工作之环境变量的配置##安装jdk1.复制jdk-8u121-linux-x64.tar.gz到~/Downloads目录下$>cpjdk-8u121-linux-x64.tar.gz~/Downloads2.解压缩$>tar-xzvfjdk-8u121-linux-x64.tar.gz3.在根目录下建立目录/soft$>sudomkdir/soft注:将所有相关的安装软件放入/soft文件
疯狂呼呼呼
·
2020-07-14 13:11
Hadoop
Hadoop
spark1.2.0
伪分布式
搭建
1、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html;2、安装和配置scala:第一步:上传scala安装包并解压第二步配置SCALA_HOME环境变量到bash_profile第三步source使配置环境变量生效:第四步验证scala:3、下载spark1.2.0,具体下载地址:http://spark.ap
ladeng5225
·
2020-07-14 13:35
云计算
大数据
hadoop 2.6.0
伪分布式
安装
如果用的是CentOS/RedHat系统,请查看相应的CentOS安装Hadoop教程_单机
伪分布式
配置。
ladeng5225
·
2020-07-14 13:35
hadoop
hbase
zookeeper
hadoop--1 搭建
伪分布式
实验环境
本文参考http://www.superwu.cn/author/admin/1.安装虚拟机2.安装jdk编辑/etc/profile,添加JDK环境变量:保存关闭后,使用source/etc/profile命令使修改生效。验证:3.关闭防火墙4.设置DNS编辑/etc/hosts,添加dns解析:5.设置SSH免密码登陆验证:6.安装hadoop1.将hadoop源码copy到/usr/loca
ruoshuihhb
·
2020-07-14 12:30
hadoop
详细记录Hadoop安装(
伪分布式
配置)
1切换到root用户操作,在安装Hadoop之前,首先确认安装好Java,java-version查看版本号,cd/usr/lib/jvm转到Javajdk目录下查看Java版本,因为Hadoop运行需要Java,确保配置好环境变量。2编辑系统配置文件,输入命令进行环境变量的配置。vim/etc/profile3进入编辑模式,光标定位到文件的底部,输入路径信息。exportJAVA_HOME=/u
水车小屋静
·
2020-07-14 11:35
在Centos系统中搭建Hadoop集群
之前我在一个Centos机器上面搭建了
伪分布式
的hadoop,接下来搭建多个机器的分布式hadoop集群。
温润如风
·
2020-07-14 11:06
Hadoop
Hadoop-Hbase环境搭建(上)
说明:本教程先详细说明hadoop与hbase的
伪分布式
搭建步骤、在此基础上再说明分布式的搭建过程。一、使用环境作者是在Ubuntu16.06LTS系统完成的搭建。
小黄人hcy
·
2020-07-14 11:25
大数据
信息安全
Hadoop
伪分布式
部署之linux环境准备
前言在正式部署hadoop之前,我们需要先对linux系统的网络和java做一些准备工作,确保能够顺利部署和使用hadoop。今天我们就以centOS6.4为例做一个环境配置。1、主机名及映射配置考虑到后面要搭建集群,节点之间的访问最好使用主机名访问,所以现在需要设置一下每个节点的主机名和映射。我们先以一台机器的配置为例,以后我们会讲到多台机器时该如何配置。IP设置查看本机的IP,并设置成固定IP
潇山远
·
2020-07-14 10:03
Hadoop
伪分布式
hadoop平台上hbase的安装配置
我的运行环境是:虚拟机上面的安装的ubuntu12.04
伪分布式
Hadoop-1.0.3hbase-0.94.2hive-0.8.1因为网上大部分的文章写的都是在完全分布式Hadoop进行hive+hbase
ericson920
·
2020-07-14 10:01
hadoop
Zookeeper、HBase的伪分布
1、Zookeeper伪分布的部署(3个节点)所谓的“
伪分布式
集群”就是在一台服务器中,启动多个Zookeeper实例。“完全分布式集群”是每台服务器,启动一个Zookeeper实例。
dianhuopao7502
·
2020-07-14 09:12
Hadoop
伪分布式
集群的安装部署
Hadoop
伪分布式
集群的安装部署Hadoop
伪分布式
集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备。一、如何为虚拟机做快照?
华为云
·
2020-07-14 09:55
技术交流
Hadoop集群搭建及wordcount测试
伪分布式
模式Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。完全分布式模式Hadoop运行在一个真实的集群中,本文以hadoop-2.6.3为例讲解此模式配置。
czliuming
·
2020-07-14 09:03
BigData
大数据-Hadoop
伪分布式
配置(已配置成功)
Hadoop可以在单节点上以
伪分布式
的方式运行,Hadoop进程以分离的Java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。
changhenshui1990
·
2020-07-14 08:34
大数据
Spark
伪分布式
环境下安装指南
目录:一准备工作二安装scala2.10.5三安装spark1.3.1四验证安装结果一准备工作(1)配套软件版本要求:SparkrunsonJava6+andPython2.6+.FortheScalaAPI,Spark1.3.1usesScala2.10.YouwillneedtouseacompatibleScalaversion(2.10.x).http://blog.csdn.net/je
bima2015
·
2020-07-14 08:06
大数据
hadoop
伪分布式
安装详细教程(windows下)
安装前需要准备的东西:1.一台客户机2.安装虚拟机,并在虚拟机中配置好linux系统3.下载jdk安装包(我用的jdk版本是jdk-8u201-linux-x64)4.下载hadoop安装包(我用的hadoop版本是hadoop-2.7.6)5.下载SecureCRT(这个不是必需的,它只是一个远程连接服务器软件)接下来让我们步入安装的进程吧:将JDK及HADOOP安装包在linux中解压,放在名
伯纳乌扫地老僧
·
2020-07-14 07:38
hadoop相关
Hbase
伪分布式
搭建
Hbase
伪分布式
搭建、以及基本使用方法搭建说明Hbase部署架构图下载安装包上传下载zookeeper-3.4.9.tar.gz、hbase-1.2.4-bin.tar.gz安装包到/data/pkg
白贺同学
·
2020-07-14 07:33
Sqoop
伪分布式
配置
解压和重命名文件tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmkdir/opt/sqoopmvsqoop-1.4.7.bin__hadoop-2.6.0/opt/sqoop/sqoop1.4.7进入sqoop的配置目录cd/opt/sqoop/sqoop1.4.7/conf/#将sqoop-env-template.sh复制一份并命名为sqoop-env
asd547249091
·
2020-07-14 07:07
Hbase
伪分布式
配置
Hbase配置tar-zxvfhbase-1.2.6-bin.tar.gzmkdir/opt/hbasemvhbase-1.2.6/opt/hbase/hbase1.2.6#配置环境变量vim/etc/profile#HBaseConfigexportHBASE_HOME=/opt/hbase/hbase1.2.6#PATHconfigexportPATH=.:${JAVA_HOME}/bin:$
asd547249091
·
2020-07-14 07:07
Hadoop
伪分布式
环境搭建——简明版!
前些日子,由于误操作,把之前搭的Hadoop虚拟机给误删了。当然东西没了就没了,哀叹抱怨是没用的,总不能不用吧,所以又尝试重新搭了一套。去年搭的时候感觉也是磕磕绊绊的,今年居然非常的顺!所以,整一套教程吧,真的感觉简明的不能再简明了。。。Step1:Download!1、虚拟机肯定要有的,虚拟机里面装的Ubuntu肯定也是要有的,我用的是Server12.04LTS2、JDK也是不可或缺的,这里选
Tobielf
·
2020-07-14 06:43
Distributed
System
[Java大数据入门]Hbase
伪分布式
环境安装与配置
文章目录一、Hbase基本概念二、安装Hadoop三、Hbase下载与安装四、Hbase
伪分布式
配置五、启动Hbase六、总结一、Hbase基本概念Hbase官网二、安装HadoopHbase是DatabaseonHadoop
Russell_Liu
·
2020-07-14 05:06
Java大数据入门
zookeeper单机模式,
伪分布式
,集群模式安装教程(按照步骤来,100%能成功)
前期准备:注意:用于我已经做了映射(ip地址和服务器名字),所以我写的是各个服务器的名字,如果你没有做映射,用ip地址即可。我的3台服务器名字分别是hadoop02hadoop03hadoop041,官网下载安装包(不会下载的,留言邮箱我给你发安装包,有什么不懂的也可以问)http://mirrors.shu.edu.cn/apache/zookeeper/点击文件夹,选择以tar.gz结尾的下载
后知后觉的肖邦
·
2020-07-14 05:41
zookeeper
(09)大数据之hadoop的分布式,
伪分布式
,单机环境搭建
2019年4月14日14:04:12资料来自传智播客apachehadoop三种架构介绍(standAlone,伪分布,分布式环境介绍以及安装)hadoop文档http://hadoop.apache.org/docs/5.1、StandAlone环境搭建运行服务服务器IPNameNode192.168.52.100SecondaryNameNode192.168.52.100DataNode19
济南彭于晏
·
2020-07-14 05:39
大数据学习
ZooKeeper
伪分布式
安装和常规使用
zookeeper下载:http://zookeeper.apache.org1解压tar-zxfzookeeper.tar.gz2复制出来三份3修改配置文件cdzookeeper1/conf复制zoo_sample.cfg为zoo.cfg三个zookeeper都要操作修改zoo.cfg注意dataDir不要放在tmp文件夹下面三个zookeeper的clinetPort和dataDir需要不一样
蓝色KK
·
2020-07-14 05:24
ZooKeeper
在Mac OS下搭建Hadoop环境及其利用Eclipse编译Hadoop插件
1.搭建
伪分布式
配置博主配置:OS:OSX10.9.3Hadoop:1.2.1Eclipse:IndigoJDK:1.6提示:2.x的Hadoop版本和1.x以及0.x的配
Geng19930909
·
2020-07-14 04:47
HBase
伪分布式
环境搭建
HBase
伪分布式
环境搭建环境和说明软硬件环境CentOS764位jdk1.8hadoop2.7.4Hbase1.3.1前置:Hadoop
伪分布式
环境搭建一、Hbase安装1、在$HOME目录下,下载Hbase
我是一只小小小小小鸟
·
2020-07-14 04:53
HBase
Hadoop 3.2.1的安装、
伪分布式
部署及web无法访问踩坑
安装Hadoop3.2.11.下载2.将Hadoop安装至/usr/local/中sudotar-zxf~/下载/hadoop-3.2.1.tar.gz-C/usr/local3.在/usr/local文件夹在找到文件,右键重命名为hadoop4.修改文件权限sudochown-Rhadoop./hadoop5.查看hadoop版本cd/usr/local/hadoop./bin/hadoopve
Eno·F
·
2020-07-14 04:51
大数据
安装教程
007 Hadoop集群配置 Hadoop集群的启动和测试 SSH免登陆配置( start-all.sh) hdfs常用的shell
Hadoop集群配置三种模式本地
伪分布式
全分布式
伪分布式
看官网配置比较简单?
C_time
·
2020-07-14 04:43
大数据
Hadoop
Hadoop安装方式Hadoop的安装方式有三种,分别是单机模式,
伪分布式
模式,
伪分布式
模式,分布式模式。单机模式:Hadoop默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。
为何行于此路
·
2020-07-14 03:06
大数据——分布式部署
之前学期的大数据内容都是在
伪分布式
下完成的,若想了解
伪分布式
,可以找前几天的内容,今天主要是针对与分布式部署。安装方式在Linux上手动将配置好的Hadoop分发给其他机器。不使用工具。
会敲代码的鲨鱼
·
2020-07-14 03:13
大数据
Hadoop分布式集群搭建,以及ssh互通免密登录!
前面给大家讲的是hadoop
伪分布式
的搭建,今天给大家讲解下3台虚拟机的hadoop搭建.首先安装好3台虚拟机,命名为hadoop2,hadoop2,hadoop4都安装好jdk这就不用多说了,这里为了操作方便
天ヾ道℡酬勤
·
2020-07-14 03:42
hadoop
上一页
20
21
22
23
24
25
26
27
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他