E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
伪分布式
大数据之---
伪分布式
部署之终极篇
------------------------------软件版本--------------------------------------RHEL6.8hadoop2.8.1apache-maven-3.3.9findbugs-1.3.9protobuf-2.5.0.tar.gzjdk-8u45------------------------------软件版本---------------
weixin_34258838
·
2020-07-15 05:35
大数据
java
运维
zookeeper、hadoop、hbase单机
伪分布式
环境搭建(虚拟机vmware)
zookeeper单机多实例其实就是跑多个zk服务,以zkServer1为例,配置如下:其中192.168.29.128为虚拟机ip很重要dataDir=/virgil/zooserver/server1/datadataLogDir=/virgil/zooserver/server1/logsclientPort=2181server.1=192.168.29.128:2888:3888serv
weixin_34204057
·
2020-07-15 05:47
HBase
伪分布式
安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系
HBase1.2.2
伪分布式
安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase
weixin_34085658
·
2020-07-15 05:59
Ubuntu11.10下安装Hadoop1.0.0(单机
伪分布式
)
装载:http://www.2cto.com/os/201201/116511.html环境配置:Ubuntu11.10,Hadoop1.0.0安装ssh1apt-getinstallssh安装rsync1apt-getinstallrsync配置ssh免密码登录1ssh-keygen-tdsa-P''-f~/.ssh/id_dsa2cat~/.ssh/id_dsa.pub>>~/.ssh/aut
weixin_34077371
·
2020-07-15 05:54
大数据
运维
java
hadoop hdfs文件系统文件以存在 解决办法
hadoop
伪分布式
环境时运行wordcount程序,已经运行过一次,在次将input文件夹中的内容上传hafs文件系统时会出现重复,但是还是可以上传成功。
weixin_34049948
·
2020-07-15 05:08
CentOS 7下Hadoop3.1
伪分布式
环境搭建
本教程JDK版本为1.8.0Hadoop版本为3.1.1相关资源:https://pan.baidu.com/s/1EhkiCXidke-iN6kU3yuMJQ提取码:p0bl1.安装虚拟机可自行选择VMware或者VirtualBox进行虚拟机安装此教程基于VMware2.安装操作系统可从CentOS官网自行选择版本进行安装此教程基于CentOS7X86_64-Minimal-18043.检查是
weixin_34015860
·
2020-07-15 04:22
hadoop
伪分布式
部署
1、环境准备系统:centos6.5JDK1.8创建hadoop安装目录目录mkdir /bdappstar xf hadoop-2.7.5.tar.gz -C /bdapps/cd /bdapps/ln -sv hadoop-2.7.5 hadoopcd hadoop创建环境脚本vim /etc/profile.d/hadoop.sh内容如下:export HADOOP_PREFIX=/bdap
weixin_33831673
·
2020-07-15 04:00
hbase
伪分布式
环境的搭建
一,实验环境:1,ubuntuserver16.042,jdk,1.83,hadoop2.7.4
伪分布式
环境或者集群模式4,hbase-1.2.6.tar.gz二,环境的搭建1,首先请大家安装好虚拟机运行环境
weixin_30824479
·
2020-07-15 03:42
hadoop
伪分布式
安装
首先需要有一台linux的虚拟机,什么版本的都差不多这里以redhat为例下载hadoop(只是为了学习使用的是老版本的0.20.2)网上有很多下载的地方为服务器安装jdkjdk文件版本为jdk-7u45-linux-i586.rpm可以在官网上下载各个版本的linuxjdk文件使用命令rpm-ivhjdk-7u45-linux-i586.rpm进行安装安装完成之后编辑profile文件配置环境变
weixin_30333885
·
2020-07-15 02:13
在mac上安装hadoop
伪分布式
http://www.cnblogs.com/aijianiula/p/3842581.htmlhttp://www.cnblogs.com/stardjyeah/p/4641554.html需要更正几个地方:(1)在配置环境变量时,2.X的hadoop中是没有profile文件的,只能使用vim~/.bash_profile然后输入exportHADOOP_HOME=/Users/xiaoliu
Ten_Minutes
·
2020-07-15 02:09
Hadoop伪分布模式操作
关键词:Hadoop
伪分布式
文件配置启动Hadoop支持三种模式操作,分别是单机模式操作、伪分布模式操作和全分布模式操作。
陆勤
·
2020-07-15 02:29
Hadoop
伪分布式
&全分布式环境搭建
安装Linux、JDK等等解压:tar-zxvfspark-2.1.0-bin-hadoop2.7.tgz-C~/training/由于Spark的脚本命令和Hadoop有冲突,只设置一个即可(不能同时设置)配置文件:/root/training/spark-2.1.0-bin-hadoop2.7/conf/spark-env.sh/root/training/spark-2.1.0-bin-ha
aimmon
·
2020-07-15 01:31
Spark
Hadoop集群完全分布式搭建教程-CentOS
本篇在前一篇《Hadoop单机模式和
伪分布式
搭建教程》的基础上完成完全分布式的搭建,所以本篇的前提是已经按照之前的教程完成了
伪分布式
的安装。
shu_lin
·
2020-07-15 01:37
Hadoop
hadoop-hive本地和
伪分布式
模式的安装
前言:关于虚拟机安装hive,hadoop的资料林林总总,对于初学者很难甄别;如下是按照官方doc,一步步经过实践的一种方法,思路比我搜到网上的帖子更清晰;初学,难免有错误的地方,敬请指正。一、虚拟机hadoop的安装1.虚拟机安装linux-redhat操作系统,虚拟机网络类型设置为网桥模式,保证虚拟机可以访问Internet外网2.安装jdk:解压jdk文件(我的jdk是jdk1.8.0_05
徐长亮
·
2020-07-15 00:36
[2016年以后]
基于hadoop的数据平台
hbase
伪分布式
环境的搭建
1.单机版安装在单机环境下,hbase使用本地系统,而不是hdfs,所有的服务和zookeeper都运行在一个JVM中;zookeeper监听一个端口,这样可以连接hbase了。1.在linux系统下安装jdk,并进行相应JAVA_HOME和classspath的配置,确保java环境是ok的。下载网址:http://www.oracle.com/us/downloads2.Hbase的安装最新1
健康平安的活着
·
2020-07-15 00:28
大数据
centos7.6安装配置hadoop-3.2.0笔记(单机安装、
伪分布式
安装)
实验环境:1.centos7.6最小化安装、2.hadoop3.2.03.jdk1.8.0_2014.yuminstallrsync-y5.ssh:最小化安装的系统中已有ssh,不用安装1首先安装rsync[root@localhost~]#yuminstallrsync-y2关闭防火墙[root@localhost/]#systemctlstopfirewalld.service下面的命令是禁止
jackletter
·
2020-07-15 00:25
hadoop
hadoop
配置
centos
linux
hadoop3.2.0
在Mac上配置Hadoop
伪分布式
娱乐环境
去年我曾发文记录如何在Ubuntu上配置
伪分布式
版的Hadoop3娱乐环境:https://fuhailin.github.io/Hadoop-Install/,通过配置Hadoop娱乐环境你可以熟悉Hadoop
赵大寳Note
·
2020-07-15 00:13
大数据
在Mac上配置HBase
伪分布式
娱乐环境
HBase是运行在Hadoop分布式文件系统HDFS上进行数据存储的开源非关系型分布式数据库,2020年我尝试在Mac上配置一个
伪分布式
的v2.2.3HBase环境,看看能不能进行一些基本的读写操作,以便熟悉一下分布式数据库有什么特点
赵大寳Note
·
2020-07-15 00:13
大数据
ZooKeeper:搭建
伪分布式
集群
因为自己的笔记本性能很一般,所以搭建的
伪分布式
集群来学习一下ZooKeeper。
tiankong_12345
·
2020-07-14 23:18
大数据
配置sqoop的环境变量
首先,sqoop是基于Hadoop工作的,所以在这之前,确保你的Linux环境下,已经有可以正常工作的hadoop集群,当然
伪分布式
和完全分布式都可以。
tao_wei162
·
2020-07-14 23:28
大数据技术与应用 实验一报告 JDK+Hadoop安装配置、单机模式配置、
伪分布式
、完全分布式配置
大数据技术与应用实验一报告JDK+Hadoop安装配置、单机模式配置、
伪分布式
、完全分布式配置以下操作在SecureCRT里面完成,记得一定要在虚拟机里面先登录。
double晴天
·
2020-07-14 23:42
hadoop
伪分布式
安装(VMware、Ubuntu)
主要参考:https://blog.csdn.net/qq_38270906/article/details/79916567后面又重新装了一次,有些文件夹对应不上:目前hadoop目录:/usr/local/hadoop/hadoop-2.7.5,java路径:/usr/local/jdk1.8.0_201,而且用户名后来改成了hadoop,用的目录有点乱,但是顺序是差不多这样的。ssh配置:先
sxjjxc
·
2020-07-14 23:01
Linux
03_HADOOP_02_HDFS
伪分布式
环境搭建
三种搭建模式单机模式:同一机器同一个进程不同线程启动NameNode,DataNode伪集群模式:同一机器不同进程启动集群模式:不同机器不同进程本文只讲解伪集群模式和集群模式安装前准备将前面搭建的虚拟机还原到base快照安装jdk:hadoop基于java开发,需要有jvm安装ssh:用于免密登录在home路径下的.ssh目录生成公钥和私钥[
[email protected]
]#ssh-keygen-
超级小小张
·
2020-07-14 23:55
hbase
伪分布式
安装——腾讯云
上一篇写了如何在腾讯云上安装部署
伪分布式
hadoop,今天给大家说说如何在腾讯云上安装部署
伪分布式
hbase。
smallpizza
·
2020-07-14 22:54
hadoop
大数据(四) --
伪分布式
搭建
说明搭建之前,先根据HDFS三种模式一文将集群的初始环境配置好.
伪分布式
搭建将上传的Hadoop压缩包解压这里我将文件解压到/opt/software/hadoop文件夹下.tar-zxfhadoop-
Apache-Qibao
·
2020-07-14 22:06
大数据
Hadoop完全分布式集群搭建(2.9.0)
1.集群搭建形式Hadoop环境搭建分为三种形式:单机模式、
伪分布式
模式、完全分布模式单机模式——在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。
sjmz30071360
·
2020-07-14 22:31
Hadoop
Hadoop
伪分布式
搭建详细步骤
hadoop伪分布搭建流程----------------------------1.通过挂在上传软件至/home/hyxy/soft$>cpjdk1.8.XXX.tar.gz~/soft$>cphadoop.2.7.3.tar.gz~/soft2.解压相关软件$>tar-zxvfjdk1.8.XXX.tar.gz$>tar-zxvfhadoop.2.7.3.tar.gz3.创建软连接$>ln-s
monkey-moon
·
2020-07-14 22:37
Windows10下部署开发环境(
伪分布式
环境)
电脑环境:Windows10家庭中文版Eclipse版本:Oxygen.3aRelease(4.7.3a)Hadoop版本:hadoop-2.8.3插件制作相关的环境:ANT:apache-ant-1.9.12hadooponwindows-masterhadoop2x-eclipse-plugin-master.zip(一)环境准备1.配置Java环境(不再描述)2.安装eclipse(不再描述
ZhuiMengren_weijian
·
2020-07-14 22:16
hadoop相关
hbase
伪分布式
环境搭建
hbase安装解压:tar-zxvfhbase-1.2.4-bin.tar.gz-C/usr/hbase/修改配置:vim/usr/hbase/hbase-1.2.4/conf/hbase-env.sh,配置JAVA_HOME:exportJAVA_HOME=/usr/java/jdk1.8.0_112修改配置:vim/usr/hbase/hbase-1.2.4/conf/hbase-site.x
shiyuan_90
·
2020-07-14 22:07
阿里云轻量级服务器ubuntu18.04配置Java1.8
伪分布式
安装Hadoop2.7.x
阿里云轻量级服务器ubuntu18.04配置Java1.8
伪分布式
安装Hadoop2.7.3前言第一部分:修改主机名和添加新用户1.修改主机名2.添加新用户第二部分:Java1.8的下载和安装第三部分:
天上的西红柿
·
2020-07-14 21:08
大数据#Hadoop
最详细JMX远程连接服务器Zookeeper失败问题踩坑和总结
最详细JMX远程连接服务器Zookeeper失败问题踩坑和总结环境:Ubuntu18.04服务器Zookeeper3.4.6版本
伪分布式
这里不从零介绍JMX配置的基本教程了,那些随便搜一下都有,主要介绍一下博主在使用服务器配置
天上的西红柿
·
2020-07-14 21:08
大数据#Hadoop
Spark
伪分布式
环境搭建
这里选择Scala-2.11.12.tgz+spark-2.3.2-bin-hadoop2.7.tgz前提条件:Ubuntu16.04JDK1.8(Ubuntu环境下)安装步骤:1.下载安装包:http://archive.apache.org/dist/spark/spark-2.3.2/2.解压安装文件$mkdir~/soft$tar-zxvfscala-2.11.12.tgz-C~/soft
Hadoop_Liang
·
2020-07-14 20:05
spark
Hbase 02_
伪分布式
、完全分布式
伪分布式
:在一台没有zk的节点上搭建。
乔治大哥
·
2020-07-14 20:56
#
bigdata_Hbase
伪分布式
hadoop安装(linux)
文档介绍:hadoop文件配置http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html下载hadoop压缩包------》hadoop.apache.org将下载好的hadoop压缩包山传到linux上,可以上传到linux远程的图形化界面解压hadoop压缩包tar-zxvf
double_lifly
·
2020-07-14 20:54
大数据
阿里云服务器搭建hadoop
伪分布式
集群的坑
1.既然是
伪分布式
集群,所以文件中的所有配置都要留内网ip,方便namenode与datanode相通信。
幼稚园导包侠
·
2020-07-14 20:26
大数据
Hbase基本知识介绍
Hbase基本知识介绍1.Hbase简介1.1什么是Hbase1.2与传统关系型数据库的对比1.3Hbase架构2.Hbase安装模式2.1单机模式2.2
伪分布式
模式2.3完全分布式模式3.Hbase数据模型
午托饭
·
2020-07-14 19:55
大数据-Hbase
Hbase
Hbase
伪分布式
的搭建和配置
一、准备工作1.虚拟机环境(CentOS)2.jdk环境(jdk1.7)3.hadoop环境(Hadoop2.4)二、安装hbase1.解压hbasetar-zxvfhbase-0.96.2-hadoop2-bin.tar.gz2.修改配置文件修改hbase-env.sh文件这里需要修改两个地方先修改jdk路径(根据自己的虚拟机jdk路径而定)这是修改zookeeper的类型修改hbase-sit
write you name
·
2020-07-14 19:03
Hadoop
hbase
hadoop部署(
伪分布式
,分布式)
hadoop由三种模型:1、单机模型:测试使用2、
伪分布式
模型:运行于单机3、分布式模型:real集群模型一、
伪分布式
hadoop基于java语言;hadoop-2.6—–jdk1.6+hadoop-2.7
陌上繁花绽
·
2020-07-14 19:02
linux
企业
使用docker跑一个
伪分布式
hadoop测试集群
使用docker跑一个
伪分布式
hadoop测试集群概述主要镜像组件版本镜像构建hadoop-basenamenodedatanoderesourcemanagernodemanagerhistoryserverzookeeper
枫8023
·
2020-07-14 19:31
docker
hadoop
hadoop
伪分布式
安装笔记1
hadoop
伪分布式
安装0)前情提要:学习中对于远程操纵linux系统存在问题,做笔记如下:xshell是我目前使用的远程操作的软件,将虚拟机开机,保持挂起状态就可以操作。
yeshendailiming
·
2020-07-14 19:55
大数据初学
大数据
hadoop
初学
企业级Hadoop大数据平台实战(2)——Hadoop单机版和
伪分布式
的实现
1.基础知识Hadoop的架构核心,Hadoop主要有两个层次,即:加工/计算层(MapReduce)和存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件,Hadoop的框架还包括以下两个模块:Hadoop通用:这是Java库和其他Hadoop组件所需的实用工具HadoopYARN:这是作业调度和集群资源管理的框架HadoopStreaming是一个实用程序,它允许用户使用任何可执行文
AmourHai
·
2020-07-14 19:00
Linux运维进阶
大数据
伪分布式
平台搭建过程
大数据相关jar包可在https://www.siyang.site/portfolio/出下载平台结构为上图配置ssh每个节点操作sshlocalhost配置ssh免秘钥登录node1配置ssh-keygen-tdsa-P''-f/root/.ssh/id_dsa会在.ssh目录中生成2个文件:id_dsa及id_dsa.pub去.ssh目录将id_dsa.pub复制一份为authorized_
司杨
·
2020-07-14 19:41
大数据平台
linux/ubuntu
Windows+spark+scala+hadoop的Spark(python)开发环境搭建
实习单位的主管让我在写接口之余搞搞Spark,搞了2天终于搞定了windows下的单点
伪分布式
模式了,搭环境的坑实在是太多、太多了。主要是现在网上的博客,假的太多了,就是为了骗访问量,太无耻!!!
桔子66
·
2020-07-14 18:20
HDFS命令行操作
(点击查看
伪分布式
搭建;点击查看HA完全分布式搭建)。
墨玉浮白
·
2020-07-14 18:19
Hadoop
HBase集群搭建实验(2)_
伪分布式
部署(使用内置ZooKeeper)
HBase
伪分布式
模式1)HBase使用HDFS存储数据,所有进程运行在同一个节点上,不同的HBase或ZooKeeper守护进程运行在不同的JVM(JavaVirtualMachine)中2)使用HBase
whvcse_hlzhang
·
2020-07-14 18:50
Hbase
伪分布式
和完全分布式搭建步骤
hbase
伪分布式
以Linux文件系统存储使用自身、自带ZooKeeper1、基本环境ip、网络、hosts列表、防火墙关闭...2、安装jdk设置jdk环境变量3、下载安装包4、解压hbase环境变量设置
WF_事难懂
·
2020-07-14 18:14
HBase
大数据学习之路(二)——hadoop
伪分布式
开始搭建hadoop
伪分布式
使用机器:macbookpro,jdk我就不说明了,必备参考文章http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist
recover517
·
2020-07-14 17:38
大数据
Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机
伪分布式
安装
Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机
伪分布式
安装注意1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi
赵延东的一亩三分地
·
2020-07-14 17:54
大数据相关技术
Hadoop
超详细的Hadoop
伪分布式
搭建教程
准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:192.168.1.0子网掩码:255.255.255.0->apply->ok回到windows–>打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP:192.168.1
木小草
·
2020-07-14 17:14
hadoop
ubuntu
Hadoop
伪分布式
安装
学习大数据最烦人的是安装,很多人装了几天不成功,我自己摸索前前后后大概有大半个月,终于学会了如何在Linux下去安装hadoop,由于只是学习,没有必要使用集群安装,在这里,给出
伪分布式
安装的总结性指导
qq_19875729
·
2020-07-14 17:12
大数据
linux
hadoop
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他