E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
Hadoop学习(二)Hadoop
伪分布式
搭建
环境准备JDK环境1.下载JDKLinux版本这里需要确认jdk版本是否与hadoop版本适配。我这里选择的是hadoop-3.2.0,只支持JDK7与JDK8,不要采用JDK9,会出现问题。2.查看是否有默认安装的OpenJDK以root用户登录:输入java-vesion。如果有安装,就需要卸载。查看:rpm-qa|grepjdk卸载:rpm-e--nodeps上面命令出现的信息3.上传解压我
cuibin1991
·
2019-04-28 16:19
Hadoop
阿里云CentOS搭建zookeeper集群环境
/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz2.zk包解压tar-zxvfzookeeper-3.4.12.tar.gz3.搭建3个节点的zk
伪分布式
集群在同一台服务器上
半点小鱼
·
2019-04-28 10:23
运维
一、Hadoop
伪分布式
的搭建及启动
一、搭建1、配置hadoop/etc/hadoop/hadoop-env.sh文件修改其中JAVA_HOME变量为系统jdk的安装目录,也就是在hadoop-env.sh文件中的JAVA_HOME与配置jdk时在/etc/profille中配置的JAVA_HOME环境变量一致。。表示hadoop通过该jdk启动。2、配置hadoop/etc/hadoop/core-site.xml文件,该配置文件
祁东握力
·
2019-04-27 22:24
linux
hadoop
hadoop入门
Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin单机
伪分布式
安装及官方案例详细文档
Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机
伪分布式
安装及官方案例测试详细文档
赵延东的一亩三分地
·
2019-04-25 11:08
Hadoop
shell脚本
Oracle
GoldenGate
zookeeper
伪分布式
部署
1.设置zoo.cfg文件;我的zoo.cfg文件配置如下:原文承接搭建zookeeper环境#ThenumberofmillisecondsofeachticktickTime=2000#Thenumberofticksthattheinitial#synchronizationphasecantakeinitLimit=10#Thenumberofticksthatcanpassbetween
XiaoCha1994
·
2019-04-24 23:31
zookeeper
ubuntu18.04安装spark(scala编程环境)
安装配置Hadoop请查看:ubuntu虚拟机中安装Hadoop全过程(单机分布方式+伪分布方式)*参考文章:ubuntu18.04安装spark(
伪分布式
)安装scala1.下载地址:https://
倏然希然_
·
2019-04-23 12:04
ubuntu
大数据
spark
《大数据技术与应用》课程相关实验
主要内容:使用VMWareWorkstationpro安装CentOS7.6,安装并配置Hadoop,实现
伪分布式
与分布式部署启动自带MapReduce示例程序WordCount编写程序,利用Hadoop
_oo0oo_
·
2019-04-22 22:00
大数据技术与应用
教程
Hadoop
分布式数据库HBase 中的增删查改基本操作
HBase的运行有三种模式:单机模式、
伪分布式
Dina_p
·
2019-04-22 13:25
大数据
hadoop CentOs 7
伪分布式
搭建
更改系统主机名命令功能vi/etc/hostname打开更改系统主机名文件i健进入编辑状态#注释一行esc退出编辑状态:wq保存退出reboot重启客户端操作步骤点击i健进入编辑状态删掉这一行,录入自己更改的主机名:如zhangdaifeng点击esc退出编辑状态录入:wq保存退出录入reboot配置网卡命令功能
小十三的十四
·
2019-04-22 11:00
CentOs
Hadoop
Ubuntu16.04下的Hadoop2.7.3
伪分布式
环境搭建
本博文是基于虚拟机(VMware)下安装的Linux(这里选择Ubuntu16.04)作为系统环境,然后在Ubuntu上安装Hadoop
伪分布式
。
Hadoop_Liang
·
2019-04-20 12:23
Hadoop
软件安装
hadoop
ubuntu
jdk
hadoop单机及
伪分布式
hadoop的基本概念
伪分布式
hadoop集群安装hdfs、MapReduce演示互联网正在从IT走向DT时代。
何去何从_ie
·
2019-04-19 09:03
hadoop单机及伪分布式
Linux从头开始
VirtualBox安装的虚拟机显示磁盘空间不足
当然是买不起服务器了,只有靠自己的电脑装个Ubuntu然后来玩
伪分布式
什么的。
Yznx_请叫我小哥
·
2019-04-18 15:58
基于
伪分布式
(单机版)hdfs的单机hbase 1.2.0搭建
搭建单机hbase(基于hdfs)安装
伪分布式
hadoop2.6.0版本由于需要snappy,不得不编译hadoop编译环境准备获得snappynativelib异常问题解决安装hadoop2.6.0安装配置启动与测试异常问题解决安装
蔷薇枝
·
2019-04-17 16:48
软件安装
windows环境下kafka
伪分布式
集群环境搭建
为了本地测试,又不得不在windows环境下,搭建kafka
伪分布式
集群,记录一下过程注意:以下所有目录,都不要出现空格!!!
腊-八-粥
·
2019-04-17 11:10
windows
kafka
zookeeper
伪分布式
kafka
Hadoop高级之HDFS&YARN HA架构剖析
Hadoop高级之HDFS&YARNHA架构剖析1.为什么要用集群学习过程中我们只需要单点就够了,学习需要用到集群的时候可以使用便宜的商业集群.在企业里边肯定是使用的集群.我们自己部署的
伪分布式
,每个角色都是一个进程
丿灬逐风
·
2019-04-16 18:47
Hadoop+HBase环境搭建(单机版
伪分布式
)
一、准备工作下载Hadoop:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下载HBase:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/Linux版本:任选(我选择的是Centos7)下载时,注意查看官方HBase版本与Hadoop版本两者支持的版本,然后下载相应的版本。二
FLEMMINGS
·
2019-04-16 13:09
Hadoop
HBase
关于Hadoop的经典习题
A.单机(本地)模式B.
伪分布式
模式C.互联模式D.分布式模式Hadoop的作者是下面哪一位__B____。
周杰伦今天喝奶茶了吗
·
2019-04-16 11:08
大数据
hadoop搭建(centOS 7 hadoop 2.7.2)
#hadoop搭建(centOS7hadoop2.7.2)
伪分布式
版本修改主机名新增用户groupaddhadoopuseraddhd-ghadoop-pxxxxxxxxSSHcd~cd.ssh/ssh-kengen-trsassh-copy-id
尹忠政
·
2019-04-09 16:50
hadoop集群
大数据
zookeeper
伪分布式
搭建
获取zookeeper二进制软件包,地址[https://www.apache.org/dyn/closer.cgi/zookeeper/](https://www.apache.org/dyn/closer.cgi/zookeeper/当前稳定版为3.4.14解压文件到自定义目录,这里我解压到/opt/zookeeper下#tar-xfzookeeper-3.4.14.tar.gz-C/opt/
Tyrant0532
·
2019-04-08 17:33
zookeeper
伪分布式
zk
linux运维
hadoop分布式部署(转载)--贼靠谱
原文地址:https://blog.csdn.net/sjmz30071360/article/details/798890551.集群搭建形式Hadoop环境搭建分为三种形式:单机模式、
伪分布式
模式、
Ace_Wang
·
2019-04-08 16:20
hadoop之hadoop-2.6.0-cdh5.7.0源码编译支持压缩以及
伪分布式
部署
摘要:本文详细记载hadoop-2.6.0-cdh5.7.0源码编译支持压缩以及
伪分布式
部署的详细步骤,可用于学习以及生产参考1.需求与设计1.1需求直接使用的hadoop-2.6.0-cdh5.7.0
qq_32641659
·
2019-04-07 20:01
hadoop
Hadoop集群环境搭建之
伪分布式
搭建流程
关防火墙1.首先关闭window防火墙serviceiptablesstatus查看Linux防火墙状态serviceiptablesstop关闭Linux防火墙chkconfigiptablesoff永久关闭设置静态Ip地址vi/etc/sysconfig/network-scripts/ifcfg-et0修改网卡信息servicenetworkrestart重启网卡pingip连接window
A阿楠521
·
2019-04-05 20:51
随堂笔记
Hadoop
集群
Hbase zookeeper 单机安装
阅读更多环境前提1、JDK1.82、Centos73、Hadoop3.2安装Hbase使用外部(非自带)zookeeper搭建
伪分布式
环境1)下载hbase-2.1.4-bin.tar.gz2)解压和取别名
flylynne
·
2019-04-05 01:00
Hadoop3
伪分布式
安装
准备工作:4台节点服务器1.1.1JDK安装&配置好参考JDK安装文章1.1.24个节点服务器配置相互免密登录参考配置免密登录文章下载Hadoop下载地址开发环境Linux平台:Centos6.5JDK版本:1.8(jdk-8u201-linux-x64【下载地址】)Hadoop3.1.2下载地址1.解压安装包到/opt目录下/usr下是你安装系统是所安装的软件的安装目录;/opt则是按完系统后你
陈平寨黄山赵子龙
·
2019-04-04 11:48
Hadoop
Hadoop 3.1 + ubuntu18.04 完全分布式部署
环境准备:系统:ubuntu18.04server软件:hadoop3.1.2、JDK8如果你还未配置过Hadoop,可以先尝试部署
伪分布式
。
MasterXiao
·
2019-04-04 09:44
HBase
伪分布式
集群环境搭建
1.环境HBase的版本为1.4.1请注意版本差异!官网版本说明地址http://hbase.apache.org/book.html#trouble.versions2.配置2.1配置hadoop的内容--进入habse/conf--把hadoop的hdfs-site.xml,core-site.xml文件拷贝到当前目录cp/JavaApp/hadoop/hadoop-2.7.1/etc/had
阿里巴巴首席技术官
·
2019-04-02 20:10
大数据
Hadoop3.2.0搭建部署
参考文章:Ubuntu16.04下
伪分布式
环境搭建之hadoop2.6.0【Hadoop】在Ubuntu系统下安装Hadoop集群安装一、设备3台Ubuntu16.04服务器(master:1;slave
三石君1991
·
2019-04-02 11:10
Hadoop
Kafka集群构建——
伪分布式
Kafka集群构建前言:本次构建为
伪分布式
即在同一台服务器的不同端口上启动多个服务,构成多个“伪节点”来达到
伪分布式
目的,区别与完全分布式的一台机器一个节点环境要求:centOs7服务器一台,jdk1.8
Mr.差啥呀
·
2019-04-01 19:35
kafka
Hadoop04【集群环境搭建】
因为
伪分布式
环境搭建没啥意义,所以我们直接来搭建hadoop的集群环境,一、安装文件1.下载文件链接:https://pan.baidu.com/s/1OXiW1i3gD6fVvrFX7NXsJg提取码
波波烤鸭
·
2019-04-01 00:41
大数据专栏
【大数据】C7.6+H2.6.0
伪分布式
安装
C7.6+H2.6.0
伪分布式
安装一、环境:系统:CentOS7.6Hadoop版本:2.6.0JDK版本:1.7.0_80安装目录:/opt主机名:hadoopIP:192.168.1.65--因是
伪分布式
的
debimeng
·
2019-03-31 11:18
大数据
hadoop
伪分布式
部署(linux) 超详细版
Hadoop配置本地模式下,不需要配置也可以使用,因此
伪分布式
需要追加如下配置:exportHADOOP_HOME="/usr/local/hadoop-2.7.2"exportPATH=$HADOOP_HOME
Henry_Lin_Wind
·
2019-03-30 11:45
hadoop
【大数据报错】启动dfs报错hadoop: ssh: Could not resolve hostname hadoop: Name or service not known
报错hadoop:ssh:Couldnotresolvehostnamehadoop:Nameorservicenotknown场景:Hadoop版本:2.6.0Linux版本:CentOS7.3启动
伪分布式
debimeng
·
2019-03-30 10:56
大数据报错
3、Hadoop高级之HDFS&YARN HA架构剖析
为什么要用集群学习过程中我们只需要单点就够了我们在企业中大数据几乎所有组建都是主从架构master-slave比如hdfs读写请求都是先NN节点;但是:hbase读写请求不是经过老大master企业里面,
伪分布式
每一个角色都是
-无妄-
·
2019-03-29 22:00
【Hadoop】hadoop+spark配置
zyrblog/p/8510506.html只是个人笔记发现了一个尴尬事首先需要说明的是,spark+hdfs是标准的业界应用搭配,从hdfs里读文件,用spark处理但如果只是为了学spark,建议搭建单节点的
伪分布式
dominic_z
·
2019-03-28 19:30
Hadoop
在ubuntu14下安装部署
伪分布式
的spark环境
在ubuntu14下安装部署
伪分布式
的spark环境准备工作scala-2.11.8下载地址:https://www.scala-lang.org/files/archive/spark-2.2.3-bin-hadoop2.6
Dongroot
·
2019-03-27 23:02
在ubuntu14下安装部署
伪分布式
的spark环境
在ubuntu14下安装部署
伪分布式
的spark环境准备工作scala-2.11.8下载地址:https://www.scala-lang.org/files/archive/spark-2.2.3-bin-hadoop2.6
Dongroot
·
2019-03-27 23:02
centos Hadoop 3.1.2
伪分布式
配置 实践
正文:hadoop的安装http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/hadoop相关环境变量配置:(这一步很关键!!!)[
[email protected]
]$vim~/.bashrc注:.bashrc仅对当前用户生效,.profile对所有用户生效#HadoopEnvironmentVariablesexpor
枪枪枪
·
2019-03-23 11:25
Hadoop
搭建Hadoop2.7.3
伪分布式
hadoop伪分布搭建流程准备工作:1、jdk-8u162-linux-x64.tar2、hadoop.2.7.3.tar.gz1、上传压缩包到指定目录下本人是CentOS-6.8-x86_64;搭建Hadoop建议创建一个新的用户;本人把hadoop搭建在hyxy用户下;压缩包上传到hyxy的新建目录soft下,此次操作都在hyxy用户下进行;2、解压相关软件$>tar-zxvfjdk1.8.X
浪灬迹-红尘少年
·
2019-03-22 17:47
Hadoop
搭建hadoop2.7.3
Sqoop增量同步mysql/oracle数据到hive(merge-key/append)测试文档
上一篇文章介绍了sqoop全量同步数据到hive,同时上一篇文章也给出了本人写的hadoop+hive+hbase+sqoop+kylin的
伪分布式
安装方法连接,上篇文章连接:Sqoop全量同步mysql
赵延东的一亩三分地
·
2019-03-22 10:51
Hadoop
Oracle
Hadoop
伪分布式
集群搭建
Hadoop版本及虚拟机在这里我使用的Hadoop版本是2.9.2,jdk版本是1.8Hadoop2.9.2http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gzjdk1.8https://www.oracle.com/technetwork/java/javase/downloads/jdk8
Lucifer-HA
·
2019-03-20 20:34
大数据
Oracle通过sqoop同步数据到hive
说明:本测试hadoop是单节点
伪分布式
环境,是基于之前写的两篇文章对应的环境操作,前两篇文章分别是:1、Hadoop+Hive+HBase+Kylin
伪分布式
安装指南2、sqoop1.4
赵延东的一亩三分地
·
2019-03-19 10:14
Hadoop
Oracle
Sqoop全量同步mysql/Oracle数据到hive
前面文章写了如何部署一套
伪分布式
的handoop+hive+hbase+kylin环境,也介绍了如何在这个搭建好的
伪分布式
环境安装配置sqoop工具以及安装完成功后简单的使用过程中出现的错误及解决办法,
赵延东的一亩三分地
·
2019-03-19 10:52
Hadoop
Oracle
初始大数据-虚拟机配置hadoop
伪分布式
_02
1.linux集群情况1.window宿主192.168.137.188node01.hadoop.comnode01192.168.137.10000:50:56:3D:7D:CCroot123456node02.hadoop.comnode02192.168.137.11000:50:56:3D:2F:CCroot123456node03.hadoop.comnode03192.168.137
啊策策
·
2019-03-19 09:41
Hadoop
伪分布式
shell
core-site.xml
hdfs-site.xml
marped-site.xml
hadoop-01
伪分布式
的安装
伪分布式
的概念在一台主机上模拟多个数据存储节点,每个线程都是一个独立的程序,使用的都是独立的JVM.存储的文件系统为分布式文件系统(HDFS).作用是用于对MapReduce程序的调试。
K_KingoneTen
·
2019-03-18 21:45
sqoop1.4.7的安装及使用(hadoop2.7环境)
说明:本测试hadoop是单机
伪分布式
环境,如果读者想要学习如何搭建
伪分布式
hadoop环
赵延东的一亩三分地
·
2019-03-18 14:53
Hadoop
Hadoop
伪分布式
环境搭建
实验题目:Hadoop单机
伪分布式
环境搭建及WordCount程序测试实验硬件环境:Inteli5-8250u1.6GHzRAM8GBddr4软件环境:Ubuntu18.04.1LTS,IDEA,Hadoop2.7.7
叫我阿杭就好了
·
2019-03-18 00:00
hadoop
linux
idea
Hadoop----单节点集群安装
loacal)也叫本地模式,使用的文件系统:本地文件系统,运行在单个jvm上,一般用来进行开发测试MapReduce程序单节点上的伪分布模式(Pseudo-Distributed)Hadoop可以在单节点上以
伪分布式
模式运行
HHH992
·
2019-03-16 23:17
Hadoop
storm的全分布式以及HA的配置
storm的全分布式配置相比较
伪分布式
,修改的不多,今天把配置做好后,再运行一个官方的jar包来实际的操作数据的采集,查看处理的结果。
向上低调的飞
·
2019-03-16 22:25
java
大数据
其他
大数据平台搭建(一) - Ubuntu 18.04中Hadoop组件的版本与安装顺序
最近花费了一段时间,在自己的虚拟机中安装了Ubuntu18.04并搭建了Hadoop
伪分布式
平台。在平台中安装了几个核心的组件。
Orange_Spotty_Cat
·
2019-03-15 11:14
大数据
Hadoop+Hive+HBase+Kylin
伪分布式
安装指南
Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机
伪分布式
安装文档注意:######################################
赵延东的一亩三分地
·
2019-03-15 11:56
Hadoop
Oracle
上一页
34
35
36
37
38
39
40
41
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他