E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop安装
hadoop:认识hadoop、安装hadoop、伪分布hdfs
hadoop1.hadoop简介2.
hadoop安装
3.单节点hadoop配置,做一个伪分布式hdfs4.完全分布式的hdfs4.1节点的热添加(不关闭dfs基础上添加节点)4.2mapreduce(作用运行程序
weixin_43384009
·
2020-08-18 05:39
hadoop
Linux下安装hadoop
1、安装Linux、JDK2、配置主机名3、安装目录:/root/
hadoop安装
:1、解压:tar-zxvfhadoop-2.4.1.tar.gz-C/root/hadoop/2、设置环境变量:vi~
yx726843014
·
2020-08-17 17:30
hadoop
Hbase常见错误
Hadoop安装
教程可以看这个.我的环境:centos7,java1.8.0_231,Hadoop3.1.3,zookeeper3.5.5,Hbase2.1.3错误索引一.org.apache.hadoop.hbase.PleaseHoldException
天炳
·
2020-08-17 17:36
大数据Hbase
hadoop 集群配置(高可用)
192.168.199.161pass1192.168.199.162pass2192.168.199.163pass3先配置jdk和zookeeper见jdk、zookeeper环境配置配置hadoop解压
hadoop
qinsur
·
2020-08-17 17:55
bigdata集群搭建
hadoop安装
和案例
转载来源:https://www.cnblogs.com/hejj-bk/p/12974299.html一、
hadoop安装
1)进入到
Hadoop安装
包路径下:[root@hadoop101~]#cd/
我有甜甜
·
2020-08-17 10:31
大数据
hadoop单点运行方式
Hadoop的单节点集群运行的启动步骤1.安装教程请查看博客《
hadoop安装
》;2.格式化HDFS:$HADOOP_HOME/bin/hdfsnamenode-format3.启
zh_ITRoad
·
2020-08-17 04:13
hadoop
Ubuntu16.04 执行mapreduce任务时提示Connection refused(拒绝连接)
具体问题如下图所示:解决方案:1.在mapred-site.xml(在
hadoop安装
目录下的etc/hadoop)添加如下:mapreduce.jobhistory.addresszhangqingqing
qqz_2016
·
2020-08-16 22:08
ubuntu¢os
Hadoop学习笔记:Hadoop基础知识
阅读目录一、Hadoop简介二、Hadoop的特性三、hadoop组成与体系结构四、
Hadoop安装
方式五、Hadoop集群中的节点类型一、Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
忌颓废
·
2020-08-16 22:00
hadoop+spark
Hadoop三种模式安装配置
JDK+
Hadoop安装
配置、单机模式配置以下操作在SecureCRT里面完成1.关闭防火墙firewall-cmd--state显示防火墙状态running/notrunningsystemctlstopfirewalld
蓝桉。
·
2020-08-16 22:12
wmware+centos7+
hadoop安装
配置
切记:反复安装6遍,直到对安装配置过程了熟于心。基础软件清单VMwareStation15ProCentos7JDKxshell&xftpHadoop3.2.0:https://mirrors.aliyun.com/apache/hadoop/core/一、虚拟机安装配置步骤如下:1、vmware安装centos7配置时,网络适配器指定为:vmnet82、打开虚拟机,配置centos7系统配置ro
行者知路
·
2020-08-16 21:30
在VMware虚拟机上分布式安装Hadoop架构(3)——Slave节点的
hadoop安装
配置
0、主要参考教程1、厦门大学数据库实验室2、JeffreyZhou的博客园00大概步骤1、在Master节点上配置hadoop用户、安装SSHserver、安装Java环境2、在Master节点上安装Hadoop,并完成配置3、在其他Slave节点上配置hadoop用户、安装SSHserver、安装Java环境4、将Master节点上的/usr/local/hadoop目录复制到其他Slave节点
周五见
·
2020-08-16 20:48
大数据实践学习
Hadoop安装
(含client安装)
ByTANGJia本Hadoop案例中涉及4台机器,其中1台namenode和2台datanode构成HDFS系统,另外还有1台client。角色定位主机名NamenodemasterDatanodeslave1Datanodeslave2Clientclient1.安装前准备工作:1.1.更改4台机器主机名为master,slave1,slave2,client修改/etc/sysconfig/
WhuCS_B701
·
2020-08-16 18:58
Hadoop
hadoop面试题整理(一)
1)安装JDK并配置环境变量(/etc/profile)2)关闭防火墙3)配置hosts文件,方便hadoop通过主机名访问(/etc/hosts)4)设置ssh免密码登录5)解压缩
hadoop安装
包,
zdp072
·
2020-08-16 17:17
面试题精选
spark采坑集锦之sparksql操作hive
sparksql如果想操作hive,用sql命令在hive中操作表一、需要在spark安装目录的conf文件夹准备好以下三个文件
hadoop安装
目录中conf文件夹下的配置文件core-site.xmlhdfs-site.xmlhive
方兵兵
·
2020-08-16 08:35
spark采坑集锦
ubuntu10.10下eclipse3.5安装hadoop插件失败
现在开始自己搞插件吧:1、首先,如图,找到
hadoop安装
目录下的build-contrib.xml文件(我在网上搜的资料
尘一
·
2020-08-16 06:45
hadoop
Hadoop
Eclipse
lucene
Mapreduce
UI
eclipse安装hadoop插件及DFS文件管理
github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release图示:3.将下载插件的eclipse插件放到eclipse的插件目录去4.配置
hadoop
csdnzoutao
·
2020-08-16 05:58
eclipse
hadoop集群
hadoop:IDEA本地编写mapreducer的wordcount并测试,并上传到hadoop的linux服务器进行测试
1.首先确认linux服务器安装好了
hadoop安装
教程:http://blog.csdn.net/sunweijm/article/details/783997262.使用IDEA编写mapreducer
sunweijm
·
2020-08-15 15:30
hadoop
centos7 安装spark
1.首先确保安装好
hadoop安装
教程见:http://blog.csdn.net/sunweijm/article/details/783997262.安装spark下载或者上传其他主机上的安装包:[
sunweijm
·
2020-08-15 15:58
spark
spark
hadoop和spark分布式集群搭建及简单运用
分布式集群搭建及简单运用hadoop和spark分布式集群搭建及简单运用1Hadoop集群部署1-1Hadoop简介1-2环境及软件说明1-2-1虚拟机软件1-2-2JDK1-2-3Xshell1-2-4
hadoop
huang-yang
·
2020-08-15 07:00
大数据
2-1_Linux下
hadoop安装
及配置
Linux下
hadoop安装
及配置解压tarzxvfhadoop-2.10.0.tar.gz-C~/softwares设置软连接ln-shadoop-2.10.0/hadoop配置环境变量HADOOP_HOME
小Y_SC
·
2020-08-14 05:42
Hadoop
hadoop 2.4.1 安装全过程
1:首先下载
hadoop安装
介质地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/2:安装虚拟机,配置好网络网络配置,参见我的博文
pianzif
·
2020-08-14 05:45
Hadoop
hadoop/hbase 环境搭建
hadoop安装
(1)创建hadoop用户组和用户见(1.1,1.5)(2)配置hadoop用户信任关系1)生成非对称密钥:ssh-keygen-trsa//一直回车1)znode01,znode02,
木木周
·
2020-08-14 01:00
hbase
hadoop安装
环境准备和关联知识解析
本想一口气把redis多学一点,奈何还有常见的如穿透、雪崩、击穿、分布式锁、redis并发原理、linux多路复用、redis集群等都还没梳理清楚,而项目就需要先学习一下hadoop等大数据相关技术,于是不得不暂停redis,转而进入hadoop系列的摸石头过河。据我了解,一般正式环境的hadoop使用都是需要zookeeper的,但是使用hadoop是否一定要zookeeper这个事,对于刚开始
涂宗勋
·
2020-08-14 01:03
bigdata
Hadoop三节点集群搭建-下篇
5.
hadoop安装
包master结点上,将其解压到/home/zhm/hadoop下。6.JDK/Hadoop路径配置将JDK解压在/opt/jdk1.7.0*目录下。
yiwaka2013
·
2020-08-13 23:15
Hadoop
每个软件工程师都应该知道的有关实时数据的统一概念
这是一件令人兴奋的事情:我们构建、部署,而且直到今天仍然在运行的分布式图形数据库、分布式搜索后端、
Hadoop安装
以及第一代和第二代键值数据存储。从这一切里我们体会到的最有益的事情是我们构建
wg981796804
·
2020-08-13 23:34
转载
日志
数据
实时数据
Ubuntu18.04 安装配置HBase
安装环境thrift0.10hadoop-2.7.7hbase-1.2.8
hadoop安装
参考https://www.cnblogs.com/leesf456/p/4795507.htmlhbase安装参考
多多是小坏熊
·
2020-08-13 22:48
hadoop安装
前的准备
在安装hadoop之前需要做的准备1.伪分布式安装部署在一台机器上安装部署HDFS和YARN服务。相关服务器都数据java进程,就是启动jvm服务。2.规划Linux系统的目录结构以系统/opt目录为主安装软件包在/opt目录下分别创建一下几个文件夹/datas测试数据/softwares软件包,上传的软件包/modules软件安装目录/tools开发的ide及工具将上述目录所属这和所属组改成你的
starrynight`
·
2020-08-13 22:12
hadoop
hadoop安装前的准备
Ubantu下搭建Hadoop2.x完全分布式集群
原文地址:http://jingyan.baidu.com/article/27fa73269c02fe46f9271f45.html一、工具/原料·linux系统(本篇使用的是CentOSv6.5)·
Hadoop
mars-kobe
·
2020-08-13 20:52
【Hadoop】
[Hadoop](一)
hadoop安装
:环境准备
hadoop安装
:准备环境1、安装hadoop前要准备的环境有哪些?2、如何关闭linux的防火墙?3、如何设置主机名、如何设置hosts列表?4、如何设置时钟同步?5、什么是ssh?
Jim19Green
·
2020-08-13 19:31
Hadoop
hadoop安装
前的准备工作
一、域名映射编辑vi/etc/hosts名称和ip地址根据自己的灵活改变其他俩台虚拟机也同样修改。二、免密登录在~/输入ssh-keygen(注意没有空格)把每个虚拟机(~/.ssh/)下的id_rsa.pub(公钥)都j集中存储到一台虚拟机(~/.ssh/authorized_keys)里。如图所示。然后在scp到每台虚拟机。验证ssh主机名如果可以登录则成功。三、时间同步安装ntpdatesu
OnTheRoad_ING
·
2020-08-13 12:20
大数据
ssh
linux
hadoop
mac 下
hadoop安装
并运行例子
1安装#brewinstall
hadoop安装
的是2.6.0,目录为/usr/local/Cellar/hadoop,如果想安装其他版本,则下载tar包解压即可。
晓斌
·
2020-08-11 23:26
hadoop
Spark On Yarn 部署(不带权限功能)注意替换域名和网址
1、在
hadoop安装
目录下找到yarn-site.xml配置文件,添加如下配置:yarn.nodemanager.pmem-check-enabledfalseyarn.nodemanager.vmem-check-enabledfalse2
sunrising_hill
·
2020-08-11 23:53
Spark
Spark
On
Yarn
基于Docker搭建大数据集群(三)Hadoop部署
主要内容
Hadoop安装
前提zookeeper正常使用JAVA_HOME环境变量安装包微云下载|tar包目录下Hadoop2.7.7角色划分角色分配NNDNSNNcluster-master是否否cluster-slave1
njpkhuan
·
2020-08-11 22:06
Docker搭建大数据平台
如何用hadoop运行第一个程序(纯新手教程)
一、添加java文件1.在
hadoop安装
路径下创建第一个程序的wordcount文件夹、src文件夹、classes文件夹(一般安装路径都在/usr/local/hadoop,这里创建的src用
lililydia
·
2020-08-11 21:25
教程
Mac单机Hadoop2.7下安装Spark2.2+配置SparkSQL查询Hive表+spark-sql CLI 查询
下面简单记录mac单机spark安装测试的过程已安装好单机的伪分布式Hadoop,见Mac单机
Hadoop安装
备忘已安装好单机的hive,见Mac-单机Hive安装与测试单机Mac安装spark并做简单
hjw199089
·
2020-08-11 21:11
[3]Spark
hadoop安装
配置之ResourceManger启动失败
第一次写博客,心情还是无比的鸡冻。最近在研究大数据相关东西,看了些技术文档,感觉比较空,就着手搭了一套hadoop。废话不多说了,直接上正文。1.搭建hadoop环境参考https://blog.csdn.net/china1987427/article/details/82057250问题:目前hadoop官网只提供如下图几个版本而下载的windows版本https://github.com/s
Storery
·
2020-08-11 20:10
hadoop
使用命令行编写运行第一个hadoop程序
预备:1、预先准备已安装好javaJDK、Hadoop2、环境:ubuntu3、文件夹介绍3.1
hadoop安装
在/home/usr/nancy/hadoop/hadoop-2.9.2下3.2创建的wordcount
NancyNancy_
·
2020-08-11 20:45
hadoop
【Hbase】hbase入门使用教程
该文章的前期准备
hadoop安装
zk安装本文所用的hbase版本是0.98.9在安装hbase前,先确保下依赖组件的各个版本,本文的hadoop版本是2.6,在官网上没有给出支持的相关说明,但是我们仍然来使用
chiweitree
·
2020-08-11 16:31
hbase
win hadoop 安装
实际过程中还是会出现几个问题,记录一下解决方案:用镜像地址下载
hadoop安装
包会快很多win下安装需要在hadoop\bin下添加hadoop.dll和winunit.exe,下路径有更全的版本https
acoco_wang
·
2020-08-11 16:06
CDH
Hadoop安装
一、统一配置系统环境(除了特别提醒之外,所有步骤三台都需要安装)配置说明CDH需要内存要求比较高,本教程在在家用台式家16GVMware虚拟机情况下安装。hadoop-master8Ghadoop-node012Ghadoop-node022G编辑hosts文件echo-e'10.0.102.218hadoop-master\n10.0.102.133hadoop-node01\n10.0.102
aovlvwj868367100
·
2020-08-11 11:50
Hadoop:安装配置hadoop
安装配置
hadoop安装
直接执行hadoop任务配置伪分布式模式:修改$HADOOP_HOME/etc/hadoop/core-site.xml修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
xuejianbest
·
2020-08-11 05:04
大数据/Hadoop
Hadoop 2.7.5集群安装
目录Hadoop介绍
Hadoop安装
Hadoop介绍Hadoop最早起源于Nutch。
待烟火清凉
·
2020-08-11 03:02
Hdfs
yarn
mapreduce
Hadoop大数据组件安装 史上最详细教程 手把手教会你安装
Hadoop安装
--大数据组件安装--史上最完整教程--手把手教会你安装——彻底揭开大数据技术的面纱,让小白彻底进入大数据技术领域交个朋友,微:zytbft安装的Hadoop的生态圈组件有如下几个(以后会不断补充完善起来了
专注大数据开发
·
2020-08-11 02:44
大数据开发
大数据组件安装
hadoop中conf.set("fsxxxx",hdfs)的作用
一可以不设置就需要将
hadoop安装
目录下的etc/hadoop/core-site.xml放到工程目录的bin目录下,eclipse才能加载。二另一种解决办法就是在程序里面设置好举个创建目录的例子a
发啊发程序猿
·
2020-08-11 02:22
大数据
hadoop
hdfs
java
Hadoop的安装与配置
Hadoop安装
与配置本文主要介绍在Ubuntu环境下Hadoop0.20.2的安装及配置:步聚一、机器分配及用途hdfs-m--------------172.16.11.197(Master--NameNode
zhaozheng7758
·
2020-08-11 02:11
网格技术
Hadoop 2.7.2版本单机搭建
安装java环境这里安装的是1.8.0_211版本下载hadoop压缩包各版本的
Hadoop安装
包下载地址:http://archive.apache.org/dist/hadoop/common/这里选择
吃顿好的
·
2020-08-10 19:51
hadoop
Hadoop安装
与常见问题
前言先说一下当前环境:Ubuntu18.04jdk1.8Hadoop选用-2.6.0-cdh5.15.1用户名:supershuai-VirtualBoxHadoop的下载地址:http://archive.cloudera.com/cdh5/cdh/5/hoodp-native下载对应的版本http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoo
旋转木马_浮世尘华
·
2020-08-10 19:16
Windows环境中MR任务的三种运行方式
本地运行解压
hadoop安装
tar包hadoop-2.5.0-cdh5.3.6.tar.gz,下载地址:http://archive.cloudera.com/cdh5/cdh/5/设置环境变量HADOOP_HOME
H_Hao
·
2020-08-10 16:07
笔记
大数据学习
安装配置Hadoop出现常见问题的解决方法
在参考厦门大学数据库实验室编写的
Hadoop安装
过程http://dblab.xmu.edu.cn/blog/install-hadoop/安装时出现了经常出现的问题,以下是我找到的解决方法,并加以汇总
FishChina
·
2020-08-10 13:00
大数据
Hadoop
Spark
【超详细】从VMware安装到Hadoop+Hbase完全分布式搭建到音乐排行榜综合实验
目录一、VMware安装二、VMwareTools安装三、更新apt四、安装配置SSH五、安装JAVA环境六、
Hadoop安装
七、克隆一台slave八、修改主机名和测试连通九、SSH无密码登录Slave
Duck_Duck_
·
2020-08-10 13:48
大数据
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他