E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
伪分布式
Linux环境下Hadoop开发环境的安装
@[TOC]实验内容#1)JAVAjdk8.0环境安装与配置;##2)SSH环境安装与配置###3)Hadoop
伪分布式
模式安装与配置一、实验过程(步骤、记录、数据、程序等)参照实验指导书和大数据软件安装和编程实践指南网站
DefiniteMr
·
2020-07-06 21:39
大数据
hodoop
hadoop新手自学视频培训 hadoop新手快速实战教程 Hadoop全套完整视频教程
大家学习-------------------课程目录-------------------视频教程下载地址:http://demo.liuy88.cn/jp0541.html第一天hadoop的基本概念
伪分布式
zzzzzamminor
·
2020-07-06 14:22
最新hadoop大数据零基础入门新手学习视频教程
视频下载地址:http://t.cn/EfRx5pU-------------------课程目录-------------------第一天hadoop的基本概念
伪分布式
hadoop集群安装hdfsmapreduce
山泥若啊丶
·
2020-07-06 14:51
Hbase
伪分布式
安装
因要安装pinpoint1.8.3所有需要安装hbase,因为是测试所有就安装一个
伪分布式
吧。hbase安装需要hdfs,先来安装一下hadoop吧。
zipo
·
2020-07-06 13:50
大数据
Linux下的hadoop的
伪分布式
安装
需要注意的:如果是配置文件都在${hadoop_home}/etc/hadoop下面执行命令的目录都在hadoop的安装目录下上传hadoop的压缩包首先安装Linux自带的上传下载文件的工具命令:sudoyuminstall-ylrzsz我之前是借用工具直接将Windows系统里面的压缩包拖到Linux内的,其实都差不多,只是为了都尝试一下而已上传rz下载sz到要放置的压缩包的目录下执行rc命令
时光凉
·
2020-07-06 11:22
大数据
hadoop
yarn
大数据----------(二)hadoop的安装部署:HDFS模块,Yarn模块,历史服务配置
安装方式:
伪分布式
,让进程跑在一台机器上,端口不一样文档:http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html
总角之宴
·
2020-07-06 09:42
大数据总结
Idea远程连接Hadoop运行MapReduce
Idea远程连接Hadoop运行MapReduce环境:hadoop2.7.1虚拟机
伪分布式
集群虚拟机镜像文件下载看到网上有许多文章,都很复杂,其实只需要以下三步就可以使用Idea远程连接Hadoop运行
池边的树
·
2020-07-06 05:39
hadoop
在windows上安装配置
伪分布式
HADOOP3.0
在windows64位上安装hadoop3.0.21.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如ProgramFiles,将在后面的配置中报错!若实在是有空格也是有解决办法,步骤7中会提到)假设JAVA_HOME路径为C:\Java\jdk1.8.0_131然后在Path中添加路径:%JAVA_HOME%;%JAVA_HOME%\bin2.下载hadoop官网下载地址:htt
Simonhans
·
2020-07-06 05:06
Linux hadoop2.6.5搭建
伪分布式
先搭建单机hadoop,可以进入下面网址参考教程:https://mp.csdn.net/postedit/885300141、先进行配置bash_profile输入命令:vim~/.bash_profile进入文件里面配置下图的环境:(加入你的hadoop路径)并生效环境变量:source~/.bash_profile加入jdk:进入cd/usr/local/hadoop/etc/hadoop/
我就是DaLing呀!
·
2020-07-06 04:00
多台Linux虚拟机Hadoop集群的安装与部署(超详细版)
生资之高在忠信,非关机巧学业之美在德行,不仅文章注意事项虚拟机系统均为Linux的发行版,CentOS7本次安装部署实际使用的虚拟机数量为3(实际两台及以上数量的虚拟机均可,一台为
伪分布式
)各台虚拟机的
老师没讲
·
2020-07-06 03:43
Hadoop
大数据
分布式集群
Hadoop
Linux
CentOS
hadoop与hbase的
伪分布式
代码测试环境的搭建
前言献给想学习MapReduce和HBase却不知道怎么做的小伙伴们,说实话,你学习这些东西只看书那简直痴人说梦,所以,一个测试环境必不可少。安装包下载我用的是hadoop2.6.0,Hbase0.90.4(用这么老的版本的Hbase都是因为nutch)。hadoop的安装与配置我的hadoop的安装路径是/usr/local/hadoop将hadoop解压并配置环境变量sudogedit/etc
trieyouth
·
2020-07-06 03:47
# Hadoop安装(
伪分布式
)常见问题解决及Hadoop常用命令
Hadoop安装常见问题一、权限不足问题对于hadoop安装文件的权限不足会出现以下的错误错误:Cannotcreatedirectory/usr/local/hadoop/hadoop-2.8.3/tmp/dfs/name/current解决方法:sudochmod-Ra+w/usr/local/hadoop/hadoop-2.8.3给与这个安装文件夹充足的权限,允许在这个安装文件夹下面创建文件
weixin_41822745
·
2020-07-06 03:10
Hadoop的学习总计
hadoop-2.6.0-cdh5.7.0
伪分布式
搭建
1,这个我们是直接在linux中下载hadoop-2.6.0-cdh5.7.0,(当然你也可以在本地下载后再上传,这步就可以忽略)首先确保你的虚拟机有网络,可以先ping百度测试有网没,如下代码就是有网络的情况。[root@master~]#pingwww.baidu.comPINGwww.a.shifen.com(180.97.33.108)56(84)bytesofdata.64bytesfr
总分全班倒数第一
·
2020-07-06 03:10
大数据
Hadoop
伪分布式
安装
1.环境信息elementary14.04Java1.8.0_151(/apps/jdk1.8.0_151)Hadoop2.6.5(/apps/hadoop)用户名bigdata、密码123、主机名hadoop2.创建bigdata用户#创建名为bigdata的用户$sudouseradd-mbigdata#用如下指令设置密码,按提示输入两次密码,设置为123$sudopasswdbigdata#
浅墨微蓝
·
2020-07-06 03:45
bigdata
Hadoop配置
伪分布式
Hadoop配置
伪分布式
Hadoop海量数据存储,需要分布式存储,Namenode:名称节点(NN),存放文件目录和路径,重要节点。
Wangdy&
·
2020-07-06 03:44
Hadoop单机/
伪分布式
集群搭建(新手向)
本文主要参照官网的安装步骤实现了Hadoop
伪分布式
集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意义。
weixin_34344403
·
2020-07-06 01:48
Hadoop
伪分布式
安装部署
1.jdk安装解压:tar-zxvfjdk-7u79-linux-x64.tar.gz-C/working/source添加到系统环境变量:~/.bash_profile复制代码exportJAVA_HOME="/working/source/jdk1.7.0_79"CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH=
weixin_34288121
·
2020-07-06 01:37
Hadoop使用注意事项-远程调用
在虚拟机中用rhel6.5装了单机
伪分布式
的Hadoop,在宿主机中使用JAVAAPI开发程序,遇到了一些问题及解决:1、连接不上关掉iptables,最简单粗暴的方法设置策略,允许远程访问端口才是正确的解决方式
weixin_34279184
·
2020-07-06 01:59
[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境(一)
2019独角兽企业重金招聘Python工程师标准>>>前言大家都知道,Hadoop的部署方式可分为单机模式
伪分布式
完全分布式本篇主要讲解的就是完全分布式。
weixin_33881140
·
2020-07-05 23:31
Hadoop学习笔记(四)Hadoop
伪分布式
配置
Hadoop配置文档(二)这一篇是介绍Hadoop
伪分布式
的配置中的Hadoop的配置。第一部分是Hadoop1.0配置,第二部分是Hadoop2.0的配置,大家可以自己选择查看。
weixin_33774883
·
2020-07-05 23:13
CentOS 7 + Hadoop3.0.0 搭建
伪分布式
集群
CentOS7+Hadoop3.0.0搭建
伪分布式
集群ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误。
weixin_30685047
·
2020-07-05 21:34
Hadoop安装教程_单机/
伪分布式
配置
环境本教程使用CentOS6.432位作为系统环境,请自行安装系统(可参考使用VirtualBox安装CentOS)。如果用的是Ubuntu系统,请查看相应的Ubuntu安装Hadoop教程。本教程基于原生Hadoop2,在Hadoop2.6.0(stable)版本下验证通过,可适合任何Hadoop2.x.y版本,例如Hadoop2.7.1,Hadoop2.4.1等。Hadoop版本Hadoop有
Claire_ljy
·
2020-07-05 20:33
Ubuntu系统下的Hadoop集群(1)_Hadoop安装教程_单机/
伪分布式
配置
Hadoop安装教程_单机/
伪分布式
配置_Hadoop2.6.0/Ubuntu14.04当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。
Wang_Zhenwei
·
2020-07-05 19:27
Hadoop
转载
Hadoop详解(一)——大数据和Hadoop的简介、Hadoop
伪分布式
的安装步骤
大数据简介大数据体现以上几个例子体现了大数据无处不在。目前很多网络巨头都在使用大数据分析趋势,随着互联网对网民的理解,网民对网络的反作用,互联网将变得越来越智能,它在满足用户需求的同时,也在创造新的需求。谷歌的盈利在于所有的软件应用都是在线的,用户在免费使用这些软件产品的同时,把个人的行为、喜好等信息也免费的送给了谷歌。因此,谷歌的产品越丰富,它对用户的理解就越深入,它的广告就越精准,广告的价值就
LIUXUN1993728
·
2020-07-05 17:35
Hadoop大数据
lzo安装说明
本机是在
伪分布式
下进行安装的,如果是在全分布式下进行安装,只需要在各个datanode节点分别进行相同的安装就可以了。一、lzo的安装1.下载lz
jack-zhu
·
2020-07-05 17:00
lzo
hadoop应用场景总结
我个人接触hadoop仅仅不到一年,因为是业余时间学习,故进度较慢,看过好多视频,买过好多书,学过基本知识,搭建过
伪分布式
集群,有过简单的教程式开发,恰逢毕业季,面试过相关岗位,自认为路还很远,还需一步一步积累
执念ID
·
2020-07-05 16:13
hadoop入门学习
Hadoop运行环境搭建
运行环境搭建虚拟机网络模式设置为NAT克隆虚拟机修改为静态ip修改主机名关闭防火墙在opt目录下创建文件安装jdk安装HadoopHadoop运行模式本地运行Hadoop案例官方grep案例官方wordcount案例
伪分布式
运行
靛蓝忆
·
2020-07-05 16:02
大数据
hadoop的第一个程序wordcount实现
具体安装步骤请见博客:linuxhadoop2.7
伪分布式
安装简单几步实现1.在本地新建一个文件,笔者在~/hadoop-2.7.1/local_data文件夹新建了一个文本文件hello.txt,local_data
CourageK
·
2020-07-05 16:43
linux
HDFS分布式存储及特点
上一篇,我们说了hadoop的
伪分布式
安装,今天我们来说说著名的HDFS,一:HDFS简单介绍HDFS,顾名思义HadoopDistributedFileSystem,翻译过来就是hadoop分布式文件系统
tc_lwh
·
2020-07-05 14:32
hdfs/mr
HDFS特点
HBase分布式运行环境的安装和配置
三台主机已配置ssh免密码登录,并配置主机名分别为h2、h3、h4注:hbase有三种运行模式:单击模式、
伪分布式
模式和分布式模式。其中windows下只可运行单击模式。
sxyandapp
·
2020-07-05 13:50
hadoop
Hadoop-2.7.2
伪分布式
集群搭建
1.1修改主机名vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=FTH011.2修改IP两种方式:第一种:通过Linux图形界面进行修改(强烈推荐)进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->点击edit按钮->选择IPv4->method选择为manual->点击
Tnoy.Ma
·
2020-07-05 13:33
Hadoop
大数据学习二框架安装部署之 HADOOP
HDFS-提供分析的数据NameNode/DataNodesYARN-提供程序运行的资源ResourceManager/NodeManagers
伪分布式
安装部署:在一台机器上安装部署上述的HDFS和YARN
木子_muzi
·
2020-07-05 12:17
HBase-0.96.1.1-cdh5.0.1 单机、
伪分布式
、完全分布式
概述搭建hbase-0.96.1.1-cdh5.0.1单机环境,
伪分布式
,完全分布式一单机模式安装在单机模式中,HBase使用本地文件系统,而不是HDFS,所有的服务和zooKeeper都运作在一个JVM
shihlei
·
2020-07-05 11:55
HBase
HBase
单机安装
伪分布式安装
完全分布式安装
hadoop+spark+hive+mysql集群搭建过程
之前一直在localmode或
伪分布式
下学习spark大数据编程,一直没有尝试分布式集群。最近新分了机器,配置不错,想玩一下。
爱无碍平台技术创始人
·
2020-07-05 11:08
大数据
Hadoop3.1.3安装教程_单机/
伪分布式
配置_Hadoop3.1.3/Ubuntu18.04(16.04)
如果用的是CentOS/RedHat系统,请查看相应的CentOS安装Hadoop教程_单机
伪分布式
配置。使用本教程请确保系统处于联网状态下,部分高校使用星网锐捷连接网络,可能导致虚拟机无法联网,那么
计忆芳华
·
2020-07-05 10:45
hadoop
大数据学习
Hadoop本地模式安装
模式名称各个模块占用的JVM进程数各个模块运行在几个机器数上本地模式1个1个
伪分布式
模式N个1个完全分布式模式N个N个HA完全分布式N个N个第五步、本地模式部署本地模式介绍本地模
qq_wyh
·
2020-07-05 09:57
笔记
记录学习过程所解决的小问题
一开始我是按照完全分布式的配置文件搭建的
伪分布式
,就是格式
旁观者最嗨
·
2020-07-05 08:56
bug记录
Linux下hadoop
伪分布式
模式部署
文章目录一、前言二、设置环境变量三、hadoop文件配置四、启动hadoop五、总结一、前言hadoop
伪分布式
部署需要jdk环境及安装hadoop,因之前在hadoop单机版配置写过,这里就不多赘述,
喧嚣的日常
·
2020-07-05 08:07
Centos
(二)Hadoop集群环境搭建(
伪分布式
)
模式名称各模块占用JVM进程数各个模块运行在几个机器数上本地模式1个1个
伪分布式
模式N个1个完全分布式模式N个N个Hadoop
伪分布式
模式安装1,创建一个名字为hadoop的普通用户[root@ha
小猪Harry
·
2020-07-05 07:58
CentOS7安装hadoop2.7.2 实现
伪分布式
测试成功(亲测教程)
CentOS7安装hadoop2.7.2实现
伪分布式
测试成功(亲测教程)CentOS7安装hadoop2.7.2实现
伪分布式
测试成功(亲测教程)经过几天的尝试,终于在CentOS7下安装hadoop,实现
伪分布式
Lucky_wangtao
·
2020-07-05 05:42
Hadoop
HDFS 添加组和用户
Hadoop3.1.2独立模式,单节点和多节点
伪分布式
安装与使用创建Hadoop集群的时候,创建并使用了hadoop用户,Hadoop也装在hadoop用户目录下。
shpunishment
·
2020-07-05 05:09
大数据
Hadoop 集群搭建
伪分布式
、集群/分布式
ping不通虚拟机、虚拟机ping不通外网解决方案本教程适用于在CentOS7系统中安装Hadoop2,详细介绍了从系统环境配置、Java环境配置到Hadoop安装及Hadoop集群配置,包括:单机、
伪分布式
以及分布式
Swt_BigData
·
2020-07-05 04:21
Hadoop集群
spark
伪分布式
搭建及spark页面8080端口访问出错的问题
伪分布式
搭建其实很简单(spark集群搭建都很简单)1、首先到官网下载spark压缩包2、下载命令行中使用:wgethttp://mirror.bit.edu.cn/apache/spark/spark
宋哥哥丢了金箍棒
·
2020-07-05 04:32
大数据开发实践
伪分布式
+分布式安装Hadoop(两个节点)
准备一个新的Linux系统,我这里从之前安装好的Linux中克隆一个更改新系统的设备参数设置,参考本地硬件设置合理参数启动Linux,更改主机名为master[zhao@localhost~]$su#切换至root用户下[root@localhostzhao]#vim/etc/hostname#修改主机名[root@localhostzhao]#reboot#重启Linux系统使更改生效4.配置网
Bamshk
·
2020-07-05 04:25
工具使用类
虚拟机VMware workstation pro 中搭建 Hadoop
伪分布式
环境
一、免密配置(ssh配置)1.1创建Hadoop用户在进行免密操作的时候,我要创建一个Hadoop用户,打开终端(ctrl+alt+t)在root权限下操作,才能成功创建一个用户,为了创建一个完成的用户,我将他的权限升为root级别,并添加了密码:创建hadoop用户,并使用/bin/bash作为shell,输入命令:sudouseradd-mhadoop-s/bin/bash为hadoop用户设
MIXQ-1DIAN
·
2020-07-05 00:42
VM虚拟机中的环境搭建
大数据系列教程003-hadoop
伪分布式
环境搭建步骤01-安装vmware12
声明:大数据系列教程文章由Java潘老师辛苦原创,免费公开供java爱好者学习。如需转载请获得潘老师授权并保留原文链接,如有疑问或建议,可以联系潘老师:Q:1562691348V:A1562691348本教程学习知识储备:JavaSE基础、Linux基础、数据库基础1.VMwareWorkstation12.5.2Pro下载地址如下:https://my.vmware.com/cn/web/vmw
Java潘老师
·
2020-07-05 00:04
大数据系列教程
Hadoop
伪分布式
配置及与Eclipse集成开发需要注意的问题
我用的Hadoop版本是1.1.2,系统为Ubuntu12.04一、Hadoop
伪分布式
配置:首先要修改Hadoop配置文档conf/hadoop-env.sh中JDK的路径,在第9行;配置conf文件下
linson3344
·
2020-07-04 21:59
Hadoop
最新hadoop视频教程培训 Hadoop入门培训全套完整视频教程
视频下载地址:http://demo.liuy88.cn/jp0821.html-------------------课程目录-------------------第一天hadoop的基本概念
伪分布式
hadoop
jjjjjzzzzzaaaa
·
2020-07-04 19:38
org.apache.hadoop.ipc.Client: Retrying connect to server异常的解决
这个设置应该是在做
伪分布式
的hadoop集群的时候,留下来的。如果照上面的方法还是出现同样的问题,或者etc/hosts目录并没有127.
iteye_18480
·
2020-07-04 18:10
Hadoop---在window下的安装配置----基于cygwin的
这里配置的是
伪分布式
了。需要配置四个文件。都在conf目录下。分别为:hadoop-env.sh、core-
黑菜妞妞
·
2020-07-04 17:49
Hadoop
上一页
23
24
25
26
27
28
29
30
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他