E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
HDFS 添加组和用户
Hadoop3.1.2独立模式,单节点和多节点
伪分布式
安装与使用创建Hadoop集群的时候,创建并使用了hadoop用户,Hadoop也装在hadoop用户目录下。
shpunishment
·
2020-07-05 05:09
大数据
Hadoop 集群搭建
伪分布式
、集群/分布式
ping不通虚拟机、虚拟机ping不通外网解决方案本教程适用于在CentOS7系统中安装Hadoop2,详细介绍了从系统环境配置、Java环境配置到Hadoop安装及Hadoop集群配置,包括:单机、
伪分布式
以及分布式
Swt_BigData
·
2020-07-05 04:21
Hadoop集群
spark
伪分布式
搭建及spark页面8080端口访问出错的问题
伪分布式
搭建其实很简单(spark集群搭建都很简单)1、首先到官网下载spark压缩包2、下载命令行中使用:wgethttp://mirror.bit.edu.cn/apache/spark/spark
宋哥哥丢了金箍棒
·
2020-07-05 04:32
大数据开发实践
伪分布式
+分布式安装Hadoop(两个节点)
准备一个新的Linux系统,我这里从之前安装好的Linux中克隆一个更改新系统的设备参数设置,参考本地硬件设置合理参数启动Linux,更改主机名为master[zhao@localhost~]$su#切换至root用户下[root@localhostzhao]#vim/etc/hostname#修改主机名[root@localhostzhao]#reboot#重启Linux系统使更改生效4.配置网
Bamshk
·
2020-07-05 04:25
工具使用类
虚拟机VMware workstation pro 中搭建 Hadoop
伪分布式
环境
一、免密配置(ssh配置)1.1创建Hadoop用户在进行免密操作的时候,我要创建一个Hadoop用户,打开终端(ctrl+alt+t)在root权限下操作,才能成功创建一个用户,为了创建一个完成的用户,我将他的权限升为root级别,并添加了密码:创建hadoop用户,并使用/bin/bash作为shell,输入命令:sudouseradd-mhadoop-s/bin/bash为hadoop用户设
MIXQ-1DIAN
·
2020-07-05 00:42
VM虚拟机中的环境搭建
大数据系列教程003-hadoop
伪分布式
环境搭建步骤01-安装vmware12
声明:大数据系列教程文章由Java潘老师辛苦原创,免费公开供java爱好者学习。如需转载请获得潘老师授权并保留原文链接,如有疑问或建议,可以联系潘老师:Q:1562691348V:A1562691348本教程学习知识储备:JavaSE基础、Linux基础、数据库基础1.VMwareWorkstation12.5.2Pro下载地址如下:https://my.vmware.com/cn/web/vmw
Java潘老师
·
2020-07-05 00:04
大数据系列教程
Hadoop
伪分布式
配置及与Eclipse集成开发需要注意的问题
我用的Hadoop版本是1.1.2,系统为Ubuntu12.04一、Hadoop
伪分布式
配置:首先要修改Hadoop配置文档conf/hadoop-env.sh中JDK的路径,在第9行;配置conf文件下
linson3344
·
2020-07-04 21:59
Hadoop
最新hadoop视频教程培训 Hadoop入门培训全套完整视频教程
视频下载地址:http://demo.liuy88.cn/jp0821.html-------------------课程目录-------------------第一天hadoop的基本概念
伪分布式
hadoop
jjjjjzzzzzaaaa
·
2020-07-04 19:38
org.apache.hadoop.ipc.Client: Retrying connect to server异常的解决
这个设置应该是在做
伪分布式
的hadoop集群的时候,留下来的。如果照上面的方法还是出现同样的问题,或者etc/hosts目录并没有127.
iteye_18480
·
2020-07-04 18:10
Hadoop---在window下的安装配置----基于cygwin的
这里配置的是
伪分布式
了。需要配置四个文件。都在conf目录下。分别为:hadoop-env.sh、core-
黑菜妞妞
·
2020-07-04 17:49
Hadoop
Hadoop新手快速入门经典视频教程
视频下载地址:http://t.cn/EIOA6Pn第一天hadoop的基本概念
伪分布式
hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02-hadoop课程安排
dskjh231
·
2020-07-04 15:40
Hadoop+zookeeper集群环境搭建步骤(百分百安装,亲测有效)
zookeeper集群环境搭建步骤(百分百安装,亲测有效)使用的软件hadoop-2.7.5zookeeper-3.4.5安装hadoop,需要多台机器构建集群(最少3台)这里我使用三台机器搭建hadoop
伪分布式
集群以及
咖啡里的
·
2020-07-04 15:07
hadoop
大数据
zookeeper
Hadoop2.7.1
伪分布式
配置
Hadoop2.7.1
伪分布式
配置前言Hadoop的安装分为单机方式、
伪分布式
方式和完全分布式方式。这里主要讲解在CentOS6.5环境中Hadoop的
伪分布式
安装配置。
梦想不会灭
·
2020-07-04 13:14
SpringCloud
编写一键安装
伪分布式
Hadoop的脚本
学校开设了Hadoop这门课程,第一次上课就是在本机上安装一个
伪分布式
的Hadoop。
不能说的秘密go
·
2020-07-04 12:30
linux
在CentOS6.4搭建hadoop集群的实践笔记
伪分布集群的搭建请看下面两个链接Ubuntu上搭建hadoop
伪分布式
配置请看这里CentOS上搭建hadoop
伪分布式
配置请看这里说是集群,实际上只有一个master和一个slave,为了不让CPU烧熟桌子本搭建基于
阿坨
·
2020-07-04 11:21
Hadoop
centos搭建hadoop
伪分布式
集群
用centos搭建hadoop
伪分布式
集群,一路坎坷,终于走过来了。记录一下:版本:centos7和hadoop2.7.4hadoop的安装就不用说了,下载安装包解压就行,很顺利。主要是配置文件。
舒小贱
·
2020-07-04 09:09
Hadoop
伪分布式
安装步骤
Hadoop
伪分布式
安装步骤目录Hadoop
伪分布式
安装步骤一.永久关闭防火墙二.配置主机名1.编辑network文件:vim/etc/sysconfig/network2.将HOSTNAME属性改为指定的主机名
萌新Java程序猿
·
2020-07-04 06:29
Hadoop
大数据Hadoop
Hadoop
伪分布式
搭建 Pseudo-Distributed Mode
Hadoop简介配置操作Linux系统配置Hadoop安装配置解压安装并配置环境变量配置HDFS配置yarn并将MapReduce交由yarn运行配置日志服务器启动服务配置SSH秘钥Hadoop简介Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架主要组成:分布式文件系统HDFS和MapReduce计算模型Hadoop项目主要包括以下四个模块:-HadoopCommon:为其他Hadoo
oldEcho
·
2020-07-04 06:59
大数据-hadoop
在Linux系统下安装zookeeper并部署实现
伪分布式
一、准备工作:1、在Linux下安装jdk并配置环境变量2、在Linux下安装zookeeper并配置环境变量二、具体操作:1、在Linux下安装jdk并配置环境变量1)直接在Linux系统中去官网中下载Linux版本的jdk,这里以jdk1.8为例2)进入安装包目录,解压安装包3)解压完之后,再把解压好的jdk移动到便于你管理的目录下(不强制)执行命令:mvjdk1.8.0_181/usr/lo
LOVE_LJing
·
2020-07-04 06:20
Hadoop的安装和
伪分布式
集群搭建
1.java安装2.配置免密码登录创建公钥和私钥ssh-keygen-trsa将要登录者机器的公钥id_rsa.pub内容添加到被登录机器的authorized_keys中,修改authorized_keys权限这里模拟本机登录本机cd~/.ssh/catid_rsa.pub>>authorized_keyschmod644authorized_keys直接ssh主机名免密码登录sshbigdat
JoatECJTU
·
2020-07-04 06:40
Linux
架构
Hadoop
Eclipse远程连接Hadoop
先说下我自己laptop没有hadoop环境(虚拟机中有
伪分布式
,不过是为了熟悉hadoop啦),也没有像网上那样用cygwin,主要得益于实验室服务器上师兄之前搭建了hadoop集群,之前一直用xshell
JasonZhangOO
·
2020-07-04 06:42
linux下安装配置hive
参考文章:https://blog.csdn.net/Alen_Liu_SZ/article/details/80752273一、安装前准备1安装Hadoop具体安装过程参考:Hadoop2.7.6安装_
伪分布式
集群
wisdom_power
·
2020-07-04 05:06
大数据相关
hadoop视频教程培训 hadoop最新实战教程 Hadoop7天培训全套完整视频教程
-------------------课程目录-------------------视频下载地址:http://demo.liuy88.cn/jp0595.html第一天hadoop的基本概念
伪分布式
hadoop
zzaqee12azza
·
2020-07-04 04:07
大数据技术原理与应用-大数据处理架构Hadoop
1.6Hadoop各种版本2Hadoop项目结构3Hadoop的安装与使用3.1准备工作3.2创建hadoop用户3.3SSH登录权限设置3.4安装Hadoop3.5Hadoop单机模式测试3.6Hadoop
伪分布式
配置
wolfchenxing
·
2020-07-04 03:16
大数据
linux hadoop 2.7
伪分布式
安装简单几步实现
本机配置1.ubuntu64bit2.hadoop2.7.1Contents1.安装jdk2.安装ssh3.安装hadoopSteps1.安装jdka)下载这个网址中跟自己操作系统相对应的jdk版本:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html我选择的是jdk-7u79-
CourageK
·
2020-07-04 02:36
linux
使用Shell脚本一键部署Hadoop
测试环境Linux系统版本:CentOS7实现功能1、Java环境一键配置2、Hadoop单机版一键安装3、Hadoop
伪分布式
一键安装4、Hadoop集群部署5、
伪分布式
hadoop初始化6、集群设置
丶气质ン稳拿。
·
2020-07-04 02:55
Hadoop
Linux
大数据学习三之
伪分布式
集群安装部署
大数据学习三之
伪分布式
集群安装部署ip:168.192.59.200hostname:bigdata-lmt02.hpsk.com我的环境搭建是基于前两篇博客的基础之上的:大数据学习一Linux基础配置大数据学习二
木子_muzi
·
2020-07-04 02:08
大数据
基本配置
Linux
大数据框架
ubuntu配置hadoop
伪分布式
添加hadoop用户创建hadoop用户并使用bash作为shellsudouseradd-mhadoop-s/bin/bash设置hadoop用户密码sudopasswdhadoop为hadoop用户增加管理员权限sudoadduserhadoopsudo安装openssh-serversudoapt-getinstallopenssh-server出现缺dependencies的问题:Thef
SpringWolfM
·
2020-07-04 01:50
hadoop集群搭建【
伪分布式
】
一、hadoop集群搭建前准备在linux中安装好jdk,配置好jdk环境变量安装好hadoop单机版注:如果单机版不会安装,可以点击下面连接去查看hadoop单机版安装二、安装hadoop集群复制单机版hadoop,复制三分找到虚拟机管理,选择克隆复制时的选项点击完成即可,复制三台虚拟机,作为hadoop的主节点和从节点。三、启动三台虚拟机配置hadoop使用root用户登录输入:vi/etc/
lyq7269
·
2020-07-04 00:10
linux
大数据
hadoop
linux
分布式
zookeeper
一、安装
伪分布式
安装注意事项:在
伪分布式
启动server端服务时,注意同时启动服务。
时待吾
·
2020-07-02 17:38
kafka 顺序消费, spark streaming exactly-once以及零丢失的一些总结
Kafka:定义:消息中间件–>分布式流式平台生产者sourceBrokerchannel消费者sink正常部署的是:Broker进程(一个机器一个(分布式),一个机器多个(
伪分布式
))使用场景:Flume
holomain
·
2020-07-02 17:53
流全栈处理
零基础如何学好大数据?需要掌握哪些基础工具?
一、HadoopHadoop生态系统安装部署(单机、
伪分布式
、完全分布式)HDFS及读写原理MapReduceV1、V2框架WordCount编码详解原理Mapper、Reducer、Combiner、
qq_27513477
·
2020-07-02 17:57
大数据
大数据
云平台配置1:
伪分布式
配置手册
伪分布式
配置手册linux环境配置、linux环境下hadoop环境配置、linux静态ip设置系统环境VMWare10.0.1MacCentOS764bitJDK7hadoop2.6.5一、Mac下面修改
zThanks
·
2020-07-02 14:42
Hadoop
伪分布式
运行模式启动HDFS并运行MapReduce程序
伪分布式
运行模式启动HDFS并运行MapReduce程序分析(1)配置集群(2)启动、测试集群增、删、查(3)执行WordCount案例执行步骤(1)配置集群(a)配置:hadoop-env.shLinux
美食江湖
·
2020-07-02 12:00
大数据
Hadoop
伪分布式
配置(二).配置hadoop
1.首先下载hadoop(版本1.2.1)下载地址:http://hadoop.apache.org/releases.html2.配置hadoop的配置文件对于hadoop到三种运行模式都需要配置jdk路径,所以首先介绍这个到配置进入conf文件夹下,在hadoop-env.sh文件中做修改,在第九行左右到位置中有#exportJAVA_HOME=*******这样到字样,首先将#(这里#为注释
mcp3128
·
2020-07-02 11:34
Linux
hadoop
hadoop
伪分布式
模式部署
伪分布式
模式:守护进程运行在本地机器上,模拟一个小规模的集群,只有一个NameNode和一个DataNode实例,数据都存放在同一个节点上。“伪”体现在如何本节点出现故障,则数据丢失
机器熊技术大杂烩
·
2020-07-02 11:07
Hadoop
hadoop
伪分布式
部署过程
1.配置PATH#vi/etc/profileexportJAVA_HOME=/usr/java/jdk1.6.0_32exportPATH="$JAVA_HOME/bin:$PATH"exportHADOOP_PREFIX=/home/hadoop/hadoop-2.4.0exportCLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"exportPATH="$JAVA
Michael-JOE
·
2020-07-02 06:05
Hadoop
HBase 5分钟 快速入门
1、下载,解压2、修改conf/
habase
-site.xml文件,如下:hbase.rootdirfile:///data/hbasefile:///data/hbase为数据文件储存目录:/data
iteye_4515
·
2020-07-02 04:09
搭建 hive 环境 mysql 作为metastore
hbase(四)使用phoenix-hbase-client和squirrel图形化工具(五)搭建hive环境mysql作为metastorehive基于hadoop,hadoop安装参考:hadoop
伪分布式
搭建搭建
大写的A
·
2020-07-02 03:52
HBase
配置Hadoop
伪分布式
模式并运行WordCount示例操作实例演示步骤
hadoop单机模式的构建可以参考为上一篇博文:http://blog.csdn.net/henni_719/article/details/77718642PS:全程以root的角色进行配置安装第一部分:
伪分布式
配置伪分布模式主要涉及一下配置信息
WEL测试
·
2020-07-02 02:01
大数据
hadoop
伪分布式
模式实现
一台机器的各个进程上运行hadoop多个模块,但并不是真正的分布式,因为是一台机器。但是HDFS和MapReduce,还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useraddhadooppasswdhadoop然后给hadoop以root的权限,这样比较方便,当然真正配置分布式时不能给这么大权限。vim/etc/sudoers添加如下rootAL
hahachenchen789
·
2020-07-02 01:23
hadoop
Hadoop
伪分布式
模式安装配置步骤
最近要升级Hadoop的版本,需要重新安装测试环境,特此记录一下安装配置步骤O(∩_∩)O1.依赖软件1.1JavaHadoop2.7及以上版本需要Java7,之前的版本支持Java6,本文使用Hadoop2.6.5版本,所以安装Java6就可以了(本文省略安装步骤)1.2ssh集群、单节点模式都需要用到SSH登陆,安装完SSH之后(本文省略安装步骤)执行以下命令在用户的主文件夹生成密钥和加入授权
煉心_
·
2020-07-02 00:53
Hadoop
hadoop
伪分布式
运行模式
修改hadoop-env文件配置core-site文件修改hdfs-site文件初始化NameNode(第一次启动需要初始化,以后不需要)./bin/hdfsnamenode-format启动NameNode./sbin/hadoop-daemon.shstartnamenode启动DataNode./sbin/hadoop-daemon.shstartdatanode查看是否启动成功web端查看
chen18677338530
·
2020-07-01 19:54
大数据
flink
伪分布式
搭建及其本地idea测flink连接
下载安装flink:上传压缩包:flink-1.7.2-bin-scala_2.12.tgz解压:tar-zxvf/flink-1.7.2-bin-scala_2.12.tgz-C../hone复制解压文件到子节点:scp-r/home/flink-1.7.2/root@slave1:/home/scp-r/home/flink-1.7.2/root@slave2:/home/修改配置文件:选择一
chaoluo5168
·
2020-07-01 19:38
大数据-运行Hadoop
伪分布式
实例
上面的单机模式,grep例子读取的是本地数据,
伪分布式
读取的则是HDFS上的数据。要使用HDFS,首先需要在HDFS中创建用户目录:.
changhenshui1990
·
2020-07-01 19:27
大数据
Hadoop
伪分布式
安装与配置详解(附脚本)
Hadoop的安装脚本蓝奏云:https://ydfei.lanzous.com/iLgZqd9miheHadoop链接:https://pan.baidu.com/s/1vx2xEGNEK3hQQauOaCJrgQ提取码:cnvu脚本使用方法:要求:1.已安装jdk1.82.hadoop版本为hadoop-2.6.0-cdh5.14.2.tar.gz参数:1.安装目录(Hadoop安装包要在安装
yd、夜
·
2020-07-01 17:50
Hadoop
伪分布式
运行wordcount小例子
原文:http://blog.csdn.net/dr_guo/article/details/50890582先说点小知识hadoopfs使用面最广,可以操作任何文件系统hadoopdfs和hdfsdfs只能操作HDFS相关的在上一篇博客中,我们已经成功启动了HDFS和YARN,接下来先建数据存放目录和结果输出目录[plain]viewplaincopyguo@guo:/opt/Hadoop/ha
如果一切再重来
·
2020-07-01 14:33
Hadoop
Hadoop
伪分布式
模式配置并运行wordcount
Hadoop
伪分布式
模式配置并运行wordcount只有一台虚拟机bigdata128,既是namenode又是datanode。
黑客团长
·
2020-07-01 14:54
hadoop
wordcount
虚拟机
胖虎的Hadoop笔记——Hadoop的
伪分布式
部署
胖虎的Hadoop笔记——Hadoop的
伪分布式
部署本博客用于Hadoop大数据企业课笔记记录。
深度贪玩
·
2020-07-01 12:15
Hadoop
HIVE环境搭建杂交版
windows系统HIVE
伪分布式
1、Hadoop环境配置:环境变量配置:java_home=C:\ProgramFiles\Java\jdk1.8.0_201hadoop_home=D:\hadoop
LEEBELOVED
·
2020-07-01 10:54
SQL
上一页
24
25
26
27
28
29
30
31
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他