E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装
大数据学习——win环境下
hadoop安装
教程
程序开发往往在win环境下完成,对于需要linux环境的技术栈学习往往借助于虚拟机。但是在学习和测试hadoop生态技术组件时,这东西是真的很吃内存,本地安装的虚拟机很难提供足够的资源让hadoop平稳运行。以下记录在windows下安装hadoop的过程。hadoop在windows下运行需要对bin和etc路径下的可执行文件和配置文件进行调整,来兼容win运行环境。下载一个合适的兼容win的h
祁峰sunny
·
2019-07-19 14:11
Hadoop编程——Elasticsearch for Apache Hadoop从HDFS导入数据到Elasticsearch
Hadoop编程——从HDFS导入数据到Elasticsearch一、ElasticsearchforApache
Hadoop安装
1.1官网下载zip安装包1.2maven方式下载1.3将ES-hadoop
1-只小猴子
·
2019-07-18 15:51
JAVA
elasticsearch
大数据
Linux
小象Hadoop
Hadoop集群搭建---step3(hadoop三种架构介绍(standAlone,伪分布,分布式安装以及环境搭建)
每个版本的Hadoop都提供三种集群搭建架构,一种是将
Hadoop安装
在一台机器下的称之为StandAlone环境;一种是将
Hadoop安装
在多台机器下的(
myblog_tfq
·
2019-07-18 11:16
big
data
Hadoop安装
目录
/root/software/hadoop-2.6.0-cdh5.15.1/etc/hadoop第一步骤vicore-site.xmlfs.defaultFShdfs://hadoop000:8020hadoop.tmp.dir/data/hadoop_repo第二步骤dfs.replication1hadoop.tmp.dir/root/software/tmp第三步骤第四步骤[root@had
伟伟哦
·
2019-07-15 18:13
Hadoop
Hadoop基础知识面试题整理
1)安装JDK并配置环境变量(/etc/profile)2)关闭防火墙3)配置hosts文件,方便hadoop通过主机名访问(/etc/hosts)4)设置ssh免密码登录5)解压缩
hadoop安装
包,
bobo79888
·
2019-07-15 11:58
大数据
大数据学习
大数据开发
大数据入门
人工智能
【实战演练】大数据系列01-
Hadoop安装
&使用MapReduce实现单词统计
1、环境准备1.1、安装CentOS71.2、安装JDK7tar -zxvf jdk-8u211-linux-x64.tar.gzmkdir /usr/java/mv jdk1.8.0_211/ /usr/java/jdk18alternatives --install /usr/bin/java java /usr/java/jdk18/bin/java 2#配置JAVA环境变量(由于openj
繁星亮
·
2019-07-13 23:42
实战演练
大数据分析
大数据
大数据
笔记-hadoop本地模式、伪分布式、分布式的搭建
目录hadoop运行环境搭建VM虚拟机安装centos,Linux系统配置安装Java和hadoopJAVA安装
Hadoop安装
hadoop本地模式本地模式grep案例本地模式Wordcount案例hadoop
liu_1221
·
2019-07-11 20:41
笔记-hadoop
Hadoop安装
与配置
大数据介绍大数据的由来大数据随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快,随着互联网、物联网建设的加快,信息更是爆炸是增长,收集、检索、统计这些信息越发困难,必须使用新的技术来解决这些问题什么是大数据大数据的定义大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力
J.Reno
·
2019-06-21 20:40
云计算
Linux云计算
Eclipse与Linux—Hadoop(伪分布式)连接
在用户变量上配置或者在系统变量上配置都可以我一般都是在系统变量上配置首先新建系统变量变量值是自己的
hadoop安装
包位置,不要带有中文路径。
大大怪啊
·
2019-06-13 20:23
Eclipse
Eclipse与Linux—Hadoop(伪分布式)连接
在用户变量上配置或者在系统变量上配置都可以我一般都是在系统变量上配置首先新建系统变量变量值是自己的
hadoop安装
包位置,不要带有中文路径。
大大怪啊
·
2019-06-13 20:23
Eclipse
w-hadoop02
答:第一题:1使用root账户登录2修改IP3修改host主机名4配置SSH免密码登录5关闭防火墙6安装JDK6解压
hadoop安装
包7配置hadoop的核心文件hadoop-env.sh,core-site.xml
Rudolf__
·
2019-06-06 18:51
hadoop
hadoop
Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?
Hadoop安装
时ssh如何配置?
行路者-慢慢来
·
2019-06-04 11:36
大数据
Hadoop安装
与配置
概述:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。本文主要讲述CentOS6.5下Hadoop3.x的单机模式的安装过程,在安装前需要安装JDK1.81、下载Hadoop-3.1.22、上传文件scphadoop-3.1.2.tar.gzroot@hadoop:~/software3
JeeThink
·
2019-06-03 20:00
win7 安装spark环境
hadoop下载解压解压后启动进入spark-shell交互环境出现找不到winutils去https://github.com/steveloughran/winutils下载将winutils替换到
hadoop
Ebaugh
·
2019-06-01 20:03
spark
Hadoop+Hbase+Zookeeper分布式存储构建
目录:软件准备
Hadoop安装
配置zookeeper安装配置Hbase安装配置Hadoop+Hbase+zookeeper分布式存储构建前言*Hadoop是Apache开源组织的一个分布式计算开源框架,
走路带风的帅界扛把子
·
2019-05-31 17:00
05 测试hadoop自带词频统计demo
1系统、环境和约束条件在CentOS7中安装hadoop并启动,作者的
hadoop安装
目录在/r
张力的程序园
·
2019-05-30 12:02
centos7 hbase2.1.3 安装
archive.apache.org/dist/hbase/2.1.3/hbase-2.1.3-bin.tar.gz二、前置条件1.安装jdk8需要安装好jdk8,安装方法参考centos7jdk8安装2.安装
hadoop
O_vv_O
·
2019-05-24 17:15
hadoop和hive单机部署
hadoop和hive单机部署本文
hadoop安装
的是Hadoop-2.6.0-cdh5.7.0版本,hive是hive-1.1.0-cdh5.7.0版本1.
hadoop安装
1.1jdk安装jdk的安装包在
丿灬逐风
·
2019-05-20 18:53
hadoop
Hadoop安装
教程——基于Ubuntu16.04的Hadoop2.6.5的配置
Hadoop安装
教程——基于Ubuntu16.04的Hadoop2.6.5的配置本教程适合于原生Hadoop2,包括Hadoop2.6.0,Hadoop2.7.1等版本环境本教程使用Ubuntu16.0464
nuancolor
·
2019-05-19 16:27
Hadoop
Hadoop-2.7.5 + Spark-2.2.0分布式集群搭建过程(1)
2.1安装并验证SSH2.2设置ssh免密登录三、设置主机名和IP地址的对应关系3.1修改主机名称3.2配置host3.3三台服务器间SSH免密登陆四、Rsync安装配置五、搭建Hadoop集群5.1.
hadoop
Hi-Cloud
·
2019-05-14 11:57
BigData
hadoop的安装和配置
hadoop安装
在ApacheHadoop主页的下载页面https://hadoop.apache.org/releases.html选择版本进行下载:下载下来的是压缩包:将压缩包使用Xftp上传hadoop
Dcl_Snow
·
2019-05-07 14:00
Hadoop安装
环境ubuntu18+hadoop2.7.7+jdk1.8准备版本选择根据HadoopHBaseJAVA版本兼容情况,推荐安装Hadoop-2.7.1+与Java1.8安装java,并添加环境变量添加PPA仓库(这是OpenJdk8PPA仓库)sudoadd-apt-repositoryppa:openjdk-r/ppasudoapt-getupdatesudoapt-getinstallopen
灬海棠花开
·
2019-05-04 17:10
大数据
Hive2.1.1安装
2安装Hadoop请参照
hadoop安装
步骤。
duanpeng198738
·
2019-05-04 11:17
Hive
安装
Hive
windows配置hadoop 2.x Hadoop-eclipse-plugin插件远程操作hadoop
一、环境搭建首先是复制集群上已经部署好的
hadoop安装
目录到windows本地,具体放在哪里自己决定。之后配置环境变量H
ASN_forever
·
2019-05-03 08:24
hadoop
hadoop面试题
答:第一题:1使用root账户登录2修改IP3修改host主机名4配置SSH免密码登录5关闭防火墙6安装JDK6解压
hadoop安装
包7配置hadoop的核心文件hadoop-env.sh,core-site.xml
@进行中
·
2019-04-29 14:33
hadoop面试题
【解决】slave机器上的NodeManager启动一段时间之后自动结束
问题如题,查看hadoop/logs下nodemanager的日志(日志位置:
hadoop安装
目录/logs/yarn-root-nodemanager-slave1.log)描述如下:java.net.ConnectException
草莓味的风
·
2019-04-29 13:02
hadoop
Apache Flink-下载
article/details/83012648下载最新版本 (v1.6.1)二进制源码版本信息验证哈希和签名Maven依赖旧版本更新策略所有文档版本快照 (NightlyBuilds)最新稳定版本是1.6.1,
hadoop
Running-小猛
·
2019-04-22 00:00
Flink
cdh编译安装支持各种压缩格式
在安装CDH版本的hadoop的时候,我们下载下来的CDH的
hadoop安装
包中,并没有native包,不支持各个任务阶段的压缩功能,但在生产任务中是必须要支持压缩功能的,所以要对CDH进行编译以支持压缩功能
bigdata_lzw
·
2019-04-18 11:29
hadoop编译
Hadoop
Hadoop安装
环境2.x
【环境安装Centos7】Hadoop2.x0.Hadoop源码包下载http://mirror.bit.edu.cn/apache/hadoop/common1.集群环境Master192.168.10.10Slave1192.168.10.11Slave2192.168.10.122.下载安装包#Mastercd/usr/local/src/wgethttp://mirror.bit.edu.
Honour_Li
·
2019-04-14 16:38
大数据
集群搭建Hadoop
在master节点启动hdfs
启动方式我们执行
hadoop安装
目录下的sbin/xxx-xxx.sh#各服务组件逐一启动:hdfshadoop-daemon.shstart|stopnamen
stephen@
·
2019-04-11 20:57
基础
Hadoop集群
Hadoop
linux环境不使用
hadoop安装
单机版spark的方法
大数据持续升温,不熟悉几个大数据组件,连装逼的口头禅都没有。最起码,你要会说个hadoop,hdfs,mapreduce,yarn,kafka,spark,zookeeper,neo4j吧,这些都是装逼的必备技能。关于spark的详细介绍,网上一大堆,搜搜便是,下面,我们来说单机版的spark的安装和简要使用。0.安装jdk,由于我的机器上之前已经有了jdk,所以这一步我可以省掉。jdk已经是很俗
stpeace
·
2019-04-03 11:49
Hadoop03【搭建环境准备】
一、环境准备1.jdk
hadoop安装
前必须要安装好jdk环境,版本最好用jdk8。
波波烤鸭
·
2019-03-31 22:09
hadoop
环境准备
大数据专栏
hadoop集群搭建--完全分布式
目录一、hadoop完全分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和
hadoop安装
VMwaretools设置共享文件夹3.安装jdk和hadoop解压jdk和hadoop
MengShi_
·
2019-03-28 20:38
hadoop集群搭建--单节点(本地节点)
多出的东西是为搭建伪分布和完全分布用目录一、hadoop单节点二、准备工作操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和
hadoop安装
VMwaretools设置共享文件夹3.安装
MengShi_
·
2019-03-28 17:18
Mac上搭建Hadoop环境(2) — Hadoop下载及安装
文章目录前言下载
hadoop安装
hadoop配置hadoophadoop-env.shyarn-env.shslaves更新*.xml配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml
Lestat.Z.
·
2019-03-24 10:49
MacOS
Hadoop
Eco.
hadoop集群两个standby的解决办法
首先你要确定不用ha的时候你的hadoop集群是正常的,不然找错误的方向就偏离了如果都正常,配置HA需要zookeeper,先要看看是不是zookeeper没有配置好的问题如果都正常,在
hadoop安装
目录执行
我拿Buff,谢谢
·
2019-03-24 00:00
hadoop
七、GP安装-搭建hadoop环境
一、安装hadoop客户端在master节点,上传
hadoop安装
包到/opt/greenplum目录,hadoop客户端的版本根据hadoop集群版本而定,执行如下命令进行解压:tar-xvzfhadoop
荷籽花结
·
2019-03-20 19:43
greenplum
Hive笔记2-安装部署
参考资料:学习Hadoop3.0一、Hadoop3.0的安装与配置
hadoop安装
和配置hadoop详细安装及配置Hadoop:SettingupaSingleNodeCluster安装hadoop3.0
Fighting_No1
·
2019-03-20 15:33
大数据
Hadoop-Spark之路01_集群的安装和部署
一、前期准备环境:一台Linux系统的虚拟机(有更多的就更好了,没有的话一台也可以演示)
Hadoop安装
包:版本3.1.2下载地址(清华的镜像):http
KanadeM
·
2019-03-19 21:08
06_Hadoop
Linux CentOS7安装Hadoop3.2
首先,参考安装博客为:
Hadoop安装
不过,在安装的时候还是遇到了一些问题。
miss_fang999
·
2019-03-18 16:15
大数据
Hadoop学习心得整理(环境搭建与使用)
准备环境:三台虚拟机,
hadoop安装
包,JDK1.8。
小小抄写员
·
2019-03-18 11:52
学习
Hadoop安装
部署
CDH5.15.0版本文档:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0/采用完全分布式的安装方式,使用系统为CentOS6.1064bit官方发行版,Hadoop使用hadoop-2.6.0-cdh5.15.1.tar.gz版本(点击即可下载,官网链接请放心使用),使用VMwareWorkstation搭建虚拟机,集群
HSJ_knight
·
2019-03-17 15:59
大数据技术
快速搭建 HDFS 系统(超详细版)
文章目录节点介绍开始搭建HDFS系统基础环境变量配置第1步:解压
Hadoop安装
包第2步:配置Hadoop的Java运行环境第3步:在Linux中配置Hadoop环境变量设置SSH免密码登录配置HDFS
CG国斌
·
2019-03-15 19:31
工具及其它
hadoop 集群配置
hdfs指定hdfs的namenode节点为哪台机器指定namenode软件存储元数据的本地目录指定datanode软件存放文件块的本地目录1.修改配置文件hadoop的配置文件在:/root/apps/
hadoop
Claroja
·
2019-03-14 20:42
hadoop
spark在windows10下的安装教程
Spark环境搭建安装步骤分为java,hadoop,scala和spark四步,其中java和hadoop在上一个环境配置中已经安装完毕,Win10下的
Hadoop安装
及简单操作,因此只需要安装scala
Coding_Ann
·
2019-03-12 17:01
Spark
spark在windows10下的安装教程
Spark环境搭建安装步骤分为java,hadoop,scala和spark四步,其中java和hadoop在上一个环境配置中已经安装完毕,Win10下的
Hadoop安装
及简单操作,因此只需要安装scala
Coding_Ann
·
2019-03-12 17:01
Spark
MapReduce几种提交方式
本地模式运行1.在Windows里的IDE直接运行main方法,会将job提交给本地执行器localjobrunner执行---本地存放
Hadoop安装
包---输入输出数据可以放在本地路径下(c:/wc
Rest探路者
·
2019-03-11 09:00
Hadoop安装
包目录结构详解
我们以hadoop-2.9.2.tar.gz为例。解压到指定目录tar-zxvfhadoop-2.9.2.tar.gz-C/opt通过查看得到如下目录结构总图[
[email protected]
]#lldrwxr-xr-x.2501dialout409611月1323:15bindrwxr-xr-x.3501dialout1911月1323:15etcdrwxr-xr-x.2501di
henrrywan
·
2019-03-08 15:36
Hadoop
window环境运行hadoop
首先下载
hadoop安装
包到本地,需要你的电脑已经安装并配置过jdk安装包以及依赖下载地址:https://download.csdn.net/download/kahhy/10997785解压之后需要在本地配置
蓝-锋
·
2019-03-05 16:32
hadoop学习笔记之配置、三种模式配置及区别
目录JDK、
Hadoop安装
、配置本地模式(standaloneoperation)配置实例1实例2伪分布式模式配置本地运行YARN上运行三种模式区别单机模式伪分布式模式完全分布式模式JDK、
Hadoop
Dilly__dally
·
2019-03-02 02:48
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他