E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop安装
【Hadoop】完全分布式安装
前言进入主界面:一个主结点,两个从结点一、集群搭建之主节点1、下载安装包及测试文档2、安装JavaJDK3、
Hadoop安装
4、修改hosts文件5、创建数据文件夹6、修改hadoophadoop-env.sh
Mr-Hunter
·
2020-06-25 19:56
云计算/大数据
CentOS7 + Hadoop 3.2.0集群搭建
目录集群规划准备工作
Hadoop安装
主节点配置相关从节点配置相关启动集群web端监控集群规划节省机器的规划架构清晰的规划分析之后,学习阶段决定采用第一种集群规划,节省机器与资源。
Chungchinkei
·
2020-06-25 15:52
大数据
02_在window环境开发hadoop_HDFS
1.在window环境开发HDFS(文件)1.1.导入jar包i.解压
hadoop安装
包ii.导入/share/hadoop/common/Hadoop-common-2.8.5.jar以及依赖包lib
会摄影的程序员
·
2020-06-25 15:35
Spark+Hadoop集群搭建:(一)单一节点上搭建Hadoop环境
Spark+Hadoop集群搭建:(一)单一节点上搭建Hadoop环境1安装JDK2下载安装Hadoop2.1下载Hadoop2.2解压2.3配置Hadoop环境变量2.3.1设置JDK与
Hadoop安装
路径
闻曦
·
2020-06-25 14:38
大数据平台
hadoop
HA
hadoop安装
core-site.xmlfs.defaultFShdfs://hostname默认主节点io.native.lib.availabletrue本地库文件生效hadoop.tmp.dir
发条香蕉
·
2020-06-25 14:18
hadoop大数据平台搭建
大数据平台搭建大数据平台搭建虚拟机环境准备修改ip,映射IP地址ssh无密码通信同步时间关闭防火墙安装jdkhadoop平台正式搭建安装
hadoop安装
kafka安装spark大数据平台搭建zookeeper
@~~~~小飞
·
2020-06-25 12:53
hadoop
linux下
Hadoop安装
与环境配置
注:本文采用的Linux环境为deepin15.11系统(是由武汉深之度科技有限公司开发的颜值极高的Linux发行版),以下命令经测试Ubuntu18.04版本同样适用。linux安装可采用虚拟机安装、单系统安装、双系统安装等多种方式,自行百度。在linux下首先更新apt包:sudo apt-get update安装SSHserver:sudoapt-getinstallopenssh-serv
大数据之眸
·
2020-06-25 12:57
教程
Spark大数据分布式处理实战笔记(一):快速开始
有关框架介绍和环境配置可以参考以下内容:1.大数据处理框架Hadoop、Spark介绍2.linux下
Hadoop安装
与环境配置3.linux下Spark安装与环境配置本文的参考配置为:Deepin15.11
大数据之眸
·
2020-06-25 12:56
Spark
Spark大数据分布式处理实战笔记(二):RDD、共享变量
有关框架介绍和环境配置可以参考以下内容:1.大数据处理框架Hadoop、Spark介绍2.linux下
Hadoop安装
与环境配置3.linux下Spark安装与环境配置本文的参考配置为:Deepin15.11
大数据之眸
·
2020-06-25 12:56
Spark
Spark大数据分布式处理实战笔记(四):Spark Streaming
有关框架介绍和环境配置可以参考以下内容:1.大数据处理框架Hadoop、Spark介绍2.linux下
Hadoop安装
与环境配置3.linux下Spark安装与环境配置本文的参考配置为:Deepin15.11
大数据之眸
·
2020-06-25 12:56
Spark
Spark大数据分布式处理实战笔记(三):Spark SQL
有关框架介绍和环境配置可以参考以下内容:1.大数据处理框架Hadoop、Spark介绍2.linux下
Hadoop安装
与环境配置3.linux下Spark安装与环境配置本文的参考配置为:Deepin15.11
大数据之眸
·
2020-06-25 12:56
Spark
Flume采集日志信息到HDFS中
搭建步骤如下链接:https://blog.csdn.net/qq_31987649/article/details/850378331.2启动hadoop只需要启动Master主节点上的hadoop
hadoop
一只小菜鸡
·
2020-06-25 05:24
flume
Windows+Docker+Hadoop的部署完整教程(二)hadoop分布式系统部署
一、
hadoop安装
hadoop-2.7.5的安装包我们已经
会飞的神行太保
·
2020-06-25 03:40
【学习笔记】用Hadoop在MapReduce中WordCount简单程序运行详细流程
1、首先在电脑上安装配置Hadoop环境具体的环境配置可以参考我上传的文档:
Hadoop安装
手册Hadoop-2.5.2:http://download.csdn.net/download/m0_37885286
宝蓓
·
2020-06-24 12:02
自学
MapReduce
hadoop
大数据数据分析
整体过程
Mac下安装Hadoop 3.0 (防坑)
安装步骤(因为懒不想写详细步骤,称不上教程,就叫做步骤吧)下载Hadoop官网下载链接:http://mirror.bit.edu.cn/apache/hadoop/common/2.参考官网教程官网单机版
Hadoop
lvyefenglin
·
2020-06-24 10:02
Hadoop
大数据
数据挖掘
安装java和hadoop的过程以及配置环境变量
local目录下,解压安装命令:tar-xzvfjdk-7u79-linux-x64.tar.gz将解压后的文件夹重命名为java,命令如下:mvjava1.7.79java安装HADOOP:下载64位
hadoop
般特
·
2020-06-24 08:57
hadoop
Java
Linux
hadoop的安装与配置方法详解
1、概述
Hadoop安装
分为三种方式,分别为单机、伪分布式、完全分布式,安装过程不难,在此主要详细叙述完全分布式的安装配置过程,毕竟生产环境都使用的完全分布式,前两者作为学习和研究使用。
kingice1014
·
2020-06-24 01:17
CentOS7-64bit 编译 Hadoop-2.7.4,并伪分布式安装
1.安装环境说明本机操作系统macOSSierra10.12.6采用的虚拟机VirtualBox5.1.28虚拟机镜像CentOS764bit2.为什么要编译因为我们从官方下载的
Hadoop安装
压缩包(
Micheal_Yan
·
2020-06-23 23:45
大数据应用技术课程实践--选题与实践方案
安装Linux操作系统安装关系型数据库MySQL安装大数据处理框架
Hadoop安装
数据仓库Hive安装Sqoop安装Eclipse安装Spark对文本文件形式的原始数据集进行预处理把文本文
Drew,
·
2020-06-23 21:00
大数据应用----001
三、实践任务分解安装Linux操作系统安装关系型数据库MySQL安装大数据处理框架
Hadoop安装
数据仓库Hive安装Sqoop安装Eclipse安装Spark对文本文件形式的原始数据集进行预处理
zzzkai
·
2020-06-23 19:00
新闻日志实时分析项目
文章目录第一章:案例需求分析与设计1.案例需求分析2.系统架构设计3.系统数据流程设计4.集群资源规划设计第二章:linux环境准备第三章:hadoop集群搭建1.
Hadoop安装
及配置第四章:zookeeper
iimpact
·
2020-06-23 17:10
使用Hadoop自带的例子wordcount实现词频统计
具体步骤如下:1.启动Hadoop切换到
Hadoop安装
目录下的sbin目录下执行./start-all.sh命令或执行./start-dfs.sh和.
godadream
·
2020-06-23 10:40
Linux
使用Hadoop自带的例子pi计算圆周率
具体步骤如下:1.启动Hadoop切换到
Hadoop安装
目录下的sbin目录下执行./start-all.sh命令或执行./start-dfs.sh和./
godadream
·
2020-06-23 10:40
Linux
pi
圆周率
Hadoop
大数据串讲-从日志文件分析访问量最高的10个接口及响应访问量
安装软件
Hadoop安装
Hadoop2.6.1参考:http://www.powerxing.com/install-hadoop/Hive安装Hive2.1.1参考:https://my.oschina.net
fight4gold
·
2020-06-23 08:14
大数据
Hadoop安装
教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
环境本教程使用Ubuntu14.0464位作为系统环境(Ubuntu12.04也行,32位、64位均可),请自行安装系统(可参考使用VirtualBox安装Ubuntu)。如果用的是CentOS/RedHat系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。本教程基于原生Hadoop2,在Hadoop2.6.0(stable)版本下验证通过,可适合任何Hadoop2.x.y版本
汪酱0110
·
2020-06-23 02:34
大数据运维文档
大数据运维文档一hadoop相关运维1系统环境由于机器安装时,硬盘挂在不同,所以
hadoop安装
路径可能不同。默认hadoop相关集群项目路径在/app目录下。
ciqingloveless
·
2020-06-22 23:17
hadoop
DK
hadoop安装
配置步骤教程与常见问题解决
今天分享的是DK
Hadoop安装
以及常见问题的解决方案方法介绍。
左手中的倒影
·
2020-06-22 23:03
大快搜索DKM大数据运维管理平台深度解析
之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dk
hadoop安装
包,不知道有没有去下载安装一探究竟。
adnb34g
·
2020-06-22 12:48
hadoop
Linux学习--Hadoop快速入门
Hadoop安装
1.安装前提JavaTM1.5.x,必须安装,建议选择Sun公司发行的Java版本。ssh必须安装并且保证sshd一直运行,以便用Hadoop脚本管理远端Hadoop守护进程。
Uponz
·
2020-06-22 07:05
Linux
Hadoop+Kylin集群部署过程和问题
一.
Hadoop安装
初始化工作版本:hadoop:2.7.1hbase:1.3.1hive:2.3.0kylin:2.0.0jdk:1.8.01.新建用户和组>groupaddhadoop>useradd-d
Cloud_Leung
·
2020-06-22 06:01
java
hadoop 参考
尽管安装其实很简单,书上有写到,官方网站也有
Hadoop安装
配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。
承接各种编程私活
·
2020-06-22 05:36
Hadoop
云服务器下Spark安装配置
文章目录Spark安装配置安装配置java安装配置
hadoop安装
配置scala安装配置spark验证是否成功Spark安装配置安装配置javaSpark本身是用Scala写的,运行在Java虚拟机(JVM
No_Game_No_Life_
·
2020-06-22 02:10
分布式架构
Hadoop安装
教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0
Hadoop安装
教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。
LLy_Alex
·
2020-06-21 23:08
大数据常见面试题总结
Hadoop部分1.
Hadoop安装
步骤?
AA赵师傅
·
2020-06-21 15:19
hadoop介绍
Hadoop安装
配置SSH免密登录ssh-keygen-trsacat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keyschmod0600~/.ssh/authorized_keyssshlocalhost验证免密登录是否配置成功安装JavaJava是Hadoop的先决条件。使用java-version命令验证是否已安装了Java。java-version如果已经安装了,会显示Ja
追风de蜗牛
·
2020-06-21 10:50
Spark大数据分布式机器学习处理实战
有关框架介绍和环境配置可以参考以下内容:大数据处理框架Hadoop、Spark介绍linux下
Hadoop安装
与环境配置linux下Spark安装与环境配置本文的参考配置为:Deepin15.11、Java1.8.0
大数据之眸
·
2020-06-21 05:06
Spark
Spark大数据分布式图计算处理实战
有关框架介绍和环境配置可以参考以下内容:大数据处理框架Hadoop、Spark介绍linux下
Hadoop安装
与环境配置linux下Spark安装与环境配置本文的参考配置为:Deepin15.11、Java1.8.0
大数据之眸
·
2020-06-21 05:06
Spark
大数据学习02之基于vbox 6.0搭建ubuntu 18.04伪分布式Hadoop 2.9.2集群
目录概要说明下载
hadoop安装
hadoop启动hadoop集群参考资料概要说明先看下效果HDFS管理界面Yarn管理界面在上一篇博客大数据学习01之基于vbox6.0搭建ubuntu18.04伪集群的基础上安装伪分布式
moble_xie
·
2020-06-21 03:04
大数据
windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境
一、环境准备1、JDK2、
Hadoop安装
包官网:https://archive.apache.org/dist/hadoop/common/https://mirrors.tuna.tsinghua.edu.cn
liutietuo
·
2020-06-21 03:41
hbase
hadoop
hbase
配置
使用Kylin构建企业大数据分析平台的4种部署方式
你只需要根据的环境下载适合的Kylin安装包,选择一个Hadoop节点部署即可,Kylin使用标准的HadoopAPI跟各个组件进行通信,不需要对现有的
Hadoop安装
额外的Agent。
anyingpou5339
·
2020-06-20 23:21
centos7 搭建hadoop-3.2.1 nameNode HA with QJM & resourceManage HA
node04****环境准备先安装一台虚拟机配置静态ip见centos7配置静态ip修改主机名见linux修改hostname安装jdk见centos7安装java关闭防火墙见centos7关闭防火墙下载
hadoop
凉二爸爸
·
2020-06-14 22:08
Hadoop 安装(详细步骤)
前期操作下载
hadoop安装
包至安装目录安装目录:/opthadoop版本:hadoop-2.6.0-cdh5.14.2.tar.gz解压安装包至软件目录(最好更名,以便之后方便配置文件)tar-zxfhadoop
姑苏过客
·
2020-06-01 15:21
Hadoop
Hadoop安装
,HBase安装和常用命令使用
HBase是一个分布式的数据库主要作用:海量数据的存储和海量数据的准实时查询1、HBase安装说明JDK1.7以上(JDK安装这里不作介绍)Hadoop-2.5.0以上。我这里用的是Hadoop2.6Zookeeper-3.4.*以上。我这里是Zookeeper-3.4.13参考:Linux下Zookeeper的下载、安装和启动2、Hadoop2.6安装因为HBase依赖于HDFS,所以先安装Ha
work hard work smart
·
2020-05-30 15:00
Hadoop安装
及WordCount运行
决定参照这个教程来安装https://blog.csdn.net/zp8126/article/details/78249741CentOS6.5+JDK1.8环境,用MobaXterm_v11.1操作1.首先检查jdk安装情况2.下载hadoop(hadoop版本选择?)使用rz上传命令找不到的话要先下载,下面是成功了MobaXterm使用rzhttps://blog.csdn.net/kq19
ifiwereaboy
·
2020-05-27 13:00
使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业
VirtualBox6.1IntelliJIDEA2020.1.1Ubuntu-18.04.4-live-server-amd64jdk-8u251-linux-x64hadoop-2.7.7安装伪分布式
Hadoop
harrylyx
·
2020-05-14 15:00
最详细的
Hadoop安装
教程
最详细的
Hadoop安装
教程前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。
大火yzs
·
2020-04-15 13:05
hadoop
Hive-hive安装(二)
htmlHive的下载下载地址:http://mirrors.hust.edu.cn/apache/选择合适的Hive版本进行下载,进到stable-2文件夹可以看到稳定的2.x的版本是2.3.3安装
hadoop
Lucky_Gao
·
2020-04-10 14:33
Hadoop之HDFS的Java实现
1.写在前面的话以下说明中的配置其实在
Hadoop安装
与集群配置中已经配置,在此只是重点说明之!
landy8530
·
2020-04-10 08:35
Mac下安装Hadoop(转)
运行所有的东西在无后台的单独的JVM中,这种模式适合在开发阶段测试与DebugMapReduce程序伪分布式Hadoop做为后台应用运行在本地机器,模拟小集群全分布式Hadoop做为后台应用运行真实的集群电脑中
Hadoop
hikaty
·
2020-04-08 11:31
Hadoop基本知识点之HDFS
自上一篇文章《
Hadoop安装
与集群配置》之后,需要对hadoop的一些基础知识进行一些总结。此文为HDFS相关的知识点总结。
landy8530
·
2020-04-07 11:49
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他