E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装
hadoop大数据平台的构建
hadoop默认端口hadoop分布集群搭建前置准备关闭防火墙修改各个节点的主机名修改自己所用节点的IP映射需要在所有节点上完成网络配置时间同步(三台机器均执行)ssh免密(三台主机)zookeeper
hadoop
JeremyHeria
·
2023-01-30 04:27
#
hadoop
大数据
hadoop
big
data
mapreduce
分布式
大数据
Hadoop安装
部署详细介绍
文章目录前言一、创建Hadoop用户二、设置环境变量三、设置local无密码登陆四、修改/etc/hosts主机名和IP地址的映射文件五、设置远程无密码登陆六、每台都关闭机器的防火墙七、jdk安装八、
Hadoop
充电了么
·
2023-01-26 23:55
本地虚拟机集群搭建数据仓库实战
组件目录一.环境准备二.JDK安装三.
Hadoop安装
过程四.Zookeeper安装五.Flume安装六.Kafka安装七.MySQL安装八.Sqoop安装九.Hive安装十.安装ES5.2十一.安装Spark2.4.3
ZhaoHY KeepRunning
·
2023-01-21 09:11
kafka
flink
hadoop
spark
hdfs
Hadoop集群搭建
Hadoop集群简介HDFS集群YARN集群Hadoop部署模式Hadoop集群源码编译安装0.Hadoop源码编译1.集群角色规划2.服务器基础环境准备安装JDK1.8(安装OracleJDK8)3.创建
Hadoop
识途老码
·
2023-01-11 11:20
Hadoop
hadoop
大数据
hdfs
基于Hadoop的hbase安装
使用hbase自带zookeeper,hbase基于本机Hadoop,单机配置(单节点)hadoop2.7.1hbase1.2.7linux
hadoop安装
exportJAVA_HOME="/home/
FireKnight_
·
2023-01-08 17:27
Config
java
hadoop
hbase
zookeeper
HBase分布式集群搭建(zookeeper+hadoop+hbase)超详细!
1.4.13master:namenode、resourcemanager,slave1:secondarynamenode、datanode,slave2:datanode一、Hadoop集群搭建1、
hadoop
程序员进化者
·
2023-01-06 11:40
大数据
hadoop
zookeeper
hbase
《大数据 知识图谱导航》有勇气的牛排
CSDN、公众号、官网均同名可搜,欢迎关注哦✅✅✅文章目录一、hadoop技术栈二、ES三、其他四、报错一、hadoop技术栈安装1、单机版hadoop云平台(伪分布式)搭建统计单词2、Ubuntu伪分布式
hadoop
有勇气的牛排
·
2023-01-05 03:43
云计算大数据虚拟化
hadoop
python
Hadoop安装
部署与测试
主机设置修改主机名:hostnamectlset-hostname查看主机名:hostname防火墙设置查看防火墙状态:systemctlstatusfirewalld关闭防火墙:systemctlstopfirewalld禁用防火墙:systemctldisablefirewalld免密登录设置生成密匙对:ssh-keygen-trsa(一直enter)拷贝密匙对:ssh-copy-idroot
Kox2102
·
2022-12-23 11:26
大数据
hadoop
大数据
mapreduce
Hadoop集群搭建
文章目录前言一、Hadoop概述二、Hadoop特性优点三、Hadoop集群搭建(一)集群简介(二)集群规划(三)解压
Hadoop安装
包(四)编辑配置文件总结前言#博学谷IT学习技术支持#想要了解Hadoop
敲键盘的杰克
·
2022-12-23 03:54
Hadoop
hadoop
大数据
hadoop安装
配置实验报告
Hadoop三种模式安装配置实验报告2.1.Hadoop分布式文件系统(HDFS)Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数
南城以南花似海
·
2022-12-22 16:47
大数据
hadoop实验报告
Hive安装与配置
archive.apache.org/dist/hive/文档网址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual安装前提:3台虚拟机,安装了
Hadoop
Wang·Br
·
2022-12-18 22:12
笔记
bigdata
Spark安装环境准备
Spark安装环境准备操作系统准备Java环境准备Python环境准备Spark安装包下载
Hadoop安装
包下载操作系统准备Spark是运行在JVM上的,JVM是跨平台的,所以Spark可以跨平台运行在各种类型的操作系统上
wux_labs
·
2022-12-14 22:52
#
Spark环境安装
spark
大数据
分布式
Flink1.13.5 SQL与Hive集成开发
flink-shaded-hadoop-2-uber-2.8.3-10.0.jar#Flink与hive集成包flink-sql-connector-hive-2.3.6_2.11-1.13.6.jar#其他依赖包(在
hadoop
大数据研习社
·
2022-12-10 13:21
大数据实战精英+架构师
Flink
hive
hadoop
big
data
零基础小白hadoop分布式集群环境搭建(超详细)
搭建集群所需要安装包虚拟机、ubuntu镜像文件、jdk安装包、
hadoop安装
包百度云盘地址:链接:https://pan.baidu.com/s/1ejVamlrlyoWtJRo1QQqlsA提取码
资料加载中
·
2022-12-08 07:03
Hadoop
spark
机器学习
hadoop
分布式
linux
Hadoop学习笔记——入门教程(虚拟机安装Linux&Hadoop环境搭建配置)
文章目录一、
Hadoop安装
配置文档及注意事项二、Hadoop概述2.1、Hadoop是什么2.2、Hadoop的发展历史2.3、Hadoop三大发行版本2.3.1ApacheHadoop2.3.2ClouderaHadoop2.3.3HortonworksHadoop2.4
姓余的
·
2022-12-03 12:47
BigData_Study
linux
大数据
hadoop
Hadoop大数据技术课程总结2021-2022学年第1学期
文章目录Hadoop大数据技术课程总结1.大数据概述1.1大数据时代的4V1.2大数据时代的三次浪潮1.3大数据时代的技术支撑1.4谷歌的3篇论文1.5Hadoop集群规模1.6
Hadoop安装
过程2.
IT从业者张某某
·
2022-12-01 20:18
big
data
hadoop
Hadoop之伪分布式配置安装
本地模式,在系统中下载Hadoop,默认情况下,它会被配置为一个独立的模式,用于运行Java程序;伪分布式模式,这是在单台机器上的分布式模拟,这种模式对开发非常有用:完全分布式模式,又叫集群安装,
Hadoop
神奇的布欧
·
2022-12-01 13:19
hadoop
分布式
hdfs
Hbase数据库
相关知识在安装HBase之前你需要先安装Hadoop和Zookeeper,如果你还没有安装可以通过这两个实训来学习:
Hadoop安装
与配置,Zookeeper安装与配置。
sandy_zhang123
·
2022-11-29 16:52
云计算
第1关:Hbase数据库的安装
在安装HBase之前你需要先安装Hadoop和Zookeeper,如果你还没有安装可以通过这两个实训来学习:
Hadoop安装
与配置,Zookeeper安装与配置。
是草莓熊吖
·
2022-11-29 16:30
hbase
数据库
hadoop
解压jdk,配置ssh,安装hadoop
hadoop-env.shcore-site.xmlyarn-site.xmlmapred-site.xmlhdfs-site.xml修改系统/etc/profile文件创建并格式化系统文件启动hadoop查看页面
hadoop
木北鲜生
·
2022-11-29 15:16
Hadoop
ubuntu
hadoop
linux
单机安装 hadoop 环境(Hadoop伪分布式安装)
用户完成相关配置,具体部署要求如下:1.关闭虚拟机防火墙2.修改“/etc/hosts”文件,配置IP与主机名映射关系3.配置SSH免密登录4.解压JDK安装包到“/opt/”路径,并配置环境变量5.解压
Hadoop
也曾盛夏倾情
·
2022-11-29 15:39
hadoop
分布式
linux
hadoop安装
(超详细)
本文用到的软件设置固定IP(1)(2)修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33”#修改:ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=static\#添加以下内容IPADDR=192.168.128.130(根据自身情况)NETMASK=255.255.255.0GATEWAY=192.168.128.2DNS1
qq_45947498
·
2022-11-27 19:36
笔记
hadoop
hdfs
大数据
基于Ubuntu的Hadoop伪分布式配置
基于Ubuntu的Hadoop伪分布式配置Hadoop下载
Hadoop安装
视频教程认识HadoopHadoop基本命令HDFSMapReduceHadoop配置HDFS配置和启动core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlHadoop
coffee_mao
·
2022-11-27 12:22
框架
hadoop
分布式
ubuntu
Ubuntu 16.4虚拟机 配置Hadoop集群
Ubuntu16.4配置Hadoop集群总体步骤环境说明虚拟机配置java安装
hadoop安装
与配置克隆虚拟机ssh安装使用,免密登录更改hadoop配置结束语总体步骤1、虚拟机配置2、java安装3、
ws_Ando
·
2022-11-26 00:03
hadoop
ubuntu
linux
Spark大数据分布式处理实战笔记(五):Spark MLlib
有关框架介绍和环境配置可以参考以下内容:1.大数据处理框架Hadoop、Spark介绍2.linux下
Hadoop安装
与环境配置3.linux下Spark安装与环境配置本文的参考配置为:Deepin15.11
大数据之眸
·
2022-11-24 06:18
分布式hadoop 部署
Hadoopmkdir-p/usr/hadoop&&cd/usr/package277/tar-zxvfhadoop-2.7.7.tar.gz-C/usr/hadoop/xsync.sh/usr/hadoop/将
Hadoop
醉卧千山下,诗酒趁年华。
·
2022-11-20 21:47
大数据hadoop
hadoop
分布式
大数据
大数据—人工智能领域高水平会议及热点技术汇总
人工智能技术与咨询安排2022年11月24日-28日线上直播一、大数据概述1.大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.
Hadoop
renhongxia1
·
2022-11-19 18:01
人工智能
迁移学习
深度学习
大数据
人工智能
深度学习
hadoop
Hadoop 入门—hadoop和jdk安装配置
一、通过Xftp把Hadoop和jdk的安装包传到Linux的指定路径/opt/software/二、安装Hadoop和jdk,并指定路径tar-zxvf
hadoop安装
包名-C/opt/module/
下山了小洛
·
2022-11-10 14:15
#Hadoop
hadoop
Linux虚拟机(Centos)安装及配置分布式
Hadoop安装
部署使用
目录一、虚拟机节点的搭建与配置1.1主节点的搭建和配置1.1.1准备工作1.1.2主节点虚拟机基本配置1.1.3安装CentOS6.5虚拟机1.1.4主节点虚拟机网络配置2.1.5安装Java和Hadoop1.2从节点的搭建与配置1.2.1准备工作1.2.2从节点网络配置二、Hadoop主、从节点的配置2.1修改hosts文件,将名称和IP建立联系(图9)2.2设置三个节点互相ssh免密登陆2.3
Youken_tang
·
2022-10-31 15:01
Hadoop分布式大数据
hadoop
大数据
分布式
Hive3详细教程(八)Hive3自定义UDF函数(elipse版)
在Eclipse下以添加jar包形式开发:需要:hadoop-common-3.2.0.jar(在
hadoop安装
文件中)、hive-exec-3.1.2.jar包(在hive安装文件中)项目结构:Java
Java朱老师
·
2022-10-26 07:59
Hive3
hive
hadoop
大数据技术基础实验三:HDFS实验——部署HDFS
2、HDFS的体系结构3、HDFS基本命令四、实验步骤1、完成集群各服务器之间的ssh免密登录配置2、在master服务器上确定存在
hadoop安装
目录3、修改HDFS配置文件4、启动HDFS5、通过查看进程的方式验证
-北天-
·
2022-10-13 07:37
大数据技术基础
大数据
hdfs
hadoop
头歌Educoder——大数据Hadoop开发环境搭建
文章目录第1关:配置开发环境-JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试编程要求实现代码第2关:配置开发环境-
Hadoop安装
与伪分布式集群搭建任务描述相关知识下载Hadoop配置
I'm Jie
·
2022-10-12 10:45
#
头歌Educoder
hadoop
大数据
linux
Hadoop完全分布式集群环境搭建
虚拟机软件:OracleVMVirtualBox客户机操作系统:CentOS-6.8(64位)JDK:1.8(Linux版)SSH连接客户端,如:Xme5Hadoop:2.6.5二、实验步骤(1)在主节点解压
hadoop
独木灬不成林
·
2022-09-27 16:04
Hadoop生态圈
hadoop
hdfs
分布式
hadoop集群两个standby的解决办法
首先你要确定不用ha的时候你的hadoop集群是正常的,不然找错误的方向就偏离了如果都正常,配置HA需要zookeeper,先要看看是不是zookeeper没有配置好的问题如果都正常,在
hadoop安装
目录执行
web13296898218
·
2022-09-11 21:06
java
hadoop
hdfs
大数据
zookeeper
分布式
Hadoop环境快速搭建(伪分布式和完全分布式步骤版)
目录一、初始准备:二、环境搭建:1.修改第二台和第三台主机的IP和主机名2.用Xftp传入JDK和
hadoop安装
包,并安装Ⅰ、先删除centos7上自带的openJDK:Ⅱ、安装JDK并配置JAVA环境
我的思路很明确
·
2022-09-06 19:02
大数据
hadoop
java
大数据
Centos8安装 Hadoop3 详细操作(含图文)
Centos中
Hadoop安装
详细过程(含图文)Hadoop介绍:一、创建hadoop用户二、安装SSH、配置SSH无密码登录三、安装jdk环境四、安装Hadoop3五、配置hadoop环境变量六、Hadoop
何为xl
·
2022-09-06 15:45
Linux
大数据
hadoop
centos
分布式
linux
离线数仓搭建_03_Hadoop的配置与优化测试
点击右下方:专栏目录查看全文文章目录4.2
Hadoop安装
(P30-P47)4.2.1项目经验之HDFS存储多目录(了解)4.2.2集群数据均衡4.2.3项目经验之支持LZO压缩配置4.2.4项目经验之
Fang GL
·
2022-09-05 07:58
#
离线数仓搭建
hadoop
hdfs
大数据
数据仓库
大数据集群环境配置从JDK /Hadoop /zookeeper /Hive /Flume / KafKa /Mysql /Tomcat
文章目录大数据集群配置1.0
Hadoop安装
1.1克隆虚拟机102,103,1041.2伪分布式的测试1.3完全分布式搭建1.4对配置文件进行配置2.0zookeeper安装2.1解压安装2.2文件配置
Fang GL
·
2022-09-05 07:58
#
大数据技术
hadoop
大数据
hbase
一文读懂Hadoop~~~
hadoop总结文章目录hadoop总结1、安装操作1.1、虚拟机配置1.2、安装jdk1.3、
hadoop安装
2、hadoop3、hadoop高可用4、hdfs4.1、hdfs架构4.2、hdfsshell
Provence°_博
·
2022-08-23 14:59
大数据
hadoop
大数据
分布式
DateNode多目录配置
目录中存储了当前hdfs的数据,包括nn和dn,data存放dn数据,name存放nn数据数据均放在一个目录下,配置dataNode多目录:1.停集群myhadoop.shstop2.删除集群上每台服务器的
Hadoop
守猪_待兔
·
2022-08-22 23:31
Hadoop
hdfs
大数据
hadoop
Hadoop(三)
目录日志生成脚本数据采集模块xcall脚本
Hadoop安装
日志生成脚本bin目录里[doudou@hadoop101~]$cdbin/[doudou@hadoop101bin]$lltotal8-rwxrwxrwx
我可以.
·
2022-08-13 22:59
hadoop
java
linux
hadoop安装
1、安装jdk环境安装包如下:链接:https://pan.baidu.com/s/1Y__XyvHJuKlsaBPmBot2qQ?pwd=65we提取码:65we把安装包放入/data/soft,然后解压tar-zxvfjdk-8u202-linux-x64.tar配置环境变量JAVA_HOMEvi/etc/profile后在文件中添加exportJAVA_HOME=/data/soft/jdk
李大寶
·
2022-08-13 12:24
大数据
java
服务器
开发语言
sqoop-使用文档
文档主页Sqoop用户指南(v1.4.7)Sqoop用户指南(v1.4.7)目录一、简介2.支持的版本3.Sqoop发布4.先决条件5.基本用法6.Sqoop工具6.1.使用命令别名6.2.控制
Hadoop
果不其燃
·
2022-08-01 07:20
sqoop
(七)Hadoop 3.3.0学习——HDFS
一、准备工作1.环境配置1.1解压
hadoop安装
包在服务器的/usr/local/hadoop目录下进行解压tar-zxvfhadoop-3.3.0.tar.gz1.2配置环境变量1.2.1配置hadoop
郭建華
·
2022-07-14 15:13
大数据技术栈
hadoop
hdfs
Centos hadoop-2.7.7安装
安装过程参考了林子雨教程
Hadoop安装
教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客(xmu.edu.cn)http://dblab.xmu.edu.cn/blog
嘻水流年
·
2022-07-13 13:28
虚拟机
hadoop
centos
大数据
2.2 Apache Hadoop、HDFS - Apache Hadoop集群搭建
集群整体概述思考Hadoop集群简介二、Hadoop集群模式安装(Clustermode)思路Hadoop源码编译Step1:集群角色规划Step2:服务器基础环境准备Step3:上传安装包、解压安装包Step4:
Hadoop
周纠纠
·
2022-07-13 13:57
#
大数据Hadoop入门
hadoop
Linux下
Hadoop安装
与Hadoop-eclipse-plugin的编译
Linux下Hadoop的安装与Hadoop-eclipse-plugin的编译一、安装JDK将压缩包解压并配置环境变量命令行:sudovim~/.bashrc在文件中添加:exportJAVA_HOME=/usr/lib/jvm/jdk-14.0.1(建议用1.8的)exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jare
TAKHEXI
·
2022-07-13 13:57
Hadoop
linux
hadoop
hadoop安装
实验总结Linux,
Hadoop安装
总结
安装JDK1、下载jdk1.6及以上版本,在/usr下安装chmodu+xjdk-6u26-linux-i586.bin./jdk-6u26-linux-i586.bin2、配置环境变量vi/etc/profile找到如下代码:foriin/etc/profile.d/*.sh;doif[-r"$i"];then.$ifidone在之后加入:#javaconfigJAVA_HOME=/usr/jd
weixin_39548740
·
2022-07-03 13:00
hadoop安装
使用总结
hadoop安装
版本:2.7.1jdk版本:jdk1.7.80-x641.linux操作a)设置网络网络重启:servicenetworkrestartip地址查看:ifconfigb)防火墙操作关闭防火墙
懒懒的小明
·
2022-07-03 13:30
自学笔记---大数据相关
hadoop
linux
大数据
java
centos
PySpark与GraphFrames的安装与使用环境搭建过程
目录PySpark环境搭建配置
hadoop安装
pyspark与Javagraphframes安装使用方法启动spark并读取数据启动hive支持Spark的DataFrame与RDDDataFrame的基础
·
2022-06-29 18:36
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他