E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
集群搭建Hadoop
apache
hadoop
2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作需要,要开始搞
hadoop
了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。
夜魔009
·
2024-02-03 00:56
技术
windows8
hadoop
64bit
库
hdfs
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
vim/etc/hostnamexdso-
hadoop
-test-001vim/etc/hosts192.168.50.60xdso-
hadoop
-test-001192.168.50.61xdso-ha
宇智波云
·
2024-02-03 00:15
大数据项目
大数据
搭建
hadoop
单机环境
hadoop
笔记sbin:一些启动脚本【服务端的serverbin】logs:存放
hadoop
相关日志bin:客户端的脚本etc:
hadoop
相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion
·
2024-02-02 23:12
hadoop
hadoop
hdfs
大数据
Hadoop
单机环境搭建
Hadoop
单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压
Hadoop
五、配置
Hadoop
环境变量六、修改
Hadoop
配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰
·
2024-02-02 23:42
Hadoop
hadoop
大数据
docker搭建单机
hadoop
docker搭建单机
hadoop
前言一、docker是什么?二、
hadoop
是什么?
阿桔是只猫
·
2024-02-02 23:41
大数据
hadoop
docker
大数据
手把手教
Hadoop
环境搭建,学不会你咬我~
之前后台小伙伴私信我想了解
hadoop
的单机环境安装,以方便用于
hadoop
学习,今天给大家安排上了,废话不多说,直接上干货。
程序IT圈
·
2024-02-02 23:11
hadoop
jdk
linux
centos
hdfs
hadoop
单机模式搭建
1.新建虚拟机给虚拟机命名,选择存放路径接着指定磁盘大小,因为我们不止搭建单机模式还要搭建伪分布模式,这里我们选择80G这里会看到创建虚拟机完成,我们点击自定义硬件,选择合适的内存,处理器,还有映像文件,这里我们用不到声卡和打印机可以给他移除根据自己电脑配置选择合适的,这里我们选择完之后是这样的然后我们开启虚拟机
H6666W
·
2024-02-02 23:10
hadoop
hadoop
java
大数据
HADOOP
_MAPRED_HOME=${full path of your
hadoop
distribution directory}
场景在
Hadoop
3.13的YARN上运行MapReduce报错信息终端界面提示FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
小基基o_O
·
2024-02-02 23:10
Hadoop
单机搭建
hadoop
环境(包括hdfs、yarn、hive)
单机可以搭建伪分布式
hadoop
环境,用来测试和开发使用,
hadoop
包括:hdfs服务器yarn服务器,yarn的前提是hdfs服务器,在前面两个的基础上,课可以搭建hive服务器,不过hive不属于
howard_shooter
·
2024-02-02 23:39
大数据
hadoop
大数据
分布式
Hadopp未授权访问导致RCE
前言:
Hadoop
是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。
安鸾彭于晏
·
2024-02-02 22:27
web安全
安全
网络
6月11日第二十八次早课(sqoop)
主要用于在
Hadoop
与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?
ly稻草
·
2024-02-02 19:55
深度学习的开源分布式框架Deeplearning4j
该框架基本上是由
Hadoop
和Spark集成的分布式深度学习库组成的。在
Hadoop
和Spark的帮助下,我们可以轻松地分发模型和大数据集,并运行
weixin_43106248
·
2024-02-02 19:13
深度学习
Hadoop
深度学习开源分布式框架
deeplearning4j
Linux配置jdk8错误:/usr/libexec/grepconf.sh: line 5: grep: command not found 导致Linux基础命令无法使用
shell窗口或者重启Linux的时候,又出现了找不到命令的错误,一直在查资料,类似的exportxxx命令都可以临时解决问题,却在根源上解决不了问题1.打开.bash_profile文件[`root@
hadoop
000
独恋彼岸花
·
2024-02-02 18:30
Linux环境变量配置
linux
vim
运维
Hive和Hbase的各自适用场景
一、区别:Hbase:
Hadoop
database的简称,也就是基于
Hadoop
数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。
yoku酱
·
2024-02-02 17:36
Kafka
集群搭建
Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。本期是分享Kafka,若想看zookeeper搭建请看:zookeeper搭建(单机模式和集群模式)-CSDN博客1.下载压缩包链接:https://pan.baidu.com/s/1zxJRd13rgHfJexP-Jbl36g提取码:lcmi当然,您也可以从官网下载2.解压tar-zxvf/opt/softwa
莫噶
·
2024-02-02 14:30
搭建
kafka
分布式
Kafka
集群搭建
1、前提条件1、部署Kafka
集群搭建
需要服务器至少3台,奇数台2、Kafka的安装需要java环境,jdk1.83、Kafka安装包版本:kafka_2.11-0.10.0.1.tar.gz4、假设3
那小子、真烦
·
2024-02-02 14:30
KAFKA
kafka
分布式
zookeeper
kafka
集群搭建
本文将记录使用kafka镜像,分别在两种场景下搭建3节点集群:1.在一台机器上使用容器方式安装kafka集群;2.在三台机器上使用容器方式安装kafka集群。此次使用的是wurstmeister的,下载量是比较大的。使用下面命令下载:dockerpullwurstmeister/kafka:2.13-2.8.1先介绍第一种方式:1.在宿主机分别建立3个kafka容器ENV参数文件,改文件配置容器启
topswim
·
2024-02-02 14:30
kafka
zookeeper
分布式
Hadoop
原理
Hadoop
框架分布式文件存储-HDFS即
Hadoop
内提供分布式数据存储的文件系统分布式计算框架-MapReduce即
Hadoop
内提供的进行分布式计算的组件分布式资源调度-YARN即
Hadoop
内提供的进行分布式资源调度的组件
我走之後
·
2024-02-02 14:25
hadoop
大数据
分布式
大数据技术之
Hadoop
相关导论大数据相关导论首先我们要知道一切皆数据数据的作用从海量数据中提取出有效的价值信息,实现数据的商业化,价值化,给企业的决策者或者运营人员提供数据支持或者分析性报告.更好的了解事与物的运行规律,给生活赋能.什么是大数据数据的体量比较大,2000年全球互联的概念提出及普及后,数据量开始快速增长....数据单位:bit,byte,kb,mb,gb,tb,pb,eb,zb,yb,bb,nb,db大数
我走之後
·
2024-02-02 14:54
大数据
hadoop
分布式
PySpark(一)Spark原理介绍、PySpark初体验及原理
SparkVS
Hadoop
尽管Spark相对于
Hadoop
而言具有较大优势,但Spark并不能完全替代
Hadoop
在计算层面,Spark相比较MR(MapReduce)有巨大的性能优势,但至今仍有许多计算工具基于
独憩
·
2024-02-02 13:11
PySpark
python
分布式
大数据
spark
【livy】Spark Livy深究
的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy的运作流程阐述Livy的安装、启动、访问Livy的启动:依次启动zookeeper集群、
Hadoop
小赵要加油
·
2024-02-02 13:07
livy
大数据
分布式
第96讲:MySQL高可用集群MHA的核心概念以及
集群搭建
文章目录1.MHA高可用数据库集群的核心概念1.1.主从复制架构的演变1.2.MHA简介以及架构1.3.MHA的软件结构1.4.MHAManager组件的启动过程1.5.MHA高可用集群的原理2.搭建MHA高可用数据库集群2.1.环境架构简介2.2.搭建基于GTID的主从复制集群2.2.1.在三台服务器中分别搭建MySQL实例2.2.2.配置基于GTID的主从复制集群2.2.3.查看集群各节点的状
Jiangxl~
·
2024-02-02 13:43
mysql
数据库
云计算
运维
数据结构
redis 6.x
集群搭建
redis6
集群搭建
安装文件下载redis-6.2.6.tar.gz编译tar-zxvfredis-6.2.6.tar.gzcdredis-6.2.6/makeMALLOC=libcmakeinstallPREFIX
tmaczt
·
2024-02-02 12:55
linux
redis
bootstrap
数据库
Iceberg从入门到精通系列之二十一:Spark集成Iceberg
从入门到精通系列之二十一:Spark集成Iceberg一、在Spark3中使用Iceberg二、添加目录三、创建表四、写五、读六、Catalogs七、目录配置八、使用目录九、替换会话目录十、使用目录特定的
Hadoop
最笨的羊羊
·
2024-02-02 12:20
日常分享专栏
Iceberg
从入门到精通系列之二十一
Spark集成Iceberg
实时数据湖:Flink CDC流式写入Hudi
点击上方蓝色字体,选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、
Hadoop
3.1.3
王知无(import_bigdata)
·
2024-02-02 12:01
spark
hadoop
hive
大数据
mysql
pyspark的安装及使用
遇到加载不了选项框的情况可以尝试用手机打开网址获取下载链接后下载直接解压,注意路径不要有空格环境变量配置Path配置测试安装情况,cmd输入spark-shell出现WelcometoSpark表示安装成功,如果没有装
Hadoop
a013067506e4
·
2024-02-02 11:56
Logstash 7.7.1版本安装&系统梳理
前言上一篇文章介绍了《ElasticSearch7.7.1
集群搭建
&Kibana安装》,今天说一下Logstash的安卓和配置;Logstash是一个开源的数据收集引擎,具有实时管道功能。
卢卡上学
·
2024-02-02 11:28
灯塔架构知识体系
日志采集
logstash
监控系统
业务监控
中间件
关于Redis Cluster集群运维与核心原理
关于RedisCluster集群运维与核心原理1、Redis集群方案比较哨兵模式高可用集群模式2、Redis高可用
集群搭建
3、Java操作redis集群1、Redis客户端Jedis操作2、集群的SpringBoot
秋天的一亩三分地
·
2024-02-02 10:00
redis
运维
分布式
Hadoop
环境搭建
目录一、简介1.1、概念1.2、优势1.3、
Hadoop
组成部分二、
Hadoop
运行环境搭建2.1安装VM(虚拟机管理环境)2.2VM网络设置2.3安装CentOS7系统2.4master主机进行网络配置
业里村牛欢喜
·
2024-02-02 07:24
hadoop
大数据
hdfs
Hadoop
-生产调优(更新中)
128*1024*1024*1024/150byte≈9.1亿GMBKBByte2)
Hadoop
2.x系列,配置NameNode内存NameNode内存默认2000m,如果内存服务器内存4G,NameNode
OnePandas
·
2024-02-02 07:47
Hadoop
hadoop
大数据
分布式
Hadoop
3.x基础(3)- MapReduce
MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试提交到集群测试
Hadoop
魅美
·
2024-02-02 07:45
大数据基础
hadoop
(二)
hadoop
搭建
1.下载访问https://
hadoop
.apache.org/releases.html查看
hadoop
最新下载地址wgethttps://dlcdn.apache.org/
hadoop
/common
调试大师
·
2024-02-02 07:41
Hadoop
大数据
hadoop
大数据
分布式
(一)
hadoop
搭建之环境准备1
1.参考http://www.fogsvc.com/97.html文档设置三台虚拟机并固定ip192.168.1.10
hadoop
-master192.168.1.11
hadoop
-slave1192.168.1.12
hadoop
-slave22
调试大师
·
2024-02-02 07:40
大数据
Hadoop
hadoop
大数据
分布式
【Hive】配置
服务部署hiveserver2服务介绍部署启动远程连接1.使用命令行客户端beeline进行远程访问metastore服务运行模式部署其他常见配置显示当前表头和库日志配置Hive的JVM堆内存设置关闭
Hadoop
返返返
·
2024-02-02 07:33
大数据开发
hive
大数据
Hbase安装详解
node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、
hadoop
沉默鹰_90
·
2024-02-02 06:30
软件安装
hbase
大数据
linux
HBase详细安装指南
HBase–
Hadoop
Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在
嘎嘎嘎啊哈
·
2024-02-02 06:59
hadoop
hbase
big
data
Java技术栈 —— Hive与HBase
一、参考文章或视频链接[1]《Java技术栈——
Hadoop
入门(一)》-CSDN二、如何
键盘国治理专家
·
2024-02-02 06:23
Java技术栈
java
hive
hbase
redis
集群搭建
说明:创建6个redis节点,这里为了方便演示,直接使用了docker容器。1.创建6个node节点创建6个文件目录mkdir/wjmao/redis-17001/mkdir/wjmao/redis-17002/mkdir/wjmao/redis-17003/mkdir/wjmao/redis-17004/mkdir/wjmao/redis-17005/mkdir/wjmao/redis-1700
星迹m
·
2024-02-02 05:38
rabbitmq
集群搭建
方法
RabbitMQ
集群搭建
方法这里展示的是多机集群的部署,如果机器受限,可以选择单机集群部署,详细可以参考《RabbitMQ单机多实例配置》。
SkTj
·
2024-02-02 01:31
ZK(ZooKeeper)分布式锁实现
不知道如何搭建的,可以看我之前ZooKeeper
集群搭建
:Zookeeper集群部署的那
牧小农
·
2024-02-02 01:52
黑猴子的家:API 操作 HDFS 文件夹删除
1、Code->GitHubhttps://github.com/liufengji/
hadoop
_hdfs.git2、Code@TestpublicvoiddeleteAtHDFS()throwsException
黑猴子的家
·
2024-02-02 00:29
Java接收solr动态域_Solr和Spring Data Solr
Solr可以和
Hadoop
(http://www.yiibai.com/
hadoop
/)一起使用。由于
Hadoop
处理大量数据,Solr帮助我们从这么大的源中找到所需的信息。
weixin_39897015
·
2024-02-01 22:27
Java接收solr动态域
Zookeeper单机版/伪
集群搭建
在同一台机器(即伪集群)上,启动三个zookeeper,三个分别使用不同的配置文件Zookeeper的单机版安装从官网上下载zookeeper的安装包1准备:安装之前请自行安装jdk(如java8)2使用wget命令或者xshelleditplus工具远程上传tar包到Linux(1)使用wget命令下载zookeeper安装包到linux环境下命令:wgethttp://archive.apac
我不是吴彦祖i
·
2024-02-01 20:43
linux
zookeeper
linux
apache
jdk1.8
zookeeper搭建(单机模式和集群模式)
目录单机模式:
集群搭建
:单机模式:1.新建data和logs目录(data目录用来存放数据库快照,logs目录用来存放日志文件)[root@masterdev]#mkdir-p/home/apps/zookeeper
莫噶
·
2024-02-01 20:11
搭建
zookeeper
linux
分布式
安装配置hive
[root@
hadoop
00~]#wget-chttps://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-
m0_69595107
·
2024-02-01 19:28
Hadoop
hive
hadoop
数据仓库
database
大数据
安装配置sqoop
一、了解Sqoop1、Sqoop产生的原因A.多数使用
hadoop
技术的处理大数据业务的企业,有大量的数据存储在关系型数据中。
m0_69595107
·
2024-02-01 19:27
Hadoop
sqoop
hadoop
分布式
apache
centos
大数据
Hadoop
-3.1.3(四)读写流程详解
读文件流程客户端向namenode发起OpenFile请求,目的是获取要下载文件的输入流。namenode收到请求会后会检查路径的合法性,以及客户端的权限。客户端发起OpenFile的同时,还会掉用GetBlockLocation。当第一次的检验通过之后,namenode会将文件的块信息(元数据)封装到输入流,交给客户端。3.4.客户端用输入流,根据元数据信息去找指定的datanode读取文件块(
_大叔_
·
2024-02-01 19:38
Kafka运维相关知识
它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
的批处理系统、低延迟的实时系统、storm/spark流式处理引擎。
全脂主妇
·
2024-02-01 17:31
消息组件
kafka
分布式
开源大数据集群部署(八)Ranger编译部署
简单说明如下:在pom.xml中更改对应
hadoop
集群组件版本。ranger2编译前提条件是python3和mvn已安装完成。
云掣YUNCHE
·
2024-02-01 16:57
开源大数据集群部署
开源
大数据
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他