E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop分布式部署
Hadoop
:HDFS学习巩固——基础习题及编程实战
一HDFS选择题1.对HDFS通信协议的理解错误的是?A.客户端与数据节点的交互是通过RPC(RemoteProcedureCall)来实现的B.HDFS通信协议都是构建在IoT协议基础之上的C.名称节点和数据节点之间则使用数据节点协议进行交互D.客户端通过一个可配置的端口向名称节点主动发起TCP连接,并使用客户端协议与名称节点进行交互BHDFS通信协议构建在TCP/IP协议基础之上2.HDFS的
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
hdfs
学习
hadoop
3.x 案例5:Flink SQL运行报错
文章目录一.问题描述二.解决方案参考:一.问题描述启动yarnsession后,运行FlinkSQL,报错。命令:--启动yarn-session/home/flink-1.15.2/bin/yarn-session.sh-d--在yarnsession模式下启动flinksql/home/flink-1.15.2/bin/sql-client.shembedded-syarn-session--
只是甲
·
2024-02-03 06:31
大数据和数据仓库
#
Hadoop大数据平台
sql
hadoop
flink
apache
hadoop
2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作需要,要开始搞
hadoop
了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。
夜魔009
·
2024-02-03 00:56
技术
windows8
hadoop
64bit
库
hdfs
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
vim/etc/hostnamexdso-
hadoop
-test-001vim/etc/hosts192.168.50.60xdso-
hadoop
-test-001192.168.50.61xdso-ha
宇智波云
·
2024-02-03 00:15
大数据项目
大数据
dolphinScheduler分布式搭建&快速上手
dolphinScheduler入门详解dolphinScheduler
分布式部署
&快速上手Dolph
PythonDev000
·
2024-02-02 23:14
大数据生态圈
#
Hadoop
hadoop
zookeeper
数据仓库
搭建
hadoop
单机环境
hadoop
笔记sbin:一些启动脚本【服务端的serverbin】logs:存放
hadoop
相关日志bin:客户端的脚本etc:
hadoop
相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion
·
2024-02-02 23:12
hadoop
hadoop
hdfs
大数据
Hadoop
单机环境搭建
Hadoop
单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压
Hadoop
五、配置
Hadoop
环境变量六、修改
Hadoop
配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰
·
2024-02-02 23:42
Hadoop
hadoop
大数据
docker搭建单机
hadoop
docker搭建单机
hadoop
前言一、docker是什么?二、
hadoop
是什么?
阿桔是只猫
·
2024-02-02 23:41
大数据
hadoop
docker
大数据
手把手教
Hadoop
环境搭建,学不会你咬我~
之前后台小伙伴私信我想了解
hadoop
的单机环境安装,以方便用于
hadoop
学习,今天给大家安排上了,废话不多说,直接上干货。
程序IT圈
·
2024-02-02 23:11
hadoop
jdk
linux
centos
hdfs
hadoop
单机模式搭建
1.新建虚拟机给虚拟机命名,选择存放路径接着指定磁盘大小,因为我们不止搭建单机模式还要搭建伪分布模式,这里我们选择80G这里会看到创建虚拟机完成,我们点击自定义硬件,选择合适的内存,处理器,还有映像文件,这里我们用不到声卡和打印机可以给他移除根据自己电脑配置选择合适的,这里我们选择完之后是这样的然后我们开启虚拟机
H6666W
·
2024-02-02 23:10
hadoop
hadoop
java
大数据
HADOOP
_MAPRED_HOME=${full path of your
hadoop
distribution directory}
场景在
Hadoop
3.13的YARN上运行MapReduce报错信息终端界面提示FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
小基基o_O
·
2024-02-02 23:10
Hadoop
单机搭建
hadoop
环境(包括hdfs、yarn、hive)
单机可以搭建伪分布式
hadoop
环境,用来测试和开发使用,
hadoop
包括:hdfs服务器yarn服务器,yarn的前提是hdfs服务器,在前面两个的基础上,课可以搭建hive服务器,不过hive不属于
howard_shooter
·
2024-02-02 23:39
大数据
hadoop
大数据
分布式
Hadopp未授权访问导致RCE
前言:
Hadoop
是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。
安鸾彭于晏
·
2024-02-02 22:27
web安全
安全
网络
6月11日第二十八次早课(sqoop)
主要用于在
Hadoop
与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?
ly稻草
·
2024-02-02 19:55
深度学习的开源分布式框架Deeplearning4j
该框架基本上是由
Hadoop
和Spark集成的分布式深度学习库组成的。在
Hadoop
和Spark的帮助下,我们可以轻松地分发模型和大数据集,并运行
weixin_43106248
·
2024-02-02 19:13
深度学习
Hadoop
深度学习开源分布式框架
deeplearning4j
Linux配置jdk8错误:/usr/libexec/grepconf.sh: line 5: grep: command not found 导致Linux基础命令无法使用
shell窗口或者重启Linux的时候,又出现了找不到命令的错误,一直在查资料,类似的exportxxx命令都可以临时解决问题,却在根源上解决不了问题1.打开.bash_profile文件[`root@
hadoop
000
独恋彼岸花
·
2024-02-02 18:30
Linux环境变量配置
linux
vim
运维
Hive和Hbase的各自适用场景
一、区别:Hbase:
Hadoop
database的简称,也就是基于
Hadoop
数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。
yoku酱
·
2024-02-02 17:36
Hadoop
原理
Hadoop
框架分布式文件存储-HDFS即
Hadoop
内提供分布式数据存储的文件系统分布式计算框架-MapReduce即
Hadoop
内提供的进行分布式计算的组件分布式资源调度-YARN即
Hadoop
内提供的进行分布式资源调度的组件
我走之後
·
2024-02-02 14:25
hadoop
大数据
分布式
大数据技术之
Hadoop
相关导论大数据相关导论首先我们要知道一切皆数据数据的作用从海量数据中提取出有效的价值信息,实现数据的商业化,价值化,给企业的决策者或者运营人员提供数据支持或者分析性报告.更好的了解事与物的运行规律,给生活赋能.什么是大数据数据的体量比较大,2000年全球互联的概念提出及普及后,数据量开始快速增长....数据单位:bit,byte,kb,mb,gb,tb,pb,eb,zb,yb,bb,nb,db大数
我走之後
·
2024-02-02 14:54
大数据
hadoop
分布式
PySpark(一)Spark原理介绍、PySpark初体验及原理
SparkVS
Hadoop
尽管Spark相对于
Hadoop
而言具有较大优势,但Spark并不能完全替代
Hadoop
在计算层面,Spark相比较MR(MapReduce)有巨大的性能优势,但至今仍有许多计算工具基于
独憩
·
2024-02-02 13:11
PySpark
python
分布式
大数据
spark
【livy】Spark Livy深究
的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy的运作流程阐述Livy的安装、启动、访问Livy的启动:依次启动zookeeper集群、
Hadoop
小赵要加油
·
2024-02-02 13:07
livy
大数据
分布式
Iceberg从入门到精通系列之二十一:Spark集成Iceberg
从入门到精通系列之二十一:Spark集成Iceberg一、在Spark3中使用Iceberg二、添加目录三、创建表四、写五、读六、Catalogs七、目录配置八、使用目录九、替换会话目录十、使用目录特定的
Hadoop
最笨的羊羊
·
2024-02-02 12:20
日常分享专栏
Iceberg
从入门到精通系列之二十一
Spark集成Iceberg
实时数据湖:Flink CDC流式写入Hudi
点击上方蓝色字体,选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、
Hadoop
3.1.3
王知无(import_bigdata)
·
2024-02-02 12:01
spark
hadoop
hive
大数据
mysql
pyspark的安装及使用
遇到加载不了选项框的情况可以尝试用手机打开网址获取下载链接后下载直接解压,注意路径不要有空格环境变量配置Path配置测试安装情况,cmd输入spark-shell出现WelcometoSpark表示安装成功,如果没有装
Hadoop
a013067506e4
·
2024-02-02 11:56
Jmeter性能测试: Jmeter 5.6.3
分布式部署
目录一、实验1.环境2.jmeter配置slave代理压测机3.jmeter配置master控制器压测机4.启动slave从节点检查5.启动master主节点检查6.运行jmeter7.观察jmeter-server主从节点变化二、问题1.jmeter中间请求和响应乱码一、实验1.环境(1)主机表1-1主机主机架构IP版本备注controllerJmetermaster节点192.168.204.
cronaldo91
·
2024-02-02 08:49
Jmeter性能测试
jmeter
分布式
云计算
运维
Hadoop
环境搭建
目录一、简介1.1、概念1.2、优势1.3、
Hadoop
组成部分二、
Hadoop
运行环境搭建2.1安装VM(虚拟机管理环境)2.2VM网络设置2.3安装CentOS7系统2.4master主机进行网络配置
业里村牛欢喜
·
2024-02-02 07:24
hadoop
大数据
hdfs
Hadoop
-生产调优(更新中)
128*1024*1024*1024/150byte≈9.1亿GMBKBByte2)
Hadoop
2.x系列,配置NameNode内存NameNode内存默认2000m,如果内存服务器内存4G,NameNode
OnePandas
·
2024-02-02 07:47
Hadoop
hadoop
大数据
分布式
Hadoop
3.x基础(3)- MapReduce
MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试提交到集群测试
Hadoop
魅美
·
2024-02-02 07:45
大数据基础
hadoop
(二)
hadoop
搭建
1.下载访问https://
hadoop
.apache.org/releases.html查看
hadoop
最新下载地址wgethttps://dlcdn.apache.org/
hadoop
/common
调试大师
·
2024-02-02 07:41
Hadoop
大数据
hadoop
大数据
分布式
(一)
hadoop
搭建之环境准备1
1.参考http://www.fogsvc.com/97.html文档设置三台虚拟机并固定ip192.168.1.10
hadoop
-master192.168.1.11
hadoop
-slave1192.168.1.12
hadoop
-slave22
调试大师
·
2024-02-02 07:40
大数据
Hadoop
hadoop
大数据
分布式
【Hive】配置
服务部署hiveserver2服务介绍部署启动远程连接1.使用命令行客户端beeline进行远程访问metastore服务运行模式部署其他常见配置显示当前表头和库日志配置Hive的JVM堆内存设置关闭
Hadoop
返返返
·
2024-02-02 07:33
大数据开发
hive
大数据
Hbase安装详解
node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、
hadoop
沉默鹰_90
·
2024-02-02 06:30
软件安装
hbase
大数据
linux
HBase详细安装指南
HBase–
Hadoop
Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在
嘎嘎嘎啊哈
·
2024-02-02 06:59
hadoop
hbase
big
data
Java技术栈 —— Hive与HBase
一、参考文章或视频链接[1]《Java技术栈——
Hadoop
入门(一)》-CSDN二、如何
键盘国治理专家
·
2024-02-02 06:23
Java技术栈
java
hive
hbase
黑猴子的家:API 操作 HDFS 文件夹删除
1、Code->GitHubhttps://github.com/liufengji/
hadoop
_hdfs.git2、Code@TestpublicvoiddeleteAtHDFS()throwsException
黑猴子的家
·
2024-02-02 00:29
Java接收solr动态域_Solr和Spring Data Solr
Solr可以和
Hadoop
(http://www.yiibai.com/
hadoop
/)一起使用。由于
Hadoop
处理大量数据,Solr帮助我们从这么大的源中找到所需的信息。
weixin_39897015
·
2024-02-01 22:27
Java接收solr动态域
安装配置hive
[root@
hadoop
00~]#wget-chttps://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-
m0_69595107
·
2024-02-01 19:28
Hadoop
hive
hadoop
数据仓库
database
大数据
安装配置sqoop
一、了解Sqoop1、Sqoop产生的原因A.多数使用
hadoop
技术的处理大数据业务的企业,有大量的数据存储在关系型数据中。
m0_69595107
·
2024-02-01 19:27
Hadoop
sqoop
hadoop
分布式
apache
centos
大数据
Hadoop
-3.1.3(四)读写流程详解
读文件流程客户端向namenode发起OpenFile请求,目的是获取要下载文件的输入流。namenode收到请求会后会检查路径的合法性,以及客户端的权限。客户端发起OpenFile的同时,还会掉用GetBlockLocation。当第一次的检验通过之后,namenode会将文件的块信息(元数据)封装到输入流,交给客户端。3.4.客户端用输入流,根据元数据信息去找指定的datanode读取文件块(
_大叔_
·
2024-02-01 19:38
Kafka运维相关知识
它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
的批处理系统、低延迟的实时系统、storm/spark流式处理引擎。
全脂主妇
·
2024-02-01 17:31
消息组件
kafka
分布式
开源大数据集群部署(八)Ranger编译部署
简单说明如下:在pom.xml中更改对应
hadoop
集群组件版本。ranger2编译前提条件是python3和mvn已安装完成。
云掣YUNCHE
·
2024-02-01 16:57
开源大数据集群部署
开源
大数据
大数据开发流程图
1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop:(发音:skup)作为一款开源的离线数据传输工具,主要用于
Hadoop
(Hive)与传统数据库(MySql,PostgreSQL
xyzkenan
·
2024-02-01 14:30
大数据开发
大数据
大数据开发流程
Cloudera Manager 安装 Kafka 并简单使用
Kafka的目的是通过
Hadoop
的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。
大数据AI
·
2024-02-01 13:25
大数据从入门到精通
cloudera
kafka
大数据
大数据之Spark
Spark介绍什么是Spark专为大规模数据处理而设计的快速通用的计算引擎类
Hadoop
MapReduce的通用并行计算框架拥有
Hadoop
MapReduce所具有的优点但不同于MapReduce的是Job
进击的-小胖子
·
2024-02-01 12:37
大数据
spark
big
data
scala
大数据
实时大数据
大数据之Spark:Spark大厂面试真题
2.
hadoop
和spark使用场景?3.spark如何保证宕机迅速恢复?4.
hadoop
和spark的相同点和不同点?5.RDD持久化原理?checkpoint检查点机制?
浊酒南街
·
2024-02-01 12:35
大数据系列三
spark
big
data
面试
大数据之 Spark 与
Hadoop
MapReduce 对比
ApacheSpark和Apache
Hadoop
MapReduce是两个广泛用于大数据处理的开源框架,它们在设计目标、性能表现和功能特性上有显著的不同点:执行模型:MapReduce(MR):基于批处理模式
转身成为了码农
·
2024-02-01 12:30
大数据
spark
hadoop
大数据之 Spark Shuffle 和
Hadoop
MapReduce Shuffle的区别
SparkShuffle和
Hadoop
MapReduceShuffle是分布式计算框架中处理中间结果的关键阶段,它们的主要区别在于设计原理、执行效率和资源利用率:
Hadoop
MapReduceShuffleSort-based
转身成为了码农
·
2024-02-01 12:30
大数据
spark
hadoop
spark处理速度为什么比MapReduce快?
官网的这张图下边有一行字:Logisticregressionin
Hadoop
andSpark迭代场景下spark的处理速度大致是
hadoop
的100倍。️
CoreDao
·
2024-02-01 12:29
Spark
spark
hadoop
大数据
mapreduce
Hadoop
-MapReduce-源码跟读-ReduceTask阶段篇
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、Reducer类我们先看下我们写的reduce所继承的
隔着天花板看星星
·
2024-02-01 09:54
hadoop
mapreduce
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他