E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop大数据平台
2021-07-02
Hadoop
集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=
hadoop
012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比
·
2024-02-04 02:40
笔记
日调用量超千万,超低查询延迟!跨越速运基于Flink + OceanBase的实时分析解决方案与实践
跨越速运内部有超过100位BI分析师,日常工作需要借助
大数据平台
中的服务项目进行数据研发。跨越速运的数据服务场景中有一万余数据接口,日调用量超过1000万次,并保持99%查
OceanBase数据库官方博客
·
2024-02-03 23:48
flink
oceanbase
大数据
hadoop
、spark、flink集群修改默认ssh端口号
大数据集群在实际搭建过程中,其默认ssh端口不一定都是22,这时需要根据各自的配置文件进行适配。ssh端口号默认为22,以centos7.x为例,可以在/etc/ssh/sshd_config中进行修改,如下示例将22改为22222:#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链
·
2024-02-03 21:12
大数据
分布式技术
ssh
hadoop
spark
flink
Zookeeper集群安装
简介ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
万总有点菜
·
2024-02-03 21:14
2019-10-08 大数据开发进阶之路
市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握
Hadoop
生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD
红瓦李
·
2024-02-03 20:39
Hadoop
框架下MapReduce中的map个数如何控制
一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为:一、将待处理的文件进行逻辑切片(根据处理数据文件的大小,划分多个split),然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下:1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138
·
2024-02-03 20:13
Hadoop
MapReduce 各阶段理解
Hadoop
的MapReduce是一个很经典的分布式并行计算框架,一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解,记录一下。
phusFuNs
·
2024-02-03 16:10
阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,
Hadoop
、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择,
阿里云最新优惠和活动汇总
·
2024-02-03 15:07
hadoop
2.0之环境搭建详细流程
1、在安装
hadoop
2.0之前,需要准备好以下软件(如下图1)图1:然后将这两个软件共享到centos上(如下图2红箭头指向和图3红箭头指向所示)在vm这上面有个虚拟机,点击虚拟机后有个硬件和选项,点选项
hhf_Engineer
·
2024-02-03 14:51
hadoop
使用公平调度器
数据量不大,做离线一个晚上就能轻松调度完,那时候使用的
hadoop
自带的调度器,容量调度器。但默认配置没有改,就会发生什么!root主leaf下面只有default。
向他一样rap
·
2024-02-03 13:22
kylin
hadoop
hadoop
大数据
分布式
Flink实时数仓同步:拉链表实战详解
然而,为满足日常分析和报表等需求,
大数据平台
采用多种同步方式,以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等,选择取决于业务需求和数据特性。
Light Gao
·
2024-02-03 10:15
大数据
实时数仓
flink
大数据
数据仓库
拉链表
doris
Flink实时数仓同步:流水表实战详解
然而,为满足日常分析和报表等需求,
大数据平台
采用多种同步方式,以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等,选择取决于业务需求和数据特性。
Light Gao
·
2024-02-03 10:15
实时数仓
数据仓库
flink
大数据
flinkcdc
数据同步
数据仓库
深入数仓离线数据同步:问题分析与优化措施
二、场景在
大数据平台
中,业
Light Gao
·
2024-02-03 10:14
数据仓库
实时数仓
数据库
数据仓库
大数据
数据分析
Flink实时数仓同步:快照表实战详解
然而,为满足日常分析和报表等需求,
大数据平台
采用多种同步方式,以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等,选择取决于业务需求和数据特性。
Light Gao
·
2024-02-03 10:38
实时数仓
数据仓库
flink
大数据
数据仓库
flinkcdc
数据同步
【数据开发】pyspark入门与RDD编程
spark与pyspark的关系spark是一种计算引擎,类似于
hadoop
架构下mapreduce,与mapr
小哈里
·
2024-02-03 08:58
#
后端开发
python
spark
pyspark
后端
大数据
(四)hive的搭建2
1.元数据服务的方式1.1编辑hive-site.xmlsudovihive-site.xml在文件最后增加以下内容hive.metastore.uristhrift://
hadoop
-master:90831.2
调试大师
·
2024-02-03 08:18
大数据
Hadoop
hive
hadoop
数据仓库
(三)
hadoop
之hive的搭建1
下载访问官方网站https://hive.apache.org/点击downloads点击Downloadareleasenow!点击https://dlcdn.apache.org/hive/选择最新的稳定版复制最新的url在linux执行下载命令wgethttps://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz2.
调试大师
·
2024-02-03 08:48
Hadoop
大数据
hadoop
hive
大数据
hadoop
50070 无法访问问题解决汇总
解决办法1:[root@djt002
hadoop
]#vi/etc/selinux/config改为:SELINUX=disabled解决办法2:查看你的$
HADOOP
_HOME/etc/
hadoop
下的
無法複制
·
2024-02-03 08:13
linux
hadoop
Hadoop
:学习HDFS,看完这篇就够了!
HDFS(
Hadoop
DistributedFileSystem)是Apache
Hadoop
生态系统中的分布式文件系统,用于存储和处理大规模数据集。
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
学习
hdfs
大数据
云计算
Hadoop
:HDFS学习巩固——基础习题及编程实战
一HDFS选择题1.对HDFS通信协议的理解错误的是?A.客户端与数据节点的交互是通过RPC(RemoteProcedureCall)来实现的B.HDFS通信协议都是构建在IoT协议基础之上的C.名称节点和数据节点之间则使用数据节点协议进行交互D.客户端通过一个可配置的端口向名称节点主动发起TCP连接,并使用客户端协议与名称节点进行交互BHDFS通信协议构建在TCP/IP协议基础之上2.HDFS的
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
hdfs
学习
hadoop
3.x 案例5:Flink SQL运行报错
文章目录一.问题描述二.解决方案参考:一.问题描述启动yarnsession后,运行FlinkSQL,报错。命令:--启动yarn-session/home/flink-1.15.2/bin/yarn-session.sh-d--在yarnsession模式下启动flinksql/home/flink-1.15.2/bin/sql-client.shembedded-syarn-session--
只是甲
·
2024-02-03 06:31
大数据和数据仓库
#
Hadoop大数据平台
sql
hadoop
flink
apache
hadoop
2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作需要,要开始搞
hadoop
了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。
夜魔009
·
2024-02-03 00:56
技术
windows8
hadoop
64bit
库
hdfs
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
第十一章 金融大数据解决方案
金融信息化1.全球金融信息化发展历程2.我国金融信息化发展趋势金融大数据综述1.金融大数据特征2.金融大数据的机遇和挑战金融
大数据平台
总体架构数据应用-数据计算-数据管理-数据源1.建设原则和目标2.金融大数据业务架构数据才基层
etheon
·
2024-02-03 00:36
测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
vim/etc/hostnamexdso-
hadoop
-test-001vim/etc/hosts192.168.50.60xdso-
hadoop
-test-001192.168.50.61xdso-ha
宇智波云
·
2024-02-03 00:15
大数据项目
大数据
搭建
hadoop
单机环境
hadoop
笔记sbin:一些启动脚本【服务端的serverbin】logs:存放
hadoop
相关日志bin:客户端的脚本etc:
hadoop
相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion
·
2024-02-02 23:12
hadoop
hadoop
hdfs
大数据
Hadoop
单机环境搭建
Hadoop
单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压
Hadoop
五、配置
Hadoop
环境变量六、修改
Hadoop
配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰
·
2024-02-02 23:42
Hadoop
hadoop
大数据
docker搭建单机
hadoop
docker搭建单机
hadoop
前言一、docker是什么?二、
hadoop
是什么?
阿桔是只猫
·
2024-02-02 23:41
大数据
hadoop
docker
大数据
手把手教
Hadoop
环境搭建,学不会你咬我~
之前后台小伙伴私信我想了解
hadoop
的单机环境安装,以方便用于
hadoop
学习,今天给大家安排上了,废话不多说,直接上干货。
程序IT圈
·
2024-02-02 23:11
hadoop
jdk
linux
centos
hdfs
hadoop
单机模式搭建
1.新建虚拟机给虚拟机命名,选择存放路径接着指定磁盘大小,因为我们不止搭建单机模式还要搭建伪分布模式,这里我们选择80G这里会看到创建虚拟机完成,我们点击自定义硬件,选择合适的内存,处理器,还有映像文件,这里我们用不到声卡和打印机可以给他移除根据自己电脑配置选择合适的,这里我们选择完之后是这样的然后我们开启虚拟机
H6666W
·
2024-02-02 23:10
hadoop
hadoop
java
大数据
HADOOP
_MAPRED_HOME=${full path of your
hadoop
distribution directory}
场景在
Hadoop
3.13的YARN上运行MapReduce报错信息终端界面提示FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
小基基o_O
·
2024-02-02 23:10
Hadoop
单机搭建
hadoop
环境(包括hdfs、yarn、hive)
单机可以搭建伪分布式
hadoop
环境,用来测试和开发使用,
hadoop
包括:hdfs服务器yarn服务器,yarn的前提是hdfs服务器,在前面两个的基础上,课可以搭建hive服务器,不过hive不属于
howard_shooter
·
2024-02-02 23:39
大数据
hadoop
大数据
分布式
Hadopp未授权访问导致RCE
前言:
Hadoop
是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。
安鸾彭于晏
·
2024-02-02 22:27
web安全
安全
网络
6月11日第二十八次早课(sqoop)
主要用于在
Hadoop
与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?
ly稻草
·
2024-02-02 19:55
深度学习的开源分布式框架Deeplearning4j
该框架基本上是由
Hadoop
和Spark集成的分布式深度学习库组成的。在
Hadoop
和Spark的帮助下,我们可以轻松地分发模型和大数据集,并运行
weixin_43106248
·
2024-02-02 19:13
深度学习
Hadoop
深度学习开源分布式框架
deeplearning4j
Linux配置jdk8错误:/usr/libexec/grepconf.sh: line 5: grep: command not found 导致Linux基础命令无法使用
shell窗口或者重启Linux的时候,又出现了找不到命令的错误,一直在查资料,类似的exportxxx命令都可以临时解决问题,却在根源上解决不了问题1.打开.bash_profile文件[`root@
hadoop
000
独恋彼岸花
·
2024-02-02 18:30
Linux环境变量配置
linux
vim
运维
Hive和Hbase的各自适用场景
一、区别:Hbase:
Hadoop
database的简称,也就是基于
Hadoop
数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。
yoku酱
·
2024-02-02 17:36
Hadoop
原理
Hadoop
框架分布式文件存储-HDFS即
Hadoop
内提供分布式数据存储的文件系统分布式计算框架-MapReduce即
Hadoop
内提供的进行分布式计算的组件分布式资源调度-YARN即
Hadoop
内提供的进行分布式资源调度的组件
我走之後
·
2024-02-02 14:25
hadoop
大数据
分布式
大数据技术之
Hadoop
相关导论大数据相关导论首先我们要知道一切皆数据数据的作用从海量数据中提取出有效的价值信息,实现数据的商业化,价值化,给企业的决策者或者运营人员提供数据支持或者分析性报告.更好的了解事与物的运行规律,给生活赋能.什么是大数据数据的体量比较大,2000年全球互联的概念提出及普及后,数据量开始快速增长....数据单位:bit,byte,kb,mb,gb,tb,pb,eb,zb,yb,bb,nb,db大数
我走之後
·
2024-02-02 14:54
大数据
hadoop
分布式
PySpark(一)Spark原理介绍、PySpark初体验及原理
SparkVS
Hadoop
尽管Spark相对于
Hadoop
而言具有较大优势,但Spark并不能完全替代
Hadoop
在计算层面,Spark相比较MR(MapReduce)有巨大的性能优势,但至今仍有许多计算工具基于
独憩
·
2024-02-02 13:11
PySpark
python
分布式
大数据
spark
【livy】Spark Livy深究
的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy的运作流程阐述Livy的安装、启动、访问Livy的启动:依次启动zookeeper集群、
Hadoop
小赵要加油
·
2024-02-02 13:07
livy
大数据
分布式
Iceberg从入门到精通系列之二十一:Spark集成Iceberg
从入门到精通系列之二十一:Spark集成Iceberg一、在Spark3中使用Iceberg二、添加目录三、创建表四、写五、读六、Catalogs七、目录配置八、使用目录九、替换会话目录十、使用目录特定的
Hadoop
最笨的羊羊
·
2024-02-02 12:20
日常分享专栏
Iceberg
从入门到精通系列之二十一
Spark集成Iceberg
实时数据湖:Flink CDC流式写入Hudi
点击上方蓝色字体,选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、
Hadoop
3.1.3
王知无(import_bigdata)
·
2024-02-02 12:01
spark
hadoop
hive
大数据
mysql
pyspark的安装及使用
遇到加载不了选项框的情况可以尝试用手机打开网址获取下载链接后下载直接解压,注意路径不要有空格环境变量配置Path配置测试安装情况,cmd输入spark-shell出现WelcometoSpark表示安装成功,如果没有装
Hadoop
a013067506e4
·
2024-02-02 11:56
精益开发——税务
大数据平台
建设效能提升的倍增器
2020年阿里巴巴的研发效能峰会上,阿里资深技术专家何勉做了“ALPD——阿里创新能力背后的精益产品开发体系”的分享,它是阿里正在实践和持续打造的产品开发方法,目的是帮助组织提升精益的交付和创新能力,实现十倍效能提升(包括:响应速度、过程质量、有效价值交付等)。或许大家会有怀疑,采用精益开发真有这么大的提升吗?答案是肯定的。这种巨大的提升来自于精益软件开发的理念和方法,它更精准地把握了软件开发过程
悬臂星云
·
2024-02-02 10:36
大数据
敏捷流程
珠宝的新模式分析
最新的一轮融资将用来建设珠宝首饰全行业
大数据平台
,应该是要更好地对珠宝行业的发展把脉。“每月花100元上下成为会员,用户会收到一个‘小蓝盒’,盒子里面有三件总价值在200
三锦囊的猫
·
2024-02-02 08:15
Hadoop
环境搭建
目录一、简介1.1、概念1.2、优势1.3、
Hadoop
组成部分二、
Hadoop
运行环境搭建2.1安装VM(虚拟机管理环境)2.2VM网络设置2.3安装CentOS7系统2.4master主机进行网络配置
业里村牛欢喜
·
2024-02-02 07:24
hadoop
大数据
hdfs
Hadoop
-生产调优(更新中)
128*1024*1024*1024/150byte≈9.1亿GMBKBByte2)
Hadoop
2.x系列,配置NameNode内存NameNode内存默认2000m,如果内存服务器内存4G,NameNode
OnePandas
·
2024-02-02 07:47
Hadoop
hadoop
大数据
分布式
Hadoop
3.x基础(3)- MapReduce
MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试提交到集群测试
Hadoop
魅美
·
2024-02-02 07:45
大数据基础
hadoop
(二)
hadoop
搭建
1.下载访问https://
hadoop
.apache.org/releases.html查看
hadoop
最新下载地址wgethttps://dlcdn.apache.org/
hadoop
/common
调试大师
·
2024-02-02 07:41
Hadoop
大数据
hadoop
大数据
分布式
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他