E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据库运维hdfs云存储
Spark工作原理
standalone集群,集群中有6个节点左边是Spark的客户端节点,这个节点主要负责向Spark集群提交任务,假设在这里我们向Spark集群提交了一个任务那这个Spark任务肯定会有一个数据源,数据源在这我们使用
HDFS
小崔的技术博客
·
2024-01-28 23:12
大数据学习
spark
大数据
hadoop
HDFS
_DELEGATION_TOKEN 还原及解决方案
HDFS
_DELEGATION_TOKEN这个BUG在很多文章中都出现着,讲了很多原理,但是只给出了官方引用地扯,完全没有给出如何解决,我们线上的业务就有着这样的问题,7天一到马上出现这问题了,官方明明说这个
kikiki4
·
2024-01-28 23:18
数仓治理-小文件治理
小文件治理本文中将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]
HDFS
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
20.2K Star,一个简洁美观、易用的云盘系统
现在的网盘动不动就限速,涨价,非常不爽,今天分享一款开源免费的网盘项目,基于Go语言开发的,简洁美观,支持几乎所有主流的
云存储
服务,并且提供了用户友好的界面和简单的操作,非常适合个人或组织进行文件管理和分享
码个锤子Pro
·
2024-01-28 22:53
工具
云盘
2021-08-10
HDFS
Web报错Couldn‘t preview the file.
在查看文件内容时,在红框位置出现报错“Couldn’tpreviewthefile”解决方法第一步:修改
hdfs
-site.xml,添加配置信息dfs.web
hdfs
.enabledtrue第二步:配置浏览器所在系统的
学习是一种信仰_zdy
·
2024-01-28 21:28
大数据
hadoop
大数据
hdfs
HDFS
文件系统的根目录和用户主目录解析
HDFS
文件系统的根目录和用户主目录分别是什么?根据这四个截图,你能得出什么结论?
问君何能尔?心远地自偏
·
2024-01-28 21:57
大数据
Name node is in safe mode
安全模式开启通常是由于
hdfs
文件系统数据完整性缺失造成。所以核心就是想办法让
hdfs
文件系统数据变得完整,相对没有损坏。
大数据东哥(Aidon)
·
2024-01-28 21:27
大数据
hadoop
safemode
safemode
hadoop
safe
mode
Name
node
is
in
safe
记一次
HDFS
Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/web
hdfs
一花一世界~
·
2024-01-28 21:55
Linux-Centos
x.x
Hadoop
大数据
hadoop
hdfs
大数据
经验分享
centos
文件上传之大文件分块上传
原则:合久必分,分久必合优势部分:减少了内存占用,可实现断点续传,并发处理,利用带宽,提高效率不足之处:增加复杂性,增加额外计算存储应用场景:
云存储
大文件上传、多媒体平台音视频上传,需断点续传应用注意事项
小安吖~
·
2024-01-28 19:40
文件上传
分块上传
SpringBoot集成阿里
云存储
OSS服务
文章目录前言1、阿里
云存储
OSS是什么?
Eric-x
·
2024-01-28 18:36
Java
SpirngBoot
spring
boot
阿里云
java
springboot+vue实现阿里OSS
云存储
环境:springboot+vue导入依赖:com.aliyun.ossaliyun-sdk-oss3.11.2yml文件配置:#文件上传--输入对应的信息aliyun:oss:...endpoint:...accessKeyId:secretAccessKey:...bucketName:...工具类:importcom.aliyun.oss.OSS;importcom.aliyun.oss.O
Paige Zhou
·
2024-01-28 18:34
实用工具类
阿里云
spring
boot
vue
PostgreSQL 内置备份工具全解析:pg_dump、pg_dumpall 与 pg_basebackup的区别与用法
1概述PostgreSQL数据库因其强大的功能和可靠性被广泛应用于各类业务场景,而数据备份是
数据库运维
中至关重要的一环。
杨航的技术博客
·
2024-01-28 17:02
postgresql
数据库
4.Doris数据导入导出
导入Doris支持多种数据源导入如S3
HDFS
Kafka本地文件Binlog等官方文档导入的原子性保证Doris的每一个导入作业,不论是使用BrokerLoad进行批量导入,还是使用INSERT语句进行单条导入
夹毛局的程序员
·
2024-01-28 16:27
doris
doris
Doris系列12-数据导入之Broker Load
适用场景:源数据在Broker可以访问的存储系统中,如
HDFS
。数据量在几十到百GB级别。名词解释:Frontend(FE):Doris系统的元数据和调度节点。在导入流程中主要负责导入plan生
只是甲
·
2024-01-28 15:29
大数据处理系统的架构
Lambda架构的主要组成部分包括:批处理层(BatchLayer):存储:使用分布式存储系统(如ApacheHadoop
HDFS
)
demo123567
·
2024-01-28 14:58
大数据
架构
mysql 同步 工具 开源_开源数据同步工具——datax
开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、
weixin_39942572
·
2024-01-28 12:08
mysql
同步
工具
开源
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang
·
2024-01-28 12:38
Presto
Impala元数据简介
SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是,Impala对元数据(Metadata/Catalog)做了缓存,因此在做查询计划生成时不再依赖外部系统(如Hive、
HDFS
stiga-huang
·
2024-01-28 12:05
Impala
开源数据同步工具DataX
DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
快乐江小鱼
·
2024-01-28 12:34
java
开源
java
Hadoop的基础操作
Hadoop的基础操作
HDFS
是Hadoop的分布式文件框架,它的实际目标是能够在普通的硬件上运行,并且能够处理大量的数据。
陆卿之
·
2024-01-28 12:27
大数据
hadoop
大数据
hdfs
66.管理Hive外部表——Sentry
66.1演示环境介绍操作系统:CentOS6.5CM和CDH版本:5.12.1采用root用户操作集群运行正常,Kerberos/
HDFS
/Hive/Impala/Hue服务已与Sentry集成,Hive
大勇任卷舒
·
2024-01-28 11:57
HBase入门、基础原理介绍
1.2HBase架构二、HBase的读写删流程2.1HBase的写入流程2.2HBase的读流程2.3HBase的数据删除一、HBase介绍HBase是一个面向列式存储的分布式数据库,HBase底层存储基于
HDFS
幸福右手牵
·
2024-01-28 09:07
hbase
hbase
hadoop
大数据
HBase入门:运行机制
服务器工作原理用户读写数据的过程缓存的刷新StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用
HDFS
缘友一世
·
2024-01-28 09:07
分布式数据库Hbase探究
hbase
数据库
大数据
mac上搭建hbase伪集群
https://blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+
hdfs
寂夜了无痕
·
2024-01-28 08:15
大数据
macos
hbase
Hive面试题
1)数据存储位置Hive存储在
HDFS
。数据库将数据保存在块设备或者本地文件系统中。2)数据更新Hive中不建议对数据的改写。
肿么肥四啊哈
·
2024-01-28 07:34
hive学习笔记
大数据面试题
hive
hive面试题
本质上是将SQL转换为MapReduce或者spark来进行计算,数据是存储在
hdfs
上,简单理解来说hive就是MapReduce的一个客户端工具。补充1:你可以说一下HQL转换为MR的任务流程吗?
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
RHCE项目:使用LNMP搭建私有
云存储
目录一、准备工作1、关闭防火墙、安全软件2、搭建LNMP环境3、上传软件4、设置nextcloud安装命令权限二、数据库1、设置数据库2、重启数据库三、配置nginx四、安装nextcloud五、内网穿透1、创建内网映射2、linux系统安装花生壳客户端3、重新打开浏览器,输入http://b.oray.com,完成账户登录,激活(SN登录)六、花生壳的域名信任七、测试一、准备工作1、关闭防火墙、
周湘zx
·
2024-01-28 07:58
RHCE
服务器
linux
运维
RHCE
openeuler
【
HDFS
】一天一个RPC系列--updateBlockForPipeline
本文目标是:弄清updateBlockForPipeline这个RPC的作用。弄清updateBlockForPipelineRPC的使用场景,代码里的调用点。一、updateBlockForPipeline的作用其定义在ClientProtocol接口里,是Client与NameNode之间的接口。看其代码注释描述:为一个underconstruction状态下的block获取一个新的GS与ac
叹了口丶气
·
2024-01-28 06:03
HDFS全方位实战
hdfs
rpc
hadoop
【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;
2022-10-2010:43:59,633ERRORorg.apache.hadoop.
hdfs
.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
Java语言积累
java
nio
jvm
【
HDFS
】EC写数据时checkStreamerFailures逻辑
本文试图弄清楚以下问题:checkStreamerFailures方法主要目的是做什么的?checkStreamerFailures方法的调用点(调用时机、条件)?checkStreamerFailures及其周边函数的逻辑。RQ1:checkStreamerFailures方法主要目的是做什么的?此方法的目的是在close流或者每次写完一整个stripe时,对streamer做健康判断。因为ce
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
hdfs
hadoop
大数据
【
HDFS
】一天一个RPC系列--updatePipeline
建议先阅读【
HDFS
】一天一个RPC系列–updateBlockForPipeline本文目标是弄清楚以下问题:弄清updatePipeline这个RPC的作用。
叹了口丶气
·
2024-01-28 06:27
HDFS全方位实战
hdfs
rpc
hadoop
Ubuntu22.04三台虚拟机Hadoop集群安装和搭建(全面详细的过程)
Ubuntu22.04Hadoop集群安装和搭建(全面详细的过程)环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop配置core-site.xml
hdfs
-site.xmlyarn-site.xmlmapred-site.xmlworkers
WuRobb
·
2024-01-28 06:41
hadoop
大数据
分布式
java
openGauss学习笔记-206 openGauss
数据库运维
-常见故障定位案例-too many clients already
文章目录openGauss学习笔记-206openGauss
数据库运维
-常见故障定位案例-toomanyclientsalready206.1高并发报错“toomanyclientsalready”或无法创建线程
superman超哥
·
2024-01-28 04:52
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
openGauss学习笔记-208 openGauss
数据库运维
-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降
文章目录openGauss学习笔记-208openGauss
数据库运维
-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1.1
superman超哥
·
2024-01-28 04:49
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
6.Web服务器(2)
1.3.使用nginx的http_ssl模块建立加密认证网站1.3.1.查看1.3.2.配置文件:1.3.3.ssl配置文件的主要参数1.3.4.实验11.3.5.实验22.项目:使用LNMP搭建私有
云存储
[禾火]
·
2024-01-28 02:49
RHCE
运维
阿里云对象存储OSS打造私人图床&私人
云存储
(1年仅9元)
阿里云对象存储OSS打造私人图床&私人
云存储
(1年仅9元)阿里云对象存储OSS(ObjectStorageService)是一款海量、安全、低成本、高可靠的
云存储
服务,提供99.9999999999%(
王亭_666
·
2024-01-28 00:30
运维
阿里云
云计算
大数据
docker-compose 搭建 nextcloud + onlyoffice 实现在线编辑,
云存储
等多项功能。
添加源yuminstallepel-release-y关闭防火墙,selinux。systemctlstopfirewalldsystemctldisablefirewalldsetenforce0cat/etc/selinux/config安装docker和docker-composeyuminstalldockerdocker-compose-y启动docker添加自起systemctlsta
运维知多少
·
2024-01-27 19:09
k8s
docker
linux
centos
ClickHouse(22)ClickHouse集成
HDFS
表引擎详细解析
文章目录
HDFS
用法实施细节配置可选配置选项及其默认值的列表lib
hdfs
3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章
HDFS
张飞的猪大数据
·
2024-01-27 17:35
clickhouse
hdfs
大数据
hadoop
数据仓库
数据库
教你如何使用七牛
云存储
七牛云官网在七牛云官网可以查看七牛的近期优惠活动,客户展示,存储和流量计费方式和评估,以及其他的一些七牛
云存储
的相关信息。账号注册七牛账号注册传送门身份验证详细说明请查看认证说明文档。
小小码农披荆斩棘
·
2024-01-27 17:33
服务器
教程
GBase 8a 数据迁移工具2---数据加载 “SQL 接口 LOAD DATA INFILE”
支持如下功能:支持本地文件加载支持从通用数据服务器拉取数据加载;支持FTP/HTTP/
HDFS
/SFTP等多种协议;支持多加载机对单表的并行加载,最大化加载性能;支持普通文本、gzip压缩、snappy
Linux有意思吗
·
2024-01-27 14:03
GBASE
sql
数据库
database
数据仓库
dba
uniCloud ----
云存储
目录概念1.web界面2.客户端API或组件上传API自定义样式选择指定后缀图片,且限制选择个数手动上传应用3.云函数上传文件到
云存储
uni.chooseImage(OBJECT)uni.previewImage
前端 贾公子
·
2024-01-27 13:23
状态模式
搭建大数据平台常用的端口号
50070:
HDFS
webUI的端口号8485:journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:master
修勾勾L
·
2024-01-27 13:51
Linux
大数据
人大金仓参与起草《
数据库运维
管理能力成熟度模型》标准
近日,由中国信息通信研究院、中国移动通信集团有限公司、人大金仓等单位参与起草的《
数据库运维
管理能力成熟度模型》标准正式发布。
金仓数据库
·
2024-01-27 13:22
数据库
运维
AWS免费套餐——
云存储
S3详解
文章目录前言一、为什么选择S3二、费用估算三、创建S3
云存储
注册账户登录账户创建存储桶关于官网相关文档总结前言不论个人还是企业,日常开发中经常碰到需要将文档、安装包、日志等文件数据存储到服务器的需求。
中二少年学编程
·
2024-01-27 13:46
aws
github
云计算
YARN 工作原理
1、Hadoop2新增了YARN,YARN的引入主要有两个方面的变更:其一、
HDFS
的NameNode可以以集群的方式部署,增强了NameNode的水平扩展能力和高可靠性,水平扩展能力对应
HDFS
Federation
无羡爱诗诗
·
2024-01-27 13:43
深入浅出
hdfs
源码
1、hadoop基本介绍2、周边生态图3、
hdfs
读源码解析4、
hdfs
写源码解析5、
hdfs
副本机制解读6、
hdfs
常见管理源码解析7、
hdfs
高可用源码解析-ha8、
hdfs
监控源码解析-dnmetrics-nnmetrics
大数据之家
·
2024-01-27 10:39
hdfs
hadoop
大数据
2021-03-07
HDFS
=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive
残月冷无声
·
2024-01-27 10:39
深入浅出
hdfs
-hadoop基本介绍
一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目,这个是由DougCutting开发的开源网络搜索引擎,这个项目刚开始的目标是为了更好的做搜索引擎,后来Google发表了三篇未来持续影响大数据领域的三架马车论文:GoogleFileSystem、BigTable、Mapreduce开始掀起来了大数据的浪潮,paper原文可以参考我的这篇文章CSDN。这三篇论文介绍了如何
大数据之家
·
2024-01-27 10:03
hdfs
hadoop
大数据
云存储
解决方案-华为云OBS服务的基础使用
云存储
解决方案-华为云OBS
云存储
解决方案-华为云OBS1.简介2.开通OBS2.1进入官网2.2充值(可以不做)2.3.开通OBS3.OBS快速入门3.1创建测试工程,引入依赖3.2在测试类中创建方法上传本地文件来测试
张晗的库
·
2024-01-27 10:18
各类工具的入门
华为云
java
开发语言
使用.minio实现元对象的存储学习笔记
它与AmazonS3
云存储
服务API兼容。使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
IT界的_彭于晏_
·
2024-01-27 10:29
java
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他