E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云存储hdfs分布式系统
Spring Boot + 七牛OSS: 简化
云存储
集成
引言SpringBoot是一个非常流行的、快速搭建应用的框架,它无需大量的配置即可运行起来,而七牛云OSS提供了稳定高效的云端对象存储服务。利用两者的优势,可以为应用提供强大的文件存储功能。为什么选择七牛云OSS?七牛云OSS提供了高速的文件传输服务。它有完备的安全机制,保障你的数据安全。提供了良好的API支持,让开发者可以方便的集成到自己的应用中。准备工作在开始之前,你需要准备以下内容:JDK1
奇遇少年
·
2024-02-09 06:33
SpringBoot
spring
boot
后端
java
Kubernetes的有状态应用示例:ZooKeeper
node故障持久化存储参考环境RHEL9.3DockerCommunity24.0.7minikubev1.32.0ZooKeeper简介ApacheZooKeeper是一个分布式的开源协调服务,用于
分布式系统
蓝黑2020
·
2024-02-09 06:03
Kubernetes
kubernetes
zookeeper
statefulset
Spark SQL(十一):与Spark Core整合
1、筛选出符合查询条件(城市、平台、版本)的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数,倒序排序4、将数据保存到hive表中3、实现思路:1、针对原始数据(
HDFS
雪飘千里
·
2024-02-09 06:34
2020-11-04
只要是一堆机器,就可以叫做集群,但他们是不是一起干活就不知道了;而
分布式系统
是若干独立计算机的集合,这些计算机对于用户来说像单个相关系统分
肝点啥_董晓宁
·
2024-02-09 02:51
UUID和雪花(Snowflake)算法该如何选择?
UUID和Snowflake都可以生成唯一标识,在
分布式系统
中可以说是必备利器,那么我们该如何对不同的场景进行不同算法的选择呢,UUID简单无序十分适合生成requestID,Snowflake里面包含时间序列等
Java方文山
·
2024-02-09 00:20
IT界的那些事儿
oracle
数据库
自建对象存储服务MINIO在使用NGINX进行反向代理时出现对象无法正常共享的解决办法
它与AmazonS3
云存储
服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/VM镜像等。对象的大小可以从几KB到最大5TB。
SY
·
2024-02-08 13:29
No.2大数据入门 | 环境搭建:jdk1.8安装及环境配置
上一篇文章我们安装了虚拟机以及linux操作系统,接下来就要安装在操作系统上运作的大数据核心hadoop
分布式系统
基础架构!
滚滚红尘_8133
·
2024-02-08 11:43
Hadoop多次格式化后如何解决
产生原因我们在配置hadoop中的
hdfs
时,会设置元数据的存储位置,如图所示要想解决此问题,先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件,这里三台机器都要删,最后进入hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安
·
2024-02-08 11:50
笔记
Hadoop
云计算
hadoop
hdfs
《Redis开发与运维》学习笔记3:主从复制,哨兵和集群
这篇主要整理第六章,第九章和第十章的内容,聚焦于Redis的分布式和集群部分,转载注明出处:https://blog.csdn.net/Koikoi12复制复制可以在
分布式系统
中实现相同数据的多个Redis
Koikoi123
·
2024-02-08 10:50
redis
运维
学习
java
后端
七种常见分布式事务详解(2PC、3PC、TCC、Saga、本地事务表、MQ事务消息、最大努力通知)
分布式事务:在
分布式系统
中一次操作需要由多个服务协同完成,这种由不同的服务之间通过网络协同完成的事务称为分布式事务一、2PC:2PC,两阶段提交,将事务的提交过程分为资源准备和资源提交两个阶段,并且由事务协调者来协调所有事务参与者
屌丝的程序员
·
2024-02-08 09:59
分布式
分布式事务
Hadoop生态漏洞修复记录
Hadoop常用端口介绍
HDFS
NameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。
·
2024-02-08 08:30
hadoop
大数据
分布式
Hadoop2.7配置
core-site.xmlfs.defaultFS
hdfs
://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hadoop
大数据
hdfs
HDFS
执行balance报错:
hdfs
balance java.io.IOException: Another Balancer is running.. Exiting
现象:1、大数据Hadoop集群,
HDFS
扩容后,为了使各节点数据均衡,执行balance操作。2、启动
hdfs
balance时,一直出现其他的balance在执行中,其实并没有执行。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
Hadoop
hdfs
hadoop
java
hadoop调优-
hdfs
配置优化
配置文件
hdfs
-site.xml生产环境建议优化:dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
Hadoop
hadoop
hdfs
big
data
hive自定义UDF依赖第三方jar包
上传jar包到
HDFS
上
hdfs
dfs-putxxxx.jar/tmp/hive/创建永久函数:createfunctionmy_funas'com.test.TestUDF'usingjar'
hdfs
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
hive
hive
jar
hadoop
spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104
报错:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.
hdfs
.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
删除和清空Hive外部表数据
外部表和内部表区别未被external修饰的是内部表(managedtable),被external修饰的为外部表(externaltable);区别:内部表数据由Hive自身管理,外部表数据由
HDFS
SunnyRivers
·
2024-02-08 08:53
Hive
hive
drop
truncate
外部表
删除外部表
BAT架构师进阶:大型网站架构书籍推荐
“书籍推荐分为如下:大型网站架构系列
分布式系统
系列BAT技术系列架构设计系列一:大型网站架构系列第一本:《大型网站技术架构:核心原理与案例分析》这本书主要从大型网站架构的特点,架构目标(高性能,高可用,
liuhuiteng
·
2024-02-08 07:40
架构师
架构师
分布式事务解决方案AT模式
AT模式是Seata框架中的一种分布式事务解决方案,它利用两阶段提交(2PC)的概念,通过日志记录(在undo_log中)来实现在
分布式系统
中数据的一致性。
辞暮尔尔-烟火年年
·
2024-02-08 06:50
微服务
分布式
分布式事务解决方案2阶段模式
两阶段提交(2PC)是最著名的分布式事务协议之一,它可以确保
分布式系统
中的事务能够以原子方式提交或回滚。2PC分为两个阶段:准备阶段(第一阶段)和提交阶段(第二阶段)。
辞暮尔尔-烟火年年
·
2024-02-08 06:20
微服务
分布式
sqoop导入数据到
hdfs
Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据:将MySQL,Oracle导入数据到Hadoop的
HDFS
、HIVE、HBASE等数据存储系统导出数据:从Hadoop
鲲鹏猿
·
2024-02-08 06:40
hdfs
sqoop
hadoop
ASP.NET Core 企业级开发架构简介及框架汇总
水平方向架构是指将大应用分成若干小的应用实现系统功能的架构,同时这样的系统叫做
分布式系统
。在架构上Java和.Net世界都有优秀的框架支持构建垂直和水平方向架构。
aydh696
·
2024-02-08 06:38
2024-02-07(Sqoop,Flume)
1.Sqoop的增量导入实际工作中,数据的导入很多时候只需要导入增量的数据,并不需要将表中的数据每次都全部导入到hive或者
hdfs
中,因为这样会造成数据重复问题。
陈xr
·
2024-02-08 06:35
随记日志
sqoop
flume
2023大数据必看面试题
1、请讲述
HDFS
输入文件的具体步骤?
东方同学
·
2024-02-08 05:38
大数据
面试题
大数据
hadoop
java
【30秒看懂大数据】数据存储
PS:本文属专栏第27篇公众号:知幽科技简单说数据存储是指将数据保存在计算机或其他媒体上,以备将来检索和使用,就像保存文件在电脑硬盘或
云存储
中一样。
风姑娘数据说
·
2024-02-08 04:23
大数据
生活中的数据学
大数据
数据分析
数据可视化
信息可视化
消息队列使用的四种场景介绍
一、简介消息队列中间件是
分布式系统
中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。
Bin哥厉害7
·
2024-02-08 03:19
java
spring
boot
消息队列
大数据到底是干什么用的?
那真正使用大数据技术的地方且比较有代表性的产品有那些:
云存储
:中国比较好的有百度云,国外比较好的有AWS等。正是因为有这些产品的出现,数据在云端的概念才终于变成现实了,大家都不用踹着U盘到处跑了。
web前端05
·
2024-02-08 01:46
如何在win系统部署开源云图床Qchan并无公网ip访问本地存储图片
.Qchan网站搭建1.1Qchan下载和安装1.2Qchan网页测试1.3cpolar的安装和注册2.本地网页发布2.1Cpolar云端设置2.2Cpolar本地设置3.公网访问测试总结前言图床作为
云存储
的一项重要应用场景
小沈YO.
·
2024-02-08 01:22
linux
网易和腾讯面试题精选---性能和优化面试问题
从理解CPU缓存层次结构的复杂性到利用高级缓存机制,从优化数据库交互到微调
分布式系统
,这本综合指南提供了对性能优化的多方面的见解。面试问答1
前网易架构师-高司机
·
2024-02-08 00:15
服务器面试题
面试
性能优化
区块链服务网络BSN:做下一代互联网的先行者
随着分布式技术应用的推广和普及,以及商业场景和数据交互的日趋复杂化,多信息化系统之间形成多方
分布式系统
的需求越来越明确,未来的互联网上将会出现无数开放、透明的分布式网络环境(多方网络),而区块链服务网络
区块链服务网络(BSN)
·
2024-02-08 00:37
BSN大咖观点
区块链
BSN
网络
2、分布式基础之一致性协议、2PC和3PC
分布式系统
中,进行数据库事务提交(committransaction)、Leader选举、序列号生成等都会遇到一致性问题。
小manong
·
2024-02-07 23:20
如何避免云迁移出现错误
当您运行
云存储
时,可能会出现您对服务提供商不满意并希望迁移到其他云提供商的情况。这肯定是正确的一步,但许多人觉得云迁移不是是一项非常关键的任务。
田鑫科技
·
2024-02-07 19:28
hive之DDl数据定义
1.Hive在
HDFS
上的默认存储路径Hive的数据都是存储在
HDFS
上的,默认有一个根目录,在hive-site.xml中,由参数hive.metastore.warehouse.dir指定。
嚄825
·
2024-02-07 19:32
hive
hadoop
大数据
HDFS
之 数据管理(namespace 和 slaves)
1、namespaceNamespace在
HDFS
中是一个非常重要的概念,也是有效管理数据的方法。Namespace有很多优点:可伸缩性。使
HDFS
集群存储能力可以轻松进行水平拓展;系统性能。
Studying!!!
·
2024-02-07 17:57
中间件
hdfs
hadoop
大数据
HDFS
架构 之 服务视图
1、简介为实现以上特性,
HDFS
包含的各个服务模块都是经过精心设计的,
HDFS
的服务视图如图。
HDFS
的服务视图包含三大部分:核心服务、公共服务和拓展服务。2、核心服务1)Namenode。
Studying!!!
·
2024-02-07 17:27
中间件
hdfs
hadoop
大数据
HDFS
架构 之 元数据架构解析
1.1namenode启动流程1.1.1启动流程1、加载fsimage文件FsImage是一种持久化到磁盘上的文件,里面包含了集群大部分的meta数据,持久化的目的主要是为了防止meta数据丢失,也就是在
HDFS
Studying!!!
·
2024-02-07 17:23
中间件
hdfs
架构
hadoop
什么是对象存储系统
对象
云存储
有助于应对不断增长的数据量。它是当今可用的最有效的解决方案之一。什么是对象存储简单来说,就是存储非结构化数据。可扩展性是对象存储本质上是一种云服务的原因。
互联网哪些事情
·
2024-02-07 15:28
服务器
云服务器
什么是对象存储
对象云存储有什么优势
什么是对象存储系统
特网云
对象存储系统是什么
【架构】K8s中部署轻量级日志系统Loki
它的设计初衷是为了解决在大规模
分布式系统
中,处理海量日志的问题。Loki采用了分布式的架构,并且与Prometheus、Grafana密切集成,可以快速地处理大规模的日志数据。
奔向理想的星辰大海
·
2024-02-07 15:54
Kubernetes
架构
技术研发
架构
kubernetes
容器
DataX概述
1.概述DataX是阿里开源的的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据开发工程师-宋权
·
2024-02-07 14:01
DataX
hadoop
阿里云datax工具使用详解
datax介绍特征安装前准备工作-系统需求快速开始补充datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、
HDFS
王春星
·
2024-02-07 14:01
数据高效导入工具
大数据数据迁移工具选择
快速导数据工具
异构数据源导入工具
大数据工具
datax安装与使用详解
一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、
HDFS
、Hive、HBase
jhchengxuyuan
·
2024-02-07 14:00
hadoop
大数据
datax
大数据
零代码3D可视化快速开发平台
老子云平台老子云3D可视化快速开发平台,集云压缩、云烘焙、
云存储
云展示于一体,使3D模型资源自动输出至移动端PC端、Web端,能在多设备、全平台进行展示和交互,是全球领先、自主可控的自动化3D云引擎。
老子云平台
·
2024-02-07 12:57
3d
倾斜摄影轻量化
模型轻量化
智慧城市
老子云
模型
整合RabbitMQ实现消息异步发送
消息队列中间件消息队列中间件是
分布式系统
中重要的组件,主要解决应用耦合,异步消息,流量削峰等问题。
刚满十八工地搬砖
·
2024-02-07 12:13
rabbitmq
分布式
Hadoop分布式计算实验踩坑实录及小结
目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介
HDFS
SomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_
·
2024-02-07 10:08
HIT
hadoop
分布式
ubuntu
java
大数据命令,一文在手,全部都有(送纯净版文档)
比如linux,kafka命令就比较多,
hdfs
操作也多。但是对于HBase.....这类框架命令比较少,就不再本篇展示。望周知。其中内容包含以下,具体命令会一一介绍。
大数据左右手
·
2024-02-07 09:35
大数据
大数据
zookeeper
hadoop
flink
linux
java面试题:分布式和微服务的区别
分布式系统
是部署层面的东西,即强调物理层面的组成,即系统的各子系统部署在不同计算机上。2分布式和微服务含义不同微服务架构是一种将一个单一应用程序开发为,一组小型服务的方法,每个服务运行在自己的进程中。
不死鸟.亚历山大.狼崽子
·
2024-02-07 09:10
java面试题
架构
java
分布式
rclone基础命令解析及实战
它支持超过40种不同的
云存储
服务,包括AmazonS3,GoogleDrive,Dropbox,MicrosoftOneDrive,GoogleCloudStorage,AmazonDrive,OpenStac
NPE~
·
2024-02-07 08:34
demo
rclone
同步
存储
云厂商
教程
go
Spring Cloud Neflix Hystrix入门使用
1.概述Hystrix是Netflix开源的一个针对
分布式系统
容错处理的组件,Netflix公司的项目里大量用到了Hystrix,Hystrix单词意为:“豪猪”,浑身有刺来保护自己。
NullzzZ
·
2024-02-07 07:25
spring
cloud
hystrix
spring
spring
boot
java
后端
微服务
原来还可以使用 DataX 进行数据同步
DataX实现了包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
lytao123
·
2024-02-07 06:16
➤
数据库
big
data
hive
java
DataX
Clickhouse
Clickhouse到HBase(Phoenix)数据导入 DataX
DataXDataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
布尔科技技术团队
·
2024-02-07 06:44
hbase
oracle
postgresql
数据仓库
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他