E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云存储hdfs分布式系统
淘宝的十年「架构变迁」
特别说明:本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题,并非是淘宝真正的技术演进路径基本概念在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进行介绍:
分布式系统
中的多
程序员xysam
·
2024-02-20 08:18
架构
学习
程序人生
java
测试环境搭建整套大数据系统(三:搭建集群zookeeper,
hdfs
,mapreduce,yarn,hive)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建hadoop,yarn,mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
分布式事务
本地事务本地事务是指单个数据库上的事务操作,一个本地事务允许一个数据库连接满足ACID(原子、一致、隔离、持久)刚性事务规范分布式事务分布式事务属于柔性事务,满足CAP和BASE理论CAP:指的是在一个
分布式系统
中
与遨游于天地
·
2024-02-20 07:15
分布式
Hadoop Streaming原理
Streaming简介•MapReduce和
HDFS
采用Java实现,默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶
·
2024-02-20 07:18
springcloud面试题
使用SpringBoot开发分布式微服务时,我们面临以下问题(1)与
分布式系统
相关的复杂性-这种开销包括网络问
陈二狗想吃肉
·
2024-02-20 07:43
SpringCloud-Config:分布式配置
10.SpringCloudConfig分布式配置Dalston.RELEASESpringCloudConfig为
分布式系统
中的外部配置提供服务器和客户端支持。
666-LBJ-666
·
2024-02-20 07:48
SpringCloud
spring
cloud
分布式
spring
2024.2.19 阿里云Flink
两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions,logs,iot,clicksTransformation:事件驱动,ETL,批处理Sink:输出
HDFS
白白的wj
·
2024-02-20 07:05
flink
大数据
生产环境下,应用模式部署flink任务,通过
hdfs
提交
前言 通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到
hdfs
文件管理系统1.实践 (1)生产集群为cdh集群,从cm上下载配置文件,设置环境exportHADOOP_CONF_DIR
但行益事莫问前程
·
2024-02-20 07:04
flink
flink
分布式事务理论基础
cap理论:一致性(C):指在
分布式系统
中,所有节点在同一时刻存储的数值是一样的。举例:访问a节点和访问b节点都能得到一致的响应结果。可用性(A):指在访问服务器时能很快得到响应,但不保证数据正确性。
自律给你自由
·
2024-02-20 06:56
分布式
分布式
远程过程调用解密:探索RPC协议的深度、挑战与未来方向
RPC抽象了网络通信的细节,使得开发
分布式系统
更为简便。2.RPC的工作原理RPC的工作原理包括几个关键步骤:接口定义、客户端代理生成、服务端桩(stub)生成、通信、服务执行和返回结果。
程序员Chino的日记
·
2024-02-20 06:15
rpc
网络协议
网络
主动对象模式(Active Object pattern)
该模式通常用于需要多线程服务器的
分布式系统
中。此外,客户应用,比如窗口系统和网络浏览器,采用主动对象来简化并发和异步的网络操
weixin_30416497
·
2024-02-20 06:06
网络
数据结构与算法
c/c++
白话科普,10s 了解 API
这其中,有很多客户会问:“小拍,请问
云存储
上传除了使用控制台的文件管理和FTP工具之外,有没有其他的途径进行上传呢?”“有哒,您可以调用API接口来进行上传哦。”“请问,什么是API接口呢?
懂电商API接口的Jennifer
·
2024-02-20 06:30
电商API知识分享
java
服务器
前端
爬虫
数据挖掘
网络爬虫
服务端和客户端以及前后端相关概念区分
一、服务端(Server-side)和客户端(Client-side)服务端和客户端是指在
分布式系统
或网络应用中相对的两个部分。是指在计算机网络中不同角色的两个主要实体。
林隐w
·
2024-02-20 05:13
java
计算机网络
java
学习
服务器
以内存为核心的开源分布式存储系统
此外,Tachyon还能够整合众多现有的存储系统(如AmazonS3,Apache
HDFS
,RedHatGlusterFS,OpenStackSwift等),为用
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
从0到1搭建企业
分布式系统
-07-jenkins搭建
开头jenkins主要用来做持续集成,原理是开发人员将代码提交到git后,点击jenkins构建会通过mvn将代码打包成war包,然后自己写一些脚本,发布到具体的应用,实现开发环境自动化部署搭建1.前提条件:已安装jdk已安装maven2.官方下载war将war部署到tomcat中,启动tomcat3.修改配置文件/var/lib/jenkins/config.xml1、这个权限对应“任何用户可以
Coding626
·
2024-02-20 04:03
UC网盘会员权益有哪些,在哪买UC网盘会员最便宜?
UC网盘是UC浏览器推出的一款
云存储
服务,用户可以方便地存储、分享和下载文件。对于UC网盘会员来说,他们可以享受更多的特权和优惠。那么,UC网盘会员的权益有哪些呢?在哪里购买UC网盘会员最便宜呢?
全网优惠分享君
·
2024-02-20 04:20
HBase——基础概念介绍
HBase底层存储基于
HDFS
实现,集群的管理基于ZooKeeper实现。
zhanglf1016
·
2024-02-20 04:43
#
HBase
hbase
数据库
大数据
Spring Cloud Hystrix:服务容错与熔断
1.理解服务容错与熔断1.1服务容错的概念和重要性在
分布式系统
中,由于各种原因(例如网络延迟、服务故障等),服务之间的通信可能会出现故障或者延迟。
星光闪闪k
·
2024-02-20 02:00
Java
Spring
spring
cloud
hystrix
java
后端
spring
架构
分布式事务详解
分布式系统
把一个单体应用拆分为可独立部署的多个服务,因此需要服务与服务之间远程协作才能完成事务操作。
xdpcxq1029
·
2024-02-19 22:11
pandas
mysql
adb
一篇文章带你了解
分布式系统
理论基础 - CAP、BASE
1.CAP理论任何分布式架构设计的系统,只能同时满足CAP中的任意两种,无法同时三种并存。CAP(Consistency、Availability、Partitiontolerance)是三个单词的缩写,分别代表一致性,可用性,分区容错性。这个理论到目前为止都适用于分布式架构系统。1.1Consistency一致性我们知道ACID中事务的一致性是指事务的执行不能破坏数据库数据的完整性和一致性,一个
程序领域
·
2024-02-19 22:59
架构
分布式
浅谈
分布式系统
中的补偿机制设计问题
我们知道,应用系统在分布式的情况下,在通信时会有着一个显著的问题,即一个业务流程往往需要组合一组服务,且单单一次通信可能会经过DNS服务,网卡、交换机、路由器、负载均衡等设备,而这些服务于设备都不一定是一直稳定的,在数据传输的整个过程中,只要任意一个环节出错,都会导致问题的产生。这样的事情在微服务下就更为明显了,因为业务需要在一致性上的保证。也就是说,如果一个步骤失败了,要么不断重试保证所有的步骤
架构文摘
·
2024-02-19 22:59
网络
运维
java
服务器
负载均衡
我理解的
分布式系统
,你需要了解的我都有
前言说到
分布式系统
,不得不说集中式系统。传统集中式系统中整个项目所有的东西都在一个应用里面。
ZYQZXF
·
2024-02-19 22:57
面试官:浅谈
分布式系统
中的补偿机制设计问题?
我们知道,应用系统在分布式的情况下,在通信时会有着一个显著的问题,即一个业务流程往往需要组合一组服务,且单单一次通信可能会经过DNS服务,网卡、交换机、路由器、负载均衡等设备,而这些服务于设备都不一定是一直稳定的,在数据传输的整个过程中,只要任意一个环节出错,都会导致问题的产生。这样的事情在微服务下就更为明显了,因为业务需要在一致性上的保证。也就是说,如果一个步骤失败了,要么不断重试保证所有的步骤
Java精选
·
2024-02-19 22:57
运维
网络
数据库
java
开发语言
10分钟带你了解
分布式系统
的补偿机制
我们知道,应用系统在分布式的情况下,在通信时会有着一个显著的问题,即一个业务流程往往需要组合一组服务,且单单一次通信可能会经过DNS服务,网卡、交换机、路由器、负载均衡等设备,而这些服务于设备都不一定是一直稳定的,在数据传输的整个过程中,只要任意一个环节出错,都会导致问题的产生。这样的事情在微服务下就更为明显了,因为业务需要在一致性上的保证。也就是说,如果一个步骤失败了,要么不断重试保证所有的步骤
咖啡加剁椒
·
2024-02-19 22:53
软件测试
软件测试
自动化测试
功能测试
程序人生
职场和发展
分布式学习笔记
1.CAP理论Consistency(一致性):用户访问
分布式系统
中的任意节点,得到的数据必须一致。Availability(可用性):用户访问集群中的任意健康节点,必须得到相应,而不是超时或拒绝。
重生之Java再爱我一次
·
2024-02-19 20:46
分布式
学习
笔记
分布式相关概念
分布式原理1.CAP理论CAP理论是
分布式系统
中的一个基本理论,它由计算机科学家EricBrewer在2000年提出。
重生之Java再爱我一次
·
2024-02-19 20:15
分布式
马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解
分布式计算原则:移动计算,而不是移动数据hadoop默认包含了
hdfs
、yarn、mapReduce三个组件yarn(YetAnotherResourceNegotiater)是资源调度系统,yarn调配的是内存和
PC_Repair
·
2024-02-19 20:28
ClickHouse--07--Integration 系列表引擎
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录Integration系列表引擎1
HDFS
1.1语法1.2示例:2MySQL2.1语法2.2示例:3Kafka3.1语法3.2示例
知行合一。。。
·
2024-02-19 20:33
数据库
clickhouse
kerberos 合并keytab文件 ktutil
非交互式:printf"%b""rkt/root/keytab/
hdfs
.keytab\nrkt/root/keytab/hive.keytab\nwkt/root/keytab/merged.keytab
brandblue
·
2024-02-19 19:51
合并keytab文件
ktutil
kerberos
Docker实用篇
分布式系统
中,依赖的组件非常多,不同组件之间部署时往往会产生一些冲突。
是程序喵呀
·
2024-02-19 18:56
Java
docker
容器
运维
如何保证MySQL和Redis的数据一致性?
图片来自Pexels什么是数据的一致性一致性就是数据保持一致,在
分布式系统
中,可以理解为多个节点中数据的值是一致的。而一致性又可以分为强一致性与弱一致性。
架构师小秘圈
·
2024-02-19 18:50
数据库
队列
分布式
redis
java
第五节 zookeeper集群与分布式锁_2
分布式锁:分布式锁,即
分布式系统
做个专注的工程师
·
2024-02-19 16:01
#
zookeeper
zookeeper
文件上传-第三方服务阿里云OSS
阿里云官网地址:对象存储OSS_
云存储
服务_企业数据管理_存储-阿里云阿里云对象存储OSS是一款海量、安全、低成本、高可靠的
云存储
服务,提供99.9
sunyunfei1994
·
2024-02-19 16:54
阿里云
java
《
分布式系统
原理介绍》要点简记
数据备份机制问题:机器宕机导致数据丢失问题解决:无状态节点则无需读取读取任何信息就可以立刻重新“可用”有状态节点可以通过读取本地存储设备中的信息或通过读取其他节点数据的方式恢复内存信息有状态是指是否是保存数据的节点序列号机制问题:消息乱序解决:给消息排号,按照版本号进行消费校验码机制问题:数据错误消息被抓包篡改解决:使用一定的校验码机制可以较为简单的检查出网络数据的错误,从而丢弃错误的数据序列号机
猫哥灬01
·
2024-02-19 16:52
分布式
面试
分布式
SpringCloud-搭建Nacos配置中心
在微服务架构中,配置管理是至关重要的一环,Nacos提供了可靠、动态的配置管理功能,为
分布式系统
的配置中心提供了便捷的解决方案。
Damon小智
·
2024-02-19 15:45
Java
spring
cloud
java
nacos
配置管理
微服务
分布式
后端
消息中间件管理系统-RabbitMQ及其两类传输模型
MQ,意思为消息队列,
分布式系统
中的重要组件,用它就可以实现应用解耦、异步消息、流量削峰等问题。消息队列产品有很多,企业级应用较广泛的就是RabbitMQ。
sunyunfei1994
·
2024-02-19 14:08
rabbitmq
分布式
什么是RabbitMQ?
一、引言RabbitMQ是一个开源的消息代理软件,用于在
分布式系统
中传递消息。
张万森的救赎
·
2024-02-19 14:35
rabbitmq
分布式
RabbitMQ:
分布式系统
中的高效消息队列
摘要RabbitMQ是一款开源、高度可靠、灵活性强的消息队列系统,被广泛应用于
分布式系统
中。
张万森的救赎
·
2024-02-19 12:48
rabbitmq
分布式
现阶段适用于 单一架构 还是 分布式架构 ?
劣势:开发和部署比较复杂,需要考虑
分布式系统
的一些问题,如分布式
小Mie不吃饭
·
2024-02-19 12:41
JAVA
架构
分布式
【2019-04-28】Hadoop分布式文件系统
Hadoop自带
HDFS
(hadoopdistributefilesystem)。
HDFS
默认数据块128M。
BigBigFlower
·
2024-02-19 11:56
Hadoop搭建之 start-yarn.sh 报错
在搭建伪分布式的Hadoop集群环境时,在配置基础环境了并成功开启了
HDFS
组件后,jps查看已运行的名称节点和数据节点进程,[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪
·
2024-02-19 11:58
java
hadoop
hdfs
大数据
运维
网络
Thinkphp6+Uniapp+微信小程序上传图片到阿里云OSS
阿里云对象存储OSS(ObjectStorageService)是一款海量、安全、低成本、高可靠的
云存储
服务。
·
2024-02-19 10:05
低代码平台+阿里
云存储
:让业务开发更简单,数据存储更安全
阿里云作为国内领先的云计算服务提供商,其
云存储
服务备受用户信赖。然而,对于很多非技术人员来说,如何将低代码平台与阿里
云存储
对接是一个难题。
·
2024-02-19 10:33
低代码阿里云
golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器
Golang是一种快速、高效的编程语言,它在云计算和
分布式系统
中广泛使用。随着软件工程越来越复杂,RPC(远程过程调用)框架成为了重要的组件之一。
SMILY12138
·
2024-02-19 10:32
golang
rpc
开发语言
魅族宣布:停止传统手机新项目;宝马确认发生数据泄露事件;Sora助推OpenAI估值飙升275% | 极客头条
大厂发开工红包:小米最低10块,腾讯最低400魅族停止传统手机项目,后续将推出AI终端产品宝马确认发生数据泄露事件:宝马
云存储
服务器配置错误雷军:小米北京昌平智能工厂正式落成投产,年产千万台旗舰手机
极客日报
·
2024-02-19 10:52
智能手机
Raft协议如何解决
分布式系统
一致性问题
先要明确的几个概念Raft协议是基于paxosmulti的,属于全新优化精简版本,更加容易实现和理解。zookeeper用的zab协议跟raft基本一样,就是心跳方向是反的,raft是leader向follower发送心跳,zab是follower向leader发送心跳询问leader健康状况。再有一个就是,raft、paxos、zab这些属于强一致性协议,与之相对的还有弱一致性协议,比如DNS的
肥兔子爱豆畜子
·
2024-02-15 10:56
[AIGC] Kafka 的 Rebalance 机制:保证分区的可靠性和高可用性
在
分布式系统
中,Kafka是一种流处理平台,具有高吞吐量、低延迟和可扩展性等特点。在Kafka中,消费者组是一组消费者的集合,它们共同消费一个topic的所有分区。
程序员三木
·
2024-02-15 10:55
AI
kafka
分布式
配置hive on spark
配置hiveonspark1、上传Spark纯净版jar包到
HDFS
:
hdfs
dfs-mkdir/spark-jars
hdfs
dfs-put/opt/spark/jars/*/spark-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive on spark配置经验
常规配置配置完,开启hadoop,开启spark(如果在
hdfs
上上传了纯净版的spark则不需要开启),开启hive注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
Spring
Spring是一款非常优秀而且功能强大的框架,可以简化开发、框架整合一、初识Spring1.Spring能做什么用以开发web、微服务以及
分布式系统
等,光这三块就已经占了JavaEE开发的九成多。
小白在努力~~
·
2024-02-15 10:15
spring
java
后端
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他