E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式日志系统
【2019-04-28】Hadoop
分布式
文件系统
Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。HDFS有两类工作节点:一个管理节点namenode、多个工作节点datenode,namenode维护文件系统树以及整颗树内所有的文件和目录。namenode记录每个文件中各个数据块所在的数据节点信息。但不永久保存块的位置信息,这些信息会在系统启动时根据数据节点信息重建。namenode
BigBigFlower
·
2024-02-19 11:56
Hadoop搭建之 start-yarn.sh 报错
在搭建伪
分布式
的Hadoop集群环境时,在配置基础环境了并成功开启了HDFS组件后,jps查看已运行的名称节点和数据节点进程,[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪
·
2024-02-19 11:58
java
hadoop
hdfs
大数据
运维
网络
Day 25 25.2 Scrapy框架之
分布式
爬虫(scrapy_redis)
分布式
爬虫(scrapy_redis)
分布式
爬虫是指将一个大型的爬虫任务分解成多个子任务,由多个爬虫进程或者多台机器同时执行的一种爬虫方式。
Chimengmeng
·
2024-02-19 11:22
scrapy
分布式
爬虫
redis
python
微信发送一条消息经历哪些过程。企业微信以及钉钉的IM架构对比
目前已经写的IM的文章
分布式
websocket即时通信(IM)系统构建指南【第七期】分布
呆呆呆呆梦
·
2024-02-19 11:49
企业微信
钉钉
架构
基于scrapy框架的单机爬虫与
分布式
爬虫
我们知道,对于scrapy框架来说,不仅可以单机构建复杂的爬虫项目,还可以通过简单的修改,将单机版爬虫改为
分布式
的,大大提高爬取效率。
Jesse_Kyrie
·
2024-02-19 11:47
python爬虫综合
scrapy
爬虫
分布式
【区块链技术开发语言】在ubuntu18 系统环境下命令操作配置以太坊go-ethereum环境
一、概述项目简介:以太坊是一个基于区块链技术的
分布式
平台,用于构建去中心化应用程序(DApps)。go-ethereum是以太坊官方开发团队维护的Go语言实现的以太坊客户端,也被称为Geth。
源代码杀手
·
2024-02-19 11:41
区块链技术开发
开发语言
区块链
golang
读TiDB源码聊设计:浅析HTAP的SQL优化器
1.引子如果让你做一个
分布式
数据库的优化器,面对以下的SQL,你会想到什么好的方法去执行他们呢?
·
2024-02-19 11:23
tidbgo性能优化分布式系统
阿里云计算平台大数据基础工程技术团队直聘!!!
通过软件工程,数据智能化的方法论,围绕数据系统化建设运维智能工具链,打造飞天大数据&AI运维管控平台ABM,解决超大规模
分布式
集群运维管理问题,提升产品的稳定性
·
2024-02-19 11:20
大数据
抗D盾是游戏盾吗
游戏盾有哪些功能呢游戏盾包含抗D节点,通过
分布式
的抗D节点,游
·
2024-02-19 11:42
服务器
Go RPC 远程过程调用
在
分布式
计算,远程过程调用是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间的子程序,而程序员就像调用本地程序一样,无需额外地为这个交互作用编程。
CDFMLR
·
2024-02-19 10:26
go
rpc
分布式
文件系统 SpringBoot+FastDFS+Vue.js【四】
分布式
文件系统SpringBoot+FastDFS+Vue.js【四】八、文件的下载和删除功能8.1.FastDFSClient.java8.2.FileServerController.java8.3
良辰美景好时光
·
2024-02-19 10:21
vue
springboot
spring
boot
vue.js
后端
分布式
文件系统 SpringBoot+FastDFS+Vue.js【二】
分布式
文件系统SpringBoot+FastDFS+Vue.js【二】六、实现上传功能并展示数据6.1.创建数据库6.2.创建springboot项目fastDFS-java6.3.引入依赖6.3.fastdfs-client
良辰美景好时光
·
2024-02-19 10:20
springboot
vue
spring
boot
vue.js
后端
分布式
文件系统 SpringBoot+FastDFS+Vue.js【三】
分布式
文件系统SpringBoot+FastDFS+Vue.js【三】七、创建后台--分角色管理7.1.创建后台数据库表7.2.创建实体类7.2.1.Admin7.2.2.Menu7.2.3.MenuBean7.2.4
良辰美景好时光
·
2024-02-19 10:20
vue
springboot
spring
boot
vue.js
闲聊从防火墙,到VPC再到服务鉴权的技术发展过程
因为最近我们的
分布式
项目上,一直在讨论设计,服务之间如何鉴权?鉴权发生在什么样的场景里?同一个租户内的服务之间需不需要鉴权?不通租户之间的服务访问该如何鉴权?
G探险者
·
2024-02-19 10:48
java
分布式
系统架构
jsonrpc
远程过程调用是一个
分布式
计算的客户端-服务器(Client/Server)的例子,它简单而又广受欢迎。远程过程调用总是由
田园园野
·
2024-02-19 10:48
分布式
golang-爬虫
golang
rpc
jsonrpc
分布式
MapReduce
MapReduce定义mapReduce是一个
分布式
运算程序的编程框架,是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314
·
2024-02-19 10:46
大数据
haoop
MapReduce
hadoop
mapreduce
大数据
腾讯云OSS文件上传功能
它具有以下特点和优势:高可靠性:采用
分布式
存储架构,数据会在多个设备上进行冗余备份,确保数据的高可靠性和持久性。弹性扩展:支持根据业务需求自动扩展存储容量,无需担心存储空间不足的问题。
奋力向前123
·
2024-02-19 10:37
java
腾讯云
java
服务器
一篇文章彻底搞懂 TiDB 集群各种容量计算方式
作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供
分布式
数据库TiDB整体解决方案的专业技术团队。
·
2024-02-19 10:17
tidb数据库
当你在浏览器中输入网址后发生了什么?
它作为将域名和IP地址相互映射的一个
分布式
数据库,能够使人更方便地访问互联网。DNS
·
2024-02-19 10:05
面试chromedns解析
Pulsar Standalone服务搭建
PulsarStandalone服务搭建说明简介ApachePulsar是Apache软件基金会顶级项目,是下一代云原生
分布式
消息流平台,集消息、存储、轻量化函数式计算为一体。
aileen5150
·
2024-02-19 10:04
docker
golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器
Golang是一种快速、高效的编程语言,它在云计算和
分布式
系统中广泛使用。随着软件工程越来越复杂,RPC(远程过程调用)框架成为了重要的组件之一。
SMILY12138
·
2024-02-19 10:32
golang
rpc
开发语言
Hive入门,Hive是什么?
它是建立在Hadoop生态系统之上的,利用Hadoop的
分布式
存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
从kafka如何保证数据一致性看通常数据一致性设计
有些组件的数据不一定需要高度保证数据的一致性,比如
日志系统
。本节从从kafka如何保证数据一致性看通常数据一致性设计。二、kafka那些环节存在
奋力向前123
·
2024-02-19 10:22
java
kafka
数据库
分布式
sensitive-word-admin v1.3.0 发布 如何支持敏感词控台
分布式
部署?
拓展阅读sensitive-word-adminv1.3.0发布如何支持
分布式
部署?
·
2024-02-19 10:51
后端java
Raft协议如何解决
分布式
系统一致性问题
先要明确的几个概念Raft协议是基于paxosmulti的,属于全新优化精简版本,更加容易实现和理解。zookeeper用的zab协议跟raft基本一样,就是心跳方向是反的,raft是leader向follower发送心跳,zab是follower向leader发送心跳询问leader健康状况。再有一个就是,raft、paxos、zab这些属于强一致性协议,与之相对的还有弱一致性协议,比如DNS的
肥兔子爱豆畜子
·
2024-02-15 10:56
[AIGC] Kafka 的 Rebalance 机制:保证分区的可靠性和高可用性
在
分布式
系统中,Kafka是一种流处理平台,具有高吞吐量、低延迟和可扩展性等特点。在Kafka中,消费者组是一组消费者的集合,它们共同消费一个topic的所有分区。
程序员三木
·
2024-02-15 10:55
AI
kafka
分布式
DolphinScheduler安装与配置
DolphinScheduler概述ApacheDolphinScheduler是一个
分布式
、易扩展的可视化DAG工作流任务调度平台。
在下区区俗物
·
2024-02-15 10:22
Dolphin
如何在极低成本硬件上落地人工智能算法 ——
分布式
AI
一、背景
分布式
AI的发展前景非常广阔,随着5G、6G等高速网络通信技术的普及和边缘计算能力的提升,以及AI算法和硬件的不断优化进步,
分布式
AI将在多个领域展现出强大的应用潜力和市场价值:1.
初心不忘产学研
·
2024-02-15 10:20
人工智能
分布式
AI编程
迁移学习
物联网
Spring
Spring是一款非常优秀而且功能强大的框架,可以简化开发、框架整合一、初识Spring1.Spring能做什么用以开发web、微服务以及
分布式
系统等,光这三块就已经占了JavaEE开发的九成多。
小白在努力~~
·
2024-02-15 10:15
spring
java
后端
Jmeter
分布式
部署测试-----远程连接多台电脑做压力性能测试
原文链接https://www.cnblogs.com/whitewasher/p/6946207.html在使用Jmeter进行接口的性能测试时,由于Jmeter是JAVA应用,对于CPU和内存的消耗比较大,所以,当需要模拟数以万计的并发用户时,使用单台机器模拟所有的并发用户就有些力不从心,甚至会引起JAVA内存溢出错误。为了让jmeter工具提供更大的负载能力,这时可以使用Jmeter提供的分
微笑的AK47
·
2024-02-15 10:06
Spring Cloud Eureka:服务注册与发现
1.介绍SpringCloudEureka1.1什么是SpringCloudEurekaSpringCloudEureka是SpringCloud生态中的一个服务注册与发现组件,用于构建
分布式
系统中的服务注册中心
星光闪闪k
·
2024-02-15 09:41
Java
Spring
spring
cloud
eureka
spring
后端
架构
docker (一)-简介
无论是单个程序还是多个程序组成的复杂服务,或者
分布式
系统,都可以使用dockerrun或dockercompos
小关暗器
·
2024-02-15 09:56
docker
容器
运维
ES+Logstash+Kibana(ELK)部署---废弃版,请勿参考
它们分别是:Elasticsearch(ES):一个开源的
分布式
搜索引擎,用于全文搜索、分析和可视化大量数据。
小关暗器
·
2024-02-15 09:25
elasticsearch
elk
大数据
[缓存] - 1.缓存共性问题
1.1高并发一般来说,如果10Wqps,或者20Wqps,可使用
分布式
缓存来抗。比如redis集群,6主6从:主提供读写,从作为备,从不提供读写服务。
don't_know
·
2024-02-15 09:20
缓存
SpringCloud之Eureka注册中心和负载均衡
SpringCloud之Eureka注册中心和负载均衡微服务技术栈认识微服务单体架构
分布式
架构微服务微服务拆分及远程调用微服务拆分注意事项Eureka注册中心提供者与消费者原理分析服务调用出现的问题Eureka
Gunalaer
·
2024-02-15 09:13
springcloud
spring
cloud
eureka
负载均衡
Kafka(一)
第1章Kafka概述1.1定义Kafka传统定义:Kafka是一个
分布式
的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。
xxxxxxxpp
·
2024-02-15 09:10
Kafka
kafka
分布式
java
分布式
缓存上—浅谈缓存的理解
文章目录1.概述1.1概念1.2作用1.3原理2.缓存的分类2.1CDN缓存应用场景优点2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.
分布式
缓存
ZNineSun
·
2024-02-15 09:39
分布式
缓存
CDN
设计原则
反向代理
过期策略
大数据搜索引擎之ElasticSearch安装篇(资源)
简述如下:Elasticsearch是个开源
分布式
搜索引擎,特点网上一搜到处是:
分布式
,零配置,
weixin_34049948
·
2024-02-15 08:38
大数据
运维
java
浅谈
分布式
缓存解决方案!
接口高并发的解决思路:加缓存数据静态化集群
分布式
同步转异步限流、降级适合加缓存的场景:读多写少的数据,不经常需要修改的数据、一致性要求不高(数据只能保持最终一致性,不能保证数据同步一致性)缓存的概念1)
肥肥技术宅
·
2024-02-15 08:37
java
缓存
分布式
java
(三十七)大数据实战——Solr服务的部署安装
前言Solr是一个基于ApacheLucene的开源搜索平台,它提供了强大的全文搜索、
分布式
搜索和数据分析功能。Solr可以用于构建高性能的搜索应用程序,支持从海量数据中快速检索和分析信息。
厉害哥哥吖
·
2024-02-15 08:05
大数据
大数据
solr
浅谈业务场景中缓存的使用
业务场景中缓存的使用一、背景二、缓存分类1.本地缓存2.
分布式
缓存三、缓存读写模式1.读请求2.写请求四、缓存穿透1.缓存空对象2.请求校验3.请求来源限制4.布隆过滤器五、缓存击穿1.改变过期时间2.
临江蓑笠翁
·
2024-02-15 08:05
Java
缓存
redis
数据库
注解方式优雅实现Redission
1、背景实际开发过程中,一些高并发场景需要保证接口执行的一致性,通常采用加锁的方式,本地锁Reentrantlock和Synchnorized虽然可以实现但是不适用于
分布式
部署模式,而redis的setnx
Zhaozz!
·
2024-02-15 08:33
redis
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘
2023年已经过去,TiDB经过了一年的迭代,又往前进步了一点点,我们非常自豪的看到,TiDB正在不断地帮助我们的客户成功,包括但不限于:○首个云原生、
分布式
、全栈国产化银行核心业务系统投产上线丨TiDB
TiDB_PingCAP
·
2024-02-15 08:54
开源
分布式
数据库
TiDB
tidb
TiDB 在医疗保障信息平台的应用实践
在某地市医疗保障信息平台的实践中,TiDB
分布式
数据库有效实现了在线交易和实时分析服务,日均QPS达22,000,总数据量接近30TB,降低了系统开发和维护成本,推动医疗保障信息平台的数字化和智能化发展
TiDB_PingCAP
·
2024-02-15 08:53
tidb
开源
分布式
数据库
TiDB
Dubbo
Dubbo是一个
分布式
服务框架,致力于提供透明化的RPC远程服务调用方案,以及SOA服务治理方案。它支持服务注册与发现、负载均衡、容错、
分布式
调用等功能,并且可以和Spring框架无缝集成。
杀了小惠
·
2024-02-15 08:22
dubbo
LeetCode、452. 用最少数量的箭引爆气球【中等,贪心,区间问题】
涵盖技术内容:Java后端、算法、
分布式
微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引:博客目录索引(持续更新)视频
长路 ㅤ
·
2024-02-15 08:09
算法刷题
#
LeetCode
leetcode
算法
职场和发展
Redis缓存穿透和缓存雪崩以及解决方案
Redis缓存穿透和缓存雪崩以及解决方案缓存穿透解决方案布隆过滤缓存空对象比较缓存雪崩解决方案保证缓存层服务高可用性依赖隔离组件为后端限流并降级数据预热缓存并发
分布式
锁缓存穿透缓存穿透是指查询一个一定不存在的数据
安晓生
·
2024-02-15 08:02
速盾cdn:cdn免费注册
CDN是指内容分发网络(ContentDeliveryNetwork),是一种采用
分布式
服务器架构,将内容缓存在全球各个节点上,使用户可以从离自己最近的节点获取所需的内容。
速盾cdn
·
2024-02-15 06:26
服务器
运维
测试开发之自动化篇 —— 使用Selenium IDE录制脚本!
3.SeleniumGrid提供主从架构的、
分布式
测试执行环境,由H
程序员小 濠
·
2024-02-15 06:45
自动化测试
技术分享
软件测试
自动化
selenium
ide
自动化测试
接口测试
测试工程师
软件测试
分布式
接口幂等性、
分布式
限流总结整理
一、接口幂等性接口幂等性就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。举个最简单的例子,那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额返发现多扣钱了,流水记录也变成了两条,这就没有保证接口的幂等性。 幂等性的核心思想:通过唯一的业务单号保障
life_niu
·
2024-02-15 06:20
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他