E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
集群-分布式
hive 的map数和reduce如何确定
主要的决定因素有:input的文件总个数,input的文件大小,
集群
设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:
Super乐
·
2024-02-20 20:38
hive
hive
Spring Cloud Alibaba
此项目包含开发
分布式
应用服务的必需组件,方便开发者通过SpringCloud编程模型轻松使用这些组件来开发
分布式
应用服务。
杨健kimyeung
·
2024-02-20 20:53
(17)Hive ——MR任务的map与reduce个数由什么决定?
的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致Hadoop
集群
资源雪崩
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
清华架构师整理
分布式
系统文档:从实现原理到系统实现,收藏吧
微服务、云原生、Kubernetes、ServiceMesh是
分布式
领域的热点技术,它们并不是凭空出现的,一定继承了某些“前辈”的优点。
java架构师联盟
·
2024-02-20 20:40
【LeetCode+JavaGuide打卡】Day03| 203.移除链表元素 、707.设计链表 、206.反转链表
学习目标:203.移除链表元素707.设计链表206.反转链表
分布式
常见面试题(下)学习内容:203.移除链表元素题目链接&&文章讲解给你一个链表的头节点head和一个整数val,请你删除链表中所有满足
WhoAmI\
·
2024-02-20 20:48
leetcode
算法
java
【LeetCode+JavaGuide打卡】Day02| 977.有序数组的平方、209.长度最小的子数组、59.螺旋矩阵II
学习目标:977.有序数组的平方209.长度最小的子数组59.螺旋矩阵II
分布式
常见面试题(上)学习内容:977.有序数组的平方题目链接&&文章讲解给你一个按非递减顺序排序的整数数组nums,返回每个数字的平方组成的新数组
WhoAmI\
·
2024-02-20 20:47
leetcode
矩阵
算法
美团面试:Kafka如何处理百万级消息队列?
特别是在消息队列领域,ApacheKafka作为一个
分布式
流处理平台,因其高吞吐量、可扩展性、容错性以及低延迟的特性而广受欢迎。
·
2024-02-20 20:07
javakafka
阿里云服务器2核8g配置3M带宽多少钱?如何买更便宜?
2核8G配置的cpu与内存比为1:4,内存资源要高于cpu资源,这种配置多适用于中小型数据库系统、缓存、搜索
集群
等场景,也适用于与网站应用等场景。
阿里云最新优惠和活动汇总
·
2024-02-20 19:01
Java使用Documents4j实现Word转PDF(知识点+案例)
涵盖技术内容:Java后端、算法、
分布式
微服务、中间件、前端、运维、
长路 ㅤ
·
2024-02-20 19:00
java
word
pdf
2.13日学习打卡----初学RocketMQ(四)
JavaClassDefaultMQProducer类DefaultMQPushConsumer类Message类MessageExt类二.RocketMQ消费幂消费过程幂等消费速度慢的处理方式三.RocketMQ
集群
服务
集群
特点单
中北萌新程序员
·
2024-02-20 19:43
每日学习
学习
rocketmq
java
开发语言
16.用Hadoop命令向CDH
集群
提交MR作业
16.1实验环境介绍内容概述环境准备Kerberos环境和非Kerberos
集群
测试环境Kerberos
集群
CDH5.11.2,OS为Redhat7.2非Kerberos
集群
CDH5.13,OS为CentOS6.5
大勇任卷舒
·
2024-02-20 19:27
程序员们的三高:高并发、高性能、高可用!
01高并发1.1简介高并发(HighConcurrency)是互联网
分布式
系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。
技术灭霸
·
2024-02-20 19:18
极狐GitLab Geo 主从多活架构
基本原理极狐GitLabGeo是极狐GitLab的一项功能,允许您通过创建地理
分布式
只读镜像实例(称为“Geo节点/从节点”)来提高性能和可用性,或用做数据热备份,且支持一主多从。
极小狐
·
2024-02-20 19:28
gitlab
Geo
高可用
[4G+5G专题-133]: 部署 - 4G/5G常见的室内部署方案
/HiWangWenBing/article/details/121554032目录第1章概述第2章用室外宏基站进行覆盖室内2.1什么是宏基站2.2宏基站的室内覆盖场景2.3宏基站室内覆盖的不足第3章
分布式
天线系统
文火冰糖的硅基工坊
·
2024-02-20 19:54
通信-4G/5G/6G基础
4G
5G
室内部署
单频网
Elasticsearch基础知识与架构概述
1.背景介绍Elasticsearch是一个基于
分布式
搜索和分析引擎,它可以处理大量数据并提供实时搜索功能。
禅与计算机程序设计艺术
·
2024-02-20 18:17
elasticsearch
架构
jenkins
大数据
搜索引擎
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,Hadoop
集群
的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
Kafka常用命令汇总(一)
Kafka常用命令汇总:1、列出
集群
里的所有主题。
秋风暮霞挽红曲_5f60
·
2024-02-20 18:45
http协议
万维网:WWW(worldwideweb)万维网并非某种特殊的计算机网络,是一个大规模的、联机式的信息贮藏库,使用链接的方法能非常方便地从因特网上的一个站点访问另一个站点(超链技术),具有提供
分布式
服务的特点
小蜜蜂~嗡嗡嗡~
·
2024-02-20 18:55
运维
http
网络协议
网络
Django下使用celery 异步发送短信验证码
celery1.celery介绍1.1celery应用举例Celery是一个基于python开发的
分布式
异步消息任务队列,通过它可以轻松的实现任务的异步处理,如果你的业务场景中需要用到异步任务,就可以考虑使用
.@d
·
2024-02-20 18:18
django
python
django
python
【Java程序员面试专栏
分布式
中间件】Redis 核心面试指引
关于Redis部分的核心知识进行一网打尽,包括Redis的基本概念,基本架构,工作流程,存储机制等,通过一篇文章串联面试重点,并且帮助加强日常基础知识的理解,全局思维导图如下所示基础概念明确redis的特性、应用场景和数据结构什么是Redis,Redis有哪些应用场景Redis是一个开源的、内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。Redis支持多种类型的数据结构,如字符串(s
存在morning
·
2024-02-20 18:39
Java
程序员面试专栏
面试
分布式
redis
视野 | OpenSearch,云厂商的新选择?
|最流行的全文搜索引擎Elasticsearch是一款广泛使用的开源
分布式
全文搜索引擎,源于ApacheLucene[1],许可证为Apache2.0。由于出色的搜索引擎、高扩
RadonDB
·
2024-02-20 17:02
数据库
搜索引擎
elasticsearch
K8s
集群
可观测性-数据分流最佳实践
简介在微服务架构下,一个k8s
集群
中经常会部署多套业务,同时也意味着不同团队、不同角色、不同的业务会在同一
集群
中,需要将不同业务的数据在不同的空间进行管理和查看。
·
2024-02-20 17:26
kubernetes
CentOS7中怎样修改主机名和hosts文件(配置IP和主机名的对应管理)
场景搭建三台CentOS7服务器的
集群
,需要配置每个服务器的主机名,以及主机名和IP的对应关系。这样互相之间通信就不用借助于IP去唯一标识了。
霸道流氓气质
·
2024-02-20 17:26
Linux
centos
2022-01-13另一个嵌入Mirai 碎片的物联网僵尸网络可以从 10 万台设备执行 DDoS
碎片的物联网僵尸网络可以从10万台设备执行DDoS名为Persirai的Bot-herding软件结合了Mirai僵尸网络代码,可以征用已知150,000个易受Mirai攻击的IP摄像机的重要部分,并使用它们来发起
分布式
拒绝服务攻击
Eliza_卓云
·
2024-02-20 17:25
游戏行业洞察:
分布式
开源爬虫项目在数据采集与分析中的应用案例介绍
我们构建了一个基于开源
分布式
爬虫技术的自动化平台,实现了高效、准确的数据采集。通过自然语言处理技术,我们确保了数据的质量和一致性,并采用
分布式
架构大幅提升了处理速度。
思通数科x
·
2024-02-20 17:21
游戏
网络爬虫
爬山算法
爬虫
Redis学习笔记
官网:https://redis.io/一个基于内存的键值型NoSQL数据库key-value型单线程,每个命令具备原子性低延迟,速度快(基于内存、IO多路复用、c语言编写)支持数据持久化支持主从/分片
集群
支持多语言客户端
hhf的博客
·
2024-02-20 17:19
学习笔记
redis
分布式
事务实战方案汇总
分布式
事务实战方案汇总1.最终一致性1.1本地事务表+轮询补偿交互流程场景:重构业务新老系统双写库同步项目背景
分布式
事务设计方案场景Q&A场景:第三方认证核验项目背景
分布式
事务设计方案场景Q&A1.2本地事务表
大摩羯先生
·
2024-02-20 17:48
分布式
实战总结
TCC
本地事务表
MQ
最大努力通知
事务消息
分布式
商城项目07-
分布式
唯一ID实战
在电商业务系统中,对ID生成的系统的可用性要求极高,如果生成系统不稳定,大量依赖ID生成系统,比如订单生成等关键动作都无法完成。一般情况下,我们使用数据库自增主键作为数据ID,但是在大量数据的情况下,尤其是在分库分表之后,这样就会出现ID大量重复,难以满足业务的需求,此时一个能够生成全局唯一ID的系统是非常必要的。概括下来,那业务系统对ID号的要求有哪些呢?全局唯一性:不能出现重复的ID号,既然是
java__1024
·
2024-02-20 17:17
java
分布式
数据库
微服务
redis
分布式
锁实战
分布式
锁是什么
分布式
锁是控制
分布式
系统或不同系统之间共同访问共享资源的一种锁实现;如果不同的系统或同一个系统的不同主机之间共享了某个资源时,往往通过互斥来防止彼此干扰;Redis
分布式
锁的底层实现是利用
bijian-bijian
·
2024-02-20 17:47
redis
分布式
数据库
OCP的operator——(4)用户任务:使用Operator创建etcd
集群
namespace中安装Operator先决条件使用Webconsole从OperatorHub安装删除使用CLI从OperatorHub安装从已安装的Operator创建应用使用Operator创建etcd
集群
报错从
蓝黑2020
·
2024-02-20 17:46
openshift
etcd
openshift
ocp
operator
分布式
id实战
目录常用方式特征潜在问题信息安全高性能UUID雪花算法数据库生成美团Leaf方案Leaf-segment数据库方案Leaf-snowflake方案常用方式uuid雪花算法数据库主键特征全局唯一趋势递增信息安全潜在问题信息安全如果id连续递增,容易被爬虫,批量下载数据如果订单id是连续递增,容易被竞争对手推算出日交易量,这时候需要ID不规则可能泄漏本机mac地址高性能保证在高qps时候,系统也高可用
kk_0910
·
2024-02-20 17:15
java
OCP的operator——(3)CRD
文章目录了解OperatorCRD使用customresourcedefinition(CRD)来扩展KubernetesAPICRD创建CRD为CRD创建
集群
角色通过文件创建CR检查CR管理CRD中的资源参考了解
蓝黑2020
·
2024-02-20 17:15
openshift
openshift
ocp
crd
operator
【Docker】容器
集群
服务快速编排compose基本用法
compose基本用法一、下载安装卸载官网下载地址(onLinux):https://docs.docker.com/compose/install/standalone/官网文档介绍地址:https://docs.docker.com/compose/compose-file/compose-file-v3/#下载安装curl-SLhttps://github.com/docker/compos
一直奔跑在路上
·
2024-02-20 17:12
Docker
docker
容器
运维
【Docker】
集群
容器监控和统计 Portainer基本用法
Portainer是一款轻量级的应用,它提供了图形化界面,用川于方便地管理Docker环境,包括单机环境和
集群
环境。
一直奔跑在路上
·
2024-02-20 17:11
Docker
docker
容器
solr7
集群
springboot_springboot 集成solr
一、版本介绍:jdk1.8tomcat8springboot2.1.3RELEASE(这里有坑,详见下文)solr7.4.0(没有选择最新的版本,是因为项目的boot版本是2.1.3,其对应的solr-solrj.jar版本是7.4.0,为避免出现不可预料不可抗拒不可解决的问题,谨慎选用与之一样版本)二、solr服务器搭建下载1.tomcat8的下载不赘述;2.solr下载:进入solr官网,找历
骑lv上高速
·
2024-02-20 17:09
solr7集群
springboot
消息中间件:Puslar、Kafka、RabbigMQ、ActiveMQ
以下是提到的几种消息中间件的概述:Pulsar:Pulsar是一个由Apache软件基金会管理的开源
分布式
发布-订阅消息系统。
MarkHD
·
2024-02-20 17:08
kafka
activemq
分布式
ElasticSearch一台机器搭建多节点
集群
必须有JDK环境官网下载ES,本文是7.16.2官网下载上传至服务器后,解压tar-xvfelasticsearch-7.16.2-linux-x86_64.tar.gz修改配置elasticsearch.ymlES配置项cluster.name:hanweihuESnode.name:node-1path.data:/opt/software/elasticsearch-7.16.2/datap
imHanweihu
·
2024-02-20 17:33
ElasticSearch
elasticsearch
ElasticSearch(一)
Elaticsearch,简称为ES,ES是一个开源的高扩展的
分布式
全文搜索引擎,是整个ElasticSta
xxxxxxxpp
·
2024-02-20 17:32
ElasticSearch
elasticsearch
大数据
搜索引擎
java
全文检索
spring
boot
87-
分布式
前端微信操作
微信登录和微信支付在上一章我们初步的完成了前端的编写,接下来我们来操作微信的登录和微信的支付微信开放平台(针对开发者和公司):对应的微信官方文档:https://developers.weixin.qq.com/doc/oplatform/Website_App/WeChat_Login/Wechat_Login.html登录用,对应的AppID和AppSecret需要申请才可操作,需要在管理中心
各个方面都自在
·
2024-02-20 17:52
笔记
微信
前端
分布式
微信登录和微信支付
分布式
商城设计与实现
功能模块介绍本购物系统需要实现商品信息的显示、基本的购物流程、商品的管理等基础功能。下图表示具体的功能及各功能之间的联系:数据库E-R模型购物商城系统的ER模型描述如下图所示:注册登录模块设计此模块的主要目的为实现用户的账号注册与账号登陆功能。注册通过获取用户输入的信息,向后端发送表单,并调用后端productServlet中的register方法,在register方法中,首先将前端传来的表单存
林坰
·
2024-02-20 16:45
项目简介-
分布式
基础-环境搭建
分布式
基础与环境搭建一、项目简介二、
分布式
基础概念1、微服务2、
集群
&
分布式
&节点3、远程调用4、负载均衡5、常见的负载均衡算法6、服务注册/发现&注册中心7、配置中心8、服务熔断&服务降级9、API网关三
南波塞文
·
2024-02-20 16:10
商城-练手项目
SpringCloud
微服务
SpringBoot
框架
Java
SpringBoot
SpringCloud
Linux
Docker
应对DDoS攻击:快速恢复网站正常运行的关键步骤
当网站遭受DDoS(
分布式
拒绝服务)攻击时,可能会导致网站停机、性能下降和用户无法访问等问题,处理DDoS攻击需要采取一系列措施来应对和缓解攻击。
·
2024-02-20 16:51
网站安全
分布式
场景怎么Join | 京东云技术团队
考虑到我的领域是在处理分库分表或者其他的分区模式,这让我开始不由得联想我们怎么在
分布式
场景应用这个Join逻辑,对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·
2024-02-20 16:14
数据库
企业场景中大语言模型的应用实践探索丨Fabarta 技术专栏
从最早的文件系统到现在的
分布式
图
·
2024-02-20 16:42
Springboot+Quartz
集群
配置
看了一些网上的文章,都不太合我意,集众家之长,来个自己的版本。原理和介绍就不搬来搬去了,直接上代码吧。目录一.POM文件二.application-quartz.properties三.java文件3.1Application3.2QuartzSchedulerConfig配置一下,类名自己随便改3.3StartApplicationListener应用启动时调用一下QuartzTasks添加定时
langzitianya
·
2024-02-20 16:59
Spring
Boot
JAVA
quartz
集群
spring
boot
Neo4j学习笔记(四.3) Spring Data Neo4j中连接Neo4j因果
集群
一.配置文件Neo4j4.0之前,instance0~instance2都是因果
集群
里的核心服务器URI=bolt+routing://instance0:7687URIS=bolt+routing:/
langzitianya
·
2024-02-20 16:58
neo4j
Spring
Data
Neo4j
JAVA
neo4j
SpringDataNeo4j
因果集群
分布式
场景怎么Join | 京东云技术团队
考虑到我的领域是在处理分库分表或者其他的分区模式,这让我开始不由得联想我们怎么在
分布式
场景应用这个Join逻辑,对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·
2024-02-20 16:04
数据库
LeetCode、435. 无重叠区间【中等,贪心 区间问题】
涵盖技术内容:Java后端、算法、
分布式
微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引:博客目录索引(持续更新)视频平台:b站-Coder
长路 ㅤ
·
2024-02-20 16:24
算法刷题
#
LeetCode
leetcode
算法
职场和发展
跨界协作:借助gRPC实现Python数据分析能力的共享
在gRPC中,客户端可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法,使得您能够更容易地创建
分布式
应用和服务。
工业甲酰苯胺
·
2024-02-20 16:53
python
数据分析
开发语言
OSDI 2023: ExoFlow A Universal Workflow System for Exactly-Once DAGs
系统范围:总体
分布式
系统使用通用机制处理所有在其上运行的应用程序的恢复。这简化了开发,但牺牲了更细粒度、应用程序优化的恢复的可能性。2.性能/恢复权衡优先级以性能为中心:使用这种方法
结构化文摘
·
2024-02-20 16:48
工作流
DAG
可靠性
上一页
20
21
22
23
24
25
26
27
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他