E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式云平台
【Spark高级应用】使用Spark进行高级数据处理与分析
ApacheSpark作为一种高效的
分布式
计算框架,凭借其高速、易用、通用和灵活的特点,已经成为大数据处理和分析的首选工具。
爱技术的小伙子
·
2024-09-06 10:47
大数据
spark
ajax
大数据
EI会议推荐-第二届大数据与数据挖掘国际会议(BDDM 2024)
.com主办方:武汉纺织大学会议时间:2024年12月13日-12月15日会议地点:湖北武汉02征稿主题:包含(但不限于)以下领域:大数据:大数据分析、人工智能、大数据网络技术、大数据搜索算法和系统、
分布式
和点对点搜索
shiyuankeyan
·
2024-09-06 08:36
数据挖掘
大数据
Kafka
Kafka是一个高性能的
分布式
消息队列系统,最初由LinkedIn开发,后来成为Apache软件基金会的一部分。Kafka设计用于处理大规模的数据流,提供高吞吐量、低延迟的消息传递机制。
傲雪凌霜,松柏长青
·
2024-09-06 07:57
后端
中间件
kafka
分布式
软考高级架构师/分析师论文【论软件系统架构评估/架构评估方法】
一、摘要 2020年4月,某互联网公司开始了
云平台
管理系统项目的实施。该项目主要为公司混合
云平台
提供基础设施、中间件、负载均衡、任务管理等功能。
saikey0379
·
2024-09-06 06:52
软考高级论文
系统架构设计师
系统分析师
计算机软件资格考试
2024年Python最新Python爬虫教程-新浪微博
分布式
爬虫分享(2)
Python编辑器:Pycharm;MongoDB管理工具:MongoBooster;Redis管理工具:RedisStudio)爬虫框架使用Scrapy,使用scrapy_redis和Redis实现
分布式
2401_84584682
·
2024-09-06 05:45
程序员
python
爬虫
新浪微博
Spark MLlib模型训练—聚类算法 K-means
ApacheSpark提供了K-means聚类算法的高效实现,支持大规模数据的
分布式
计算。本文将详细介绍K-means聚类算法的原理,并结合Spark
不二人生
·
2024-09-06 04:14
Spark
ML
实战
算法
spark-ml
聚类
Java
分布式
ID生成解决方案
Java
分布式
ID生成解决方案参考文章:(1)Java
分布式
ID生成解决方案(2)https://www.cnblogs.com/hxun/p/11451629.html备忘一下。
短期菜鸟
·
2024-09-06 04:10
java
Spark的Web界面
Storage-此视图展示了数据如何在RDDs(弹性
分布式
数据集)之间进行分层存储,以及
静听山水
·
2024-09-06 04:40
Spark
spark
Java 7.1 - 理论 & 算法 & 协议
C:Consistency一致性A:Availability可用性P:Partition分区容错性对于理论计算机科学,CAP定理指出,对于一个
分布式
系统而言,CAP中的三个只能同时满足两个。
没有韭菜的饺子
·
2024-09-06 04:39
java
开发语言
Java 7.4 -
分布式
锁
什么是
分布式
锁?对于单机多线程,我们使用ReentrantLock这类本地锁来控制多个线程对本地共享资源的访问;而对于
分布式
系统,我们使用
分布式
锁来控制多个服务对共享资源的访问。
没有韭菜的饺子
·
2024-09-06 04:39
八股文
java
分布式
开发语言
Java实战:
分布式
ID生成方案
在
分布式
系统的设计与开发过程中,如何生成全局唯一、有序且高可用的ID是一个绕不开的核心问题。尤其是在电商、社交网络、金融交易等领域,ID不仅是业务数据的重要标识,还可能直接影响系统的稳定性和扩展性。
拥抱AI
·
2024-09-06 04:39
java
分布式
开发语言
java
分布式
ID生成组件
1、新建WorkId类packagecom.hua.common.id;importorg.apache.commons.lang3.RandomUtils;importorg.apache.commons.lang3.StringUtils;importjava.net.Inet4Address;importjava.net.UnknownHostException;/***@Deacripti
hong_myth
·
2024-09-06 03:08
微服务
springcloud
Java
Xline v0.2.0: 一个用于元数据管理的
分布式
KV存储
Xline是一个基于Curp协议的,用于管理元数据的
分布式
KV存储。现有的
分布式
KV存储大多采用Raft共识协议,需要两次RTT才能完成一次请求。
达坦科技DatenLord
·
2024-09-06 03:35
Xline
分布式
rust
KV存储
元数据管理
DatenLord达坦科技
大厂程序员都会的
分布式
RPC框架,直接无私打包分享,手慢无
一.概述什么是RPC?远程服务调用官方:一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的思想通俗一点:客户端在不知道调用细节的情况下,调用存在于远程计算机上的某个对象,就像调用本地应用程序中的对象一样。市面上常见的rpc框架:dobbo,springCloud,gRPC...那为什么要有RPC,HTTP不好么?因为RPC和HTTP就不是一个层级的东西,所以严格意义上这两个没有可比
卡卡的Java架构笔记
·
2024-09-06 02:56
rpc
java
网络协议
程序人生
JuiceFS 社区版 v1.2 发布,新增企业级权限管理、平滑升级功能
JuiceFS是为云环境设计的
分布式
文件系统,支持超过10种元数据引擎和30种以上的数据存储引擎。
Juicedata
·
2024-09-06 01:24
云原生
运维
经验笔记:RPC与高性能NIO框架
RPC与高性能NIO框架的经验笔记引言随着互联网技术的发展,
分布式
系统逐渐成为了现代软件架构的标准之一。
漆黑的莫莫
·
2024-09-06 01:21
计算机网络
笔记
rpc
nio
python
分布式
集群ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的
分布式
爬虫.
使用scrapy,scrapy-redis,graphite实现的京东
分布式
爬虫,以mongodb实现底层存储。
分布式
实现,解决带宽和性能的瓶颈,提高爬取的效率。
weixin_39781930
·
2024-09-06 00:17
python分布式集群ray
目前支持云计算的有哪些厂家?
**谷歌
云平台
(GoogleCloudPlatform,GCP)**:谷歌提供的云计算服务,以其强大的数据分析和机器学习能力著称。4.**阿里
江河之流
·
2024-09-05 23:38
计算机的工具开发
#专升本
#改善自己的生活方式
云计算
文章汇总 | 2018
12月RIA便签学习法10月财富最好的定义Spark
分布式
原理及碰到的三个坑在不断解决问题(矛盾)的过程进步9月《韭菜的自我修养》-股票交易是零和游戏吗?
学习之术
·
2024-09-05 22:27
Spark基础
一.基础1.RDD机制 1.rdd
分布式
弹性数据集,简单的理解成⼀种数据结构,是spark框架上的通⽤货币。所有算⼦都是基于rdd来执⾏的,不同的场景会有不同的rdd实现类,但是都可以进⾏互相转换。
Tom无敌宇宙猫
·
2024-09-05 22:26
spark
大数据
分布式
【研发日记】Matlab/Simulink技能解锁(八)——
分布式
仿真
文章目录前言背景
分布式
仿真使用方式分析和应用总结参考资料前言见《【研发日记】Matlab/Simulink技能解锁(三)——在Stateflow编辑窗口Debug》见《【研发日记】Matlab/Simulink
Mr.Cssust
·
2024-09-05 21:53
Matlab/Simulink
半实物仿真
分布式
Connected
IO
IO
Server
MBD
嵌入式软件
Hadoop组件
以下是每个组件的简短介绍:HBase:一个
分布式
、面向列的NoSQL数据库,基于GoogleBigTable的设计理念构建。
静听山水
·
2024-09-05 20:14
Hadoop
hadoop
GBase 8c
分布式
核心技术—CDC数据同步
作为一款
分布式
数据库,GBase8c可轻松实现例如两地三中心架构的集群异地灾备。GBase8c异地灾备集群间的不同节点采用各自对应的高可用部署方式,两地间采用同步或者异步复制的备份方式。
manhuai2022
·
2024-09-05 19:11
GBase
8c
数据库
服务器
java
分布式
架构基础-多线程
分布式
架构基础-多线程基本概念进程:程序的一次执行过程线程:一个进程产生的多个线程并发:偏重于多个任务交替执行,可用于一个CPU并行:用于多个CPU同时执行任务高并发:通常考验指标为响应时间、吞吐量、每秒查询效率
猿日记
·
2024-09-05 18:00
架构师学习
java
多线程
海外云服务对比: AWS、GCP、Azure 与 DigitalOcean
在这个庞大的市场中,三家云服务提供商——亚马逊(AWS)、谷歌
云平台
(GCP)和微软Azure——共占云市场份额的64%。
DO_Community
·
2024-09-05 17:25
商业建议
aws
azure
云计算
腾讯,干掉 Redis 项目,正式开源、太牛逼啦
项目简介Tendis是腾讯互娱CROSDBA团队&腾讯云数据库团队自主设计和研发的
分布式
高性能KV存储数据库,兼容Redis核心数据结构与接口,可提供大容量、低成本、强持久化的数据库能力,适用于兼容Redis
六月·飞雪
·
2024-09-05 17:53
架构
redis
开源
数据库
Apache Spark简介
Spark的核心概念包括:1.RDD(弹性
分布式
数据集):RDD是Spark的基本计算单元,它代表了一个可并行操作的
分布式
对象集合。RDD可以通过加
不知名的小Q
·
2024-09-05 17:52
eclipse
java
spring
maven
区块链技术
区块链技术是一种去中心化的数据库技术,透过
分布式
账本的方式,记录和验证数据的交易和交流。
寂然如故
·
2024-09-05 15:13
区块链
springboot整合kafka
Kafka是一个
分布式
的发布-订阅消息系统,它可以处理大量数据并提供高吞吐量。在本教程中,我们将使用SpringBoot2.7.2和Kafka2.8.1。
##明天
·
2024-09-05 15:42
kafka
spring
boot
java
1+X云计算运维与开发(中级)实战案例——Kafka集群部署
前言Kafka是一种开源的流处理平台和消息系统,被设计用于构建实时数据管道和流式应用程序,可以处理大规模的实时数据流,并提供高吞吐量、持久性存储和
分布式
处理能力。
kuuuugua
·
2024-09-05 15:41
1+X云计算运维与开发(中级)
云计算
运维
kafka
深度学习的发展历程
深度学习的起源在机器学习中,我们经常使用两种方式来表示特征:局部表示(LocalRepresentation)和
分布式
表示(DistributedRepresentation)。
木亦汐丫
·
2024-09-05 13:00
技术摘抄
深度学习
人工智能
感知机
反向传播
梯度下降
神经网络
Spark
1.核心概念RDD(ResilientDistributedDataset):RDD是Spark的核心抽象,表示一个
分布式
的、不变的集合。它提供了对大数据集的容错机制,支持并行操作。
傲雪凌霜,松柏长青
·
2024-09-05 11:20
后端
大数据
spark
大数据
分布式
Windows系统下的Spark环境配置
一:Spark的介绍ApacheSpark是一个开源的
分布式
大数据处理引擎,它提供了一整套开发API,包括流计算和机器学习。
eeee~~
·
2024-09-05 11:19
3:大数据技术
实用教程
spark
大数据
分布式
Spring Cloud开发实战
SpringCloud是当今Java开发行业最为流行的
分布式
开发架构,使用其可以方便的搭建高可用、高性能、
分布式
的系统服务架构,本课程基于SpringCloudAlibaba的套件进行了实现架构的完整讲解
yootk
·
2024-09-05 11:47
李兴华原创Java编程教材
spring
cloud
spring
后端
java
spring
boot
mybatis
jvm
GIT代码托管工具
Git是一个开源的
分布式
版本控制系统,用于敏捷高效地处理任何或小或大的项目。
Rebirth-LSS
·
2024-09-05 11:16
笔记
git
Hadoop-MapReduce机制原理
MapReduce特点3、MapReduce局限性4、MapTask5、Map阶段步骤:6、Reduce阶段步骤:7、MapReduce阶段图1、MapReduce概述 HadoopMapReduce是一个
分布式
计算框架
H.S.T不想卷
·
2024-09-05 11:46
大数据
hadoop
mapreduce
大数据
Git核心概念
1.概念Git就是一个典型的
分布式
版本控制系统,这类系统,客户端不只是提取最新版本的文件快照,而是把代码仓库完整的镜像下来,这样一来,任何一处协同工作用的服务器发生故障,事后都可以用任何一个镜像出来的本地仓库恢复
众愿
·
2024-09-05 09:34
git
Git 的基本概念和使用方式
Git是一种
分布式
版本控制系统,是用于跟踪文件的修改和协作工作的工具。它允许多个开发者同时对同一个代码库进行更改,并能够有效地处理并合并这些更改。
汽车软件工程师001
·
2024-09-05 08:52
Git
GIT
速盾:高防 CDN 是一种有效的 DDoS 防御解决方案
在当今数字化时代,网络安全问题日益凸显,尤其是DDoS(
分布式
拒绝服务)攻击,给企业和个人带来了巨大的损失和困扰。
速盾cdn
·
2024-09-05 07:17
ddos
web安全
安全
面试题:什么是DoS、DDoS、DRDoS攻击?
指单一主机对目标服务器进行的拒绝服务攻击;而DDoS(DistributedDenialofService)和DRDoS(DistributedReflectionDenialofService)则是
分布式
拒绝服务攻击
极客李华
·
2024-09-05 07:45
一百道计算机网络面试题
ddos
网络
服务器
云计算与
分布式
技术-常见云的比较
云南大学软件学院期中报告SchoolofSoftware,YunnanUniversity个人成绩学号姓名成绩学期:2019秋季学期课程名称:云计算任课教师:陆歌皓姓名:学号:年级:完成提交时间:2019年11月4日目录SchoolofSoftware,YunnanUniversity1云计算概念2什么叫做云计算?2云计算定义及分类2根据iiMediaResearch数据挖掘和分析机构所发论文分析
NicolasLearner
·
2024-09-05 06:13
服务器
云服务器
云主机
云服务
云服务器
阿里云
腾讯云
华为云
如何尽早地发现并抵御 DDoS 攻击?
DDoS(DistributedDenialofService)也称之为
分布式
拒绝服务,指借助于客户/服
德迅云安全-文琪
·
2024-09-05 06:13
ddos
网络
探索阿里巴巴的增量数据处理利器:Canal
探索阿里巴巴的增量数据处理利器:Canalcanalalibaba/canal:Canal是由阿里巴巴开源的
分布式
数据库同步系统,主要用于实现MySQL数据库的日志解析和实时增量数据订阅与消费,广泛应用于数据库变更消息的捕获
费琦栩
·
2024-09-05 05:37
本地部署Elasticsearch
分布式
搜索引擎结合内网穿透实现远程搜索
Elasticsearch3.Windows安装Cpolar4.创建Elasticsearch公网访问地址5.远程访问Elasticsearch6.设置固定二级子域名前言本文主要介绍如何在Windows系统安装
分布式
搜索和分析引擎
E绵绵
·
2024-09-05 05:36
Everything
搜索引擎
elasticsearch
分布式
2021年大厂Java面试题(基础+框架+系统架构+
分布式
+实战)
Java线程的状态进程和线程的区别,进程间如何通讯,线程间如何通讯HashMap的数据结构是什么?如何实现的。和HashTable,ConcurrentHashMap的区别Cookie和Session的区别索引有什么用?如何建索引?ArrayList是如何实现的,ArrayList和LinkedList的区别?ArrayList如何实现扩容。equals方法实现面向对象线程状态,BLOCKED和W
2401_85195615
·
2024-09-05 05:04
java
系统架构
分布式
鸿蒙(HarmonyOS)北向开发知识点记录~
开发技术与特点1.
分布式
技术:鸿蒙操作系统的一大特色是
分布式
能力,北向开发可以充分利用这一特性,实现跨设备的应用协同。例如,在手机、平板、智慧屏等设备之间实现数据共享、任务流转和多屏互动。2.
CTrup
·
2024-09-04 22:56
移动开发
鸿蒙开发
HarmonyOS
harmonyos
移动开发
arkui
组件化
容器
NDK
迁移学习
Seata
分布式
事务控制
概述Seata是阿里巴巴和蚂蚁集团内部开发了
分布式
事务中间件,用于解决电商、支付、物流等业务场景中应用数据的一致性问题,2023年10月,为了更好的通过社区驱动技术的演进,阿里和蚂蚁集团正式将Seata
动物园首领
·
2024-09-04 22:24
Seata
分布式事务框架
分布式
Seata
利用Spring Boot实现服务降级与熔断机制
在
分布式
系统中,服务降级和熔断是保证系统稳定性的重要机制。服务降级是指在系统负载过高或部分服务不可用时,主动降低服务的可用性等级,以释放资源给关键服务。
微赚淘客机器人开发者联盟@聚娃科技
·
2024-09-04 20:11
spring
boot
java
分布式
Sublime text3+python3配置及插件安装
:http://blog.chargingbunk.cn/微信公众号:rayson_666(Rayson开发分享)个人专研技术方向:微服务方向:springboot,springCloud,Dubbo
分布式
raysonfang
·
2024-09-04 19:23
大数据学习|理解和对比 Apache Hive 和 Apache Iceberg
文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型,数据存储在Hadoop
分布式
文件系统(HDFS)中,通常是以文本格式(如CSV或TSV)或者二进制格式
进击的小白菜
·
2024-09-04 16:50
数据库
大数据
大数据
学习
apache
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他