E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Distributed
Apache Spark 的基本概念和在大数据分析中的应用
以下是ApacheSpark的一些基本概念:RDD:Resilient
Distributed
Dataset,即弹性分布式数据集。它是Spark中最基本的数据抽象,代表一个可分区、
Uingll
·
2023-12-19 04:13
apache
2023.12.16 关于 分布式系统 基本介绍
目录单机架构服务器负载过高问题解决方法分布式系统引入更多的服务器节点负载均衡数据库读写分离引入缓存数据库分库分表引入微服务基本概念应用(Application)/系统(System)模块(Module)/组件(Component)分布式(
Distributed
茂大师
·
2023-12-19 01:34
Redis
redis
java
《密集环境下编队飞行的分布式集群轨迹优化》论文解读二
OptimizationProblemFormulation2.1controleffort2.2totaltime2.3obstacleavoidance2.4swarmformationsimilarity2.5swarmreciprocalavoidance本文解析的论文为高飞老师的
Distributed
SwarmTrajectoryOptimizationforFo
无意2121
·
2023-12-19 01:29
无人系统群体智能论文解读
分布式
算法
机器人
大数据技术11:Hadoop 原理与运行机制
前言:HDFS(Hadoop
Distributed
FileSystem)是Hadoop下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
Java架构何哥
·
2023-12-18 21:56
大数据治理
hadoop
大数据
分布式
Hadoop分布式系统基础框架
一文看懂分布式存储 Ceph 架构原理
首先,我们从Ceph的官方网站上,可以看到:“Cephisaunified,
distributed
storagesystemdesignedforexcellentperformance,reliabilityandscalability
Chengz77_
·
2023-12-18 15:45
分布式
ceph
架构
【Hadoop面试】HDFS读写流程
HDFS(Hadoop
Distributed
FileSystem)是GFS的开源实现。
话数Science
·
2023-12-18 06:16
大数据
面试
Hadoop
hadoop
hdfs
大数据
Hadoop (海量数据存储及计算) 基本概念
[1]Hadoop实现了一个分布式文件系统(Hadoop
Distributed
FileSystem),简称HDFS。
ronmy
·
2023-12-18 02:51
大数据
Hadoop
大数据
海量数据
存储
php分布式
Swoole分布式通讯框架Swoole
Distributed
基于nginx+swoole+phalcon+atlas实现的高性能负载均衡集群系列之【构建篇】一、简介php一直诟病于性能,可对开发者如此友好的语言为什么不能登上大雅之堂
hyb1234hi
·
2023-12-18 01:53
高效存储大规模数据的方法与实现
Hadoop
Distributed
FileSystem(HDFS)是一个常用的分布式文件系统,它使用主从架构,
静谧星光c
·
2023-12-17 11:47
大数据
机器学习 高维数据可视化:t-SNE 降维算法
本文目录t-SNE简介sklearn中的t-SNE使用t-SNE可视化手写数字数据集t-SNE简介t-SNE的全称为t-
Distributed
StochasticNeighborEmbedding,是一种非线
小嗷犬
·
2023-12-17 08:41
Python
#
数据分析及可视化
机器学习
python
scikit-learn
机器学习
Skywalking告警规则示例
LicensedtotheApacheSoftwareFoundation(ASF)underone#ormorecontributorlicenseagreements.SeetheNOTICEfile#
distributed
withthisworkforadditionalinformation
旷野九思
·
2023-12-17 08:17
监控配置手册
skywalking
rules
Hadoop,Hive和Spark大数据框架的联系和区别
1.1HDFS分布式存储HDFS全称为hadoop
distributed
filesystem。HDFS本质上也是一个文件系
Weiyaner
·
2023-12-17 06:00
数据库
大数据
hadoop
mapreduce
spark
区块链实验室(30) - 区块链期刊:
Distributed
Ledger Technologies: Research and Practice
Distributed
LedgerTechnologies:ResearchandPractice是ACM出版集团的一本期刊。
看聊效
·
2023-12-17 04:56
区块链
FISCO
Fabric
区块链
linux
ubuntu
网络安全试题——附答案
a)
Distributed
DenialofServiceb)DataDestructionofServicec)DirectDenialofSecurityd)DigitalDefenseofServers
知孤云出岫
·
2023-12-16 22:26
网络
网络安全
issue queue的实现方式
主要从一下几个点进行考虑:集中式(Centrallized)或者分布式(
Distributed
);压缩式(Compressing)或者非压缩式(Non-compressing);数据捕捉的方式(Data-capture
newyork major
·
2023-12-16 20:53
risc-v
risc-v
Spark
在Spark中,RDD(Resilient
Distributed
Dataset)是一个基本的数据抽象在Spark中,RDD(Resilient
Distributed
Dataset)是一个基本的数据抽象,
编织幻境的妖
·
2023-12-16 20:22
spark
hbase
数据库
数据仓库
大数据
RDD是什么
文尾有结论RDD的注释org.apache.spark.rdd.RDD类源代码中有详细的注释:AResilient
Distributed
Dataset(RDD),thebasicabstractioninSpark
猿界零零七
·
2023-12-16 20:18
知识总结
spark
RDD
DDOS攻击会造成哪些伤害
互联网时代服务器是很容易遭受到攻击的,因为当服务器遇到攻击的话会导致企业的业务无法正常的运行,进而对于企业的形象产生很大的影响,DDOS就是
Distributed
DenialofService,也叫做分布式拒绝服务器
wanhengwangluo
·
2023-12-16 15:53
ddos
图扑物联 | WEB组态可视化软件
组态的概念来自于20世纪70年代中期出现的第一代集散控制系统(
Distributed
ControlSystem),可理解为“配置”、“设置”等,是指通过人机开发界面,用类似“搭积木”的简单方式来搭建软件功能
DLIOTOPO
·
2023-12-16 14:56
物联网
web
DOS及DDOS的原理及防御方式
DOS(DenialofService)和DDOS(
Distributed
DenialofService)是一种网络攻击方式,其主要原理是通过向目标系统发送大量的请求或数据流量,使目标系统无法正常服务或响应
weixin_43962020
·
2023-12-16 12:06
web安全
安全
前端
javascript
DDOS 攻击是什么?有哪些常见的DDOS攻击?
DDOS简介DDOS又称为分布式拒绝服务,全称是
Distributed
DenialofService。DDOS本是利用合理的请求造成资源过载,导致服务不可用,从而造成服务器拒绝正常流量服务。
火伞云
·
2023-12-16 12:33
ddos
消息中间件使用场景
Message-orientedmiddleware(MOM)issoftwareorhardwareinfrastructuresupportingsendingandreceivingmessagesbetween
distributed
systems
Justin_Jun
·
2023-12-16 10:16
分布式架构常见概念
注:节点,可理解为一台物理机2、分布式【
distributed
】个人理解:一个
瑾兰
·
2023-12-16 08:44
【Spark精讲】Spark RDD弹性体现在哪些方面?
参考:什么是弹性伸缩ess_弹性伸缩(ESS)-阿里云帮助中心我们在看一下RDD定义:Resilient
Distributed
Datasets,译为弹性分布式数据集,是一种基于集群内存计算的一种抽象。
话数Science
·
2023-12-16 05:14
Spark精讲
Spark
大数据
spark
大数据
用python实现一个分布式锁
下面是一个简单的实现:首先,我们需要安装Redis模块,可以使用以下命令:pipinstallredis接下来,我们定义一个类来实现分布式锁:importredisimporttimeclass
Distributed
Lock
隔壁老姚
·
2023-12-16 04:34
python
分布式
redis
Client-server model
Theclient-servermodelisa
distributed
applicatonstructurethatpartitionstasksorworkloadsbetweentheprovidersofaresourceorservice
sinat_36651044
·
2023-12-16 01:00
学习
笔记
网络架构
spark常见面试题
spark面试题1.spark的RDD是什么,有哪些特性RDD(Resilient
Distributed
Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可以并行计算的集合
YY_pdd
·
2023-12-15 19:24
面试
大数据运算
软件管理
分布式
大数据
spark
面试
spark学习之旅(2)之之RDD常用方法
RDD(Resilient
Distributed
Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。
浩哥的技术博客
·
2023-12-15 19:51
spark
spark
大数据
SaaS anywhere: Designing
distributed
multi-tenant architectures
Peter:Thankyouforcomingouttooursessiontoday.SAS308SASAnywhereDesign,
Distributed
Multi-TenantArchitecture.MynameisPeter.I'mgonnabejoinedbymyteammate
李白的朋友王维
·
2023-12-15 19:56
aws
亚马逊云科技
科技
人工智能
re:Invent
2023
生成式AI
云服务
随时随地SaaS :设计分布式多租户架构
AmazonWebServicesre:Invent2023,AmazonWebServicesSASFactory,RemoteApplicationResources,Multi-TenantArchitecture,
Distributed
DataStores
李白的好朋友
·
2023-12-15 19:50
aws
亚马逊云科技
科技
人工智能
re:Invent
2023
生成式AI
云服务
Pytorch:解决报错 No module named ‘torch.
distributed
.run‘
分布式训练程序时发生了以下报错:Traceback(mostrecentcalllast):File"",line1,inModuleNotFoundError:Nomodulenamed'torch.
distributed
.run
道纪书生
·
2023-12-15 14:09
Pytorch
pytorch
深度学习
人工智能
高性能与并行计算领域一些期刊与会议及资料阅读列表
IEEEtransactionsonparalleland
distributed
systems(TPDS)主页:https://ieeexplore.ieee.org/xpl/RecentIssue.jsp
holyprince
·
2023-12-15 11:09
科研
高性能计算
高性能计算
如何计算近似纳什均衡_在普适边缘计算环境中的多代理模仿学习:一种分散计算卸载算法...
Multi-AgentImitationLearningforPervasiveEdgeComputing:ADecentralizedComputationOffloadingAlgorithm.IEEETransactionsonParalleland
Distributed
Systems
weixin_39697096
·
2023-12-15 11:06
如何计算近似纳什均衡
re:Invent 2023 | 简化、优化和增强亚马逊云科技网络管理
关键字:[AmazonWebServicesre:Invent2023,Aviatrix,NetworkVisibility,
Distributed
Firewall,Multi-CloudSecurity
李白的好朋友
·
2023-12-15 10:56
aws
亚马逊云科技
科技
人工智能
re:Invent
2023
生成式AI
云服务
torch.
distributed
.init_process_group()详细说明(RANK/WORLD_SIZE)
文章目录前言一、torch.
distributed
.init_process_group函数定义二、RANK、WORLD_SIZE和LOCAL_RANK1、RANK说明2、WORLD_SIZE说明3、LOCAL_RANK
tangjunjun-owen
·
2023-12-15 01:10
python-pytorch
rank
world_size
NLP-词向量
一个词对应一个编号缺点:维数灾难、词汇鸿沟(不能从编号上看出两个词是够存在某种关系,如同义词、反义词)
Distributed
Represent
Rockelbel
·
2023-12-14 18:29
RPC
几种框架6种微服务RPC框架1、常见的分布式应用架构风格:从架构风格的抽象高度来看,常见的分布式应用架构风格有三种:1、分布式对象(
Distributed
Objects,简称DO)–架构实例有CORBA
行走的歌
·
2023-12-14 17:46
Java
分布式
RPC
REST
编程语言
网络
微服务学习二
1、
DIstributed
Transaction分布式事务是指单个事件导致两个或多个不能以原子方式提交的单独数据的突变的任何情况,在微服务的世界中,它变得更加复杂,因为每个服务都是一个工作单元,并且大多数时候多个服务必须协同工作才能使业务成功
CopyLower
·
2023-12-14 17:35
学习
微服务
学习
架构
解决react启动服务时source-map-loader插件报错找不到源文件“index.ts“的源映射文件
webpack5:Failedtoparsesourcemapfrom“**********”如下图所示:Thesourcemapfileslinkstothesrc/-folderthatisnot
distributed
kuilaurence
·
2023-12-14 17:34
react.js
前端
前端框架
HarmonyOS分布式文件系统开发指导
分布式文件系统概述分布式文件系统(hmdfs,HarmonyOS
Distributed
FileSystem)提供跨设备的文件访问能力,适用于如下场景:●两台设备组网,用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
Android小贾
·
2023-12-14 15:02
HarmonyOS
OpenHarmony
移动开发
harmonyos
华为
OpenHarmony
移动开发
分布式
spark rdd和dataframe的区别,结合底层逻辑
在ApacheSpark中,RDD(Resilient
Distributed
Dataset)和DataFrame是处理数据的两种不同的抽象。
三水青一人尤
·
2023-12-14 12:29
spark
spark
大数据
分布式
数据仓库
sql
nacos不能将服务注册进去
dometadataoperationfailed;caused:com.alibaba.nacos.consistency.exception.ConsistencyException:com.alibaba.nacos.core.
distributed
.raft.exception.NoLeaderException
乐神来了
·
2023-12-07 01:34
nacos
基于意外流行的自适应模因算法求解分布式柔性作业车间调度问题——付源代码和论文
实在是太忙了,终于闲下来更新一下CSDN来介绍自己的工作《SurprisinglyPopular-BasedAdaptiveMemeticAlgorithmforEnergy-Efficient
Distributed
FlexibleJobShopScheduling
吾心即宇宙-THU
·
2023-12-06 23:26
算法
分布式
Neural Rate Estimator and Unsupervised Learning for Efficient
Distributed
Image Analytics in Split-
基于MECE原则,我们给出四个分类标准:1.压缩方法。该标准区分了有损、无损和特征压缩方法。有损压缩:有损压缩技术将压缩效率放在图像质量之上,允许更高的压缩比,但会在解压缩图像中引入明显的artifacts。无损压缩:无损压缩技术保留原始图像质量,不引入任何artifacts,但代价是压缩比较低。特征压缩:特征压缩技术专注于压缩深度学习模型从图像中提取的间接特征
结构化文摘
·
2023-12-06 12:06
学习
笔记
人工智能
机器学习
gpu算力
自然语言处理
神经网络
以太坊源码(3)——节点发现协议,KAD协议
ethereum协议3、P2P节点发现(1)分布式哈希表(DHT)DHT全称叫分布式哈希表(
Distributed
HashTable),是一种分布式存储方法。
Jarvist
·
2023-12-06 10:15
HBase 伪分布式集群模式安装md
HBase伪分布式集群模式安装(Pseudo-
Distributed
)1.解压hadoop到/usr/local/src路径下,改名为hbasetar-zxvf/opt/soft/hbase…tar.gz-C
会java的怪蜀黍
·
2023-12-06 07:52
分布式
hbase
debian
【读书笔记】《大数据技术体系详解:原理、架构与实践》03.分布式文件系统
这些文件形式的数据具有价值高、数据大、流式产生等特点,需要一个分布式文件系统存储它们,该文件系统应具有良好的容错性、扩展性和易用的API,而HDFS(Hadoop
Distributed
FileSystem
粥一样温柔
·
2023-12-06 05:40
go 爬虫 todo
GitHub-andeya/pholcus:Pholcusisa
distributed
high-concurrencycrawlersoftwarewritteninpuregolang
Go的神秘男朋友
·
2023-12-06 04:58
golang
【数据中台】开源项目(4)-BitSail
开源地址:GitHub-bytedance/bitsail:BitSailisa
distributed
high-performancedataintegratio
码农丁丁
·
2023-12-05 22:55
#
大数据
#
数据中台
开源
数据中台
BitSail
【Flink从入门到精通 01】流式处理概念
01Flink是什么在讲流式处理的通用概念之前,我们先引用Flink官网的一段话:ApacheFlinkisaframeworkand
distributed
proces
编程理想国
·
2023-12-05 21:30
大数据
#
Flink
flink
大数据
big
data
java
kafka
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他