【Distributed】第34页

阿里大数据架构师教你hadoop处理数据和伪分布式安装部署！速看！

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。

大数据学习01·2023-03-28 16:45

Spring5学习（二）-spring projects之Spring Cloud

SpringCloudSpringCloudprovidestoolsfordeveloperstoquicklybuildsomeofthecommonpatterns（模式）indistributedsystems

Jalen备忘录·2023-03-28 07:19

presto 的安装与使用

一个懒散的人·2023-03-27 10:40

[VLDB2019]DLM:微信大规模分布式n-gram语言模型系统

Wechat&NUS《ADistributedSystemforLarge-scalen-gramLanguageModelsatTencent》分布式语言模型，支持大型n-gramLM解码的系统。

OpenIM·2023-03-27 07:09

分布式文件系统之FastDFS

分布式文件系统是解决这些问题的有效方法之一一、什么是文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连

前端库·2023-03-27 05:11

向Hadoop Say Hello——初识Hadoop

官网原话：TheApache™Hadoop®projectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputin

爱做梦的锤子·2023-03-26 11:52

RADOS分布式对象存储原理简介

ceph包括一个兼容POSIX的分布式文件CephFS，一个分布式对象存储系统RADOS（ReliableAutonomicDistributedObjectStorage），并基于RADOS实现了一个且兼容

就问你吃不吃药·2023-03-26 11:15

【NLP相关】PyTorch多GPU并行训练（DataParallel和DistributedDataParallel介绍、单机多卡和多机多卡案例展示）

Chaos_Wang_·2023-03-26 07:35

大数据hadoop生态体系之文件处理HDFS(7)

HDFS：（HadoopDistributedFileSystem）分布式文件处理系统，Hadoop生态体系的核心功能之一，主要用于数据文件的分割处理及存储等。

welun·2023-03-26 04:19

商輪精讀筆記 2018-06-28

abetted：v.怂恿;煽动;支持;教唆（犯罪）distributed-ledgertechnology：分布式分類賬技術consignment：n.装运的货物，托运的货物;托运，运送;委托，托管;eligibility

Augustia·2023-03-26 03:41

ClickHouse 数据迁移[remote表、clickhouse-copier]

table_dis是distributedtable，对应的mergetree表为table

白奕新·2023-03-25 19:16

Kafka在windows下下载、启动、测试详细教程

目录下载地址启动启动zookeeper启动kafka队列操作创建消息队列名删除消息队列名查看所有的队列测试生产测试消费测试下载地址ApacheKafkaApacheKafka:ADistributedStreamingPlatform.https

零维展开智子·2023-03-25 09:03

A Non-Uniform Quadtree Map Building Method Including Dead-End Semantics Extraction

感谢感谢摘要Abstract:Toreducethecomplexityoflarge-scenehigh-resolutionmapswhileusingthedead-endinformationdistributedintheunmannedvehicledrivingenvironment

biter0088·2023-03-25 04:11

使用分布式数组以迭代方法求解线性方程组

https://ww2.mathworks.cn/help/releases/R2020a/parallel-computing/examples/Use-Distributed-Arrays-to-Solve-Systems-of-Linear-Equations-with-Iterative-Methods.html1

Andi_Dufresne·2023-03-24 02:49

Redis 分布式锁的正确实现方式

转载：https://wudashan.cn/2017/10/23/Redis-Distributed-Lock-Implement/前言分布式锁一般有三种实现方式：数据库乐观锁；基于Redis的分布式锁

CPU不停转·2023-03-24 01:05

Hadoop 核心介绍

1.HDFSHDFS（HadoopDistributedFileSystem）是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目.Hadoop非常适于存储大型数据

EdwinGates·2023-03-24 00:01

grafana/telegraf/opentsdb搭建监控平台

一、组件介绍1.opentsdbOpenTSDBisadistributed,scalableTimeSeriesDatabase(TSDB)writtenontopofHBase.OpenTSDBwaswrittentoaddressacommonneed

SloanChang·2023-03-24 00:48

transformations and actions

详情请参考RDDAPI文档(Scala,Java,Python,R)和pairRDD函数文档(Scala,Java).Transformation（转换）Meaning（含义）map(func)返回一个新的distributeddataset

时光如水_fe87·2023-03-23 04:24

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。

weixin_30387663·2023-03-23 02:19

《DNS攻击防范科普系列2》 -DNS服务器怎么防DDoS攻击

DDoS是DistributedDenialofService的简称，即分布式拒绝服务攻击，其利用处于不同位置的足够数量的僵尸主机产生数目巨大的数据包对一个或多个目标实施DoS攻击，耗尽受害端的网络带宽

Ta oo·2023-03-23 01:53

CC攻击和DDOS攻击哪个对服务器影响更大

攻击力最常见的就是DDOS攻击和CC攻击，DDOS攻击和CC攻击到底哪个对服务器影响更加大呢1.DDoS全称为分布式拒绝服务(DDoS:DistributedDenialofService)。

德迅云安全小李·2023-03-23 01:52

pytorch多卡训练

参考链接:https://fyubang.com/2019/07/23/distributed-training3/pytorch多gpu并行训练-知乎(zhihu.com)PyTorchDistributedDataParallel

顾北向南·2023-03-22 14:59

在线作图丨数据降维方法⑤——t-SNE(t-Distributed Stochastic Neighbor Embedding)

t-DistributedStochasticNeighborEmbedding(t-SNE)是一种非线性降维技术，特别适用于高维数据集的可视化。它广泛应用于图像处理、NLP、基因组数据和语音处理。

维凡生物·2023-03-22 13:40

namenode启动过程简要分析

1、HadoopDistributedFileSystem整体架构image.png1)主从架构，单个namenode,多个datanode;2)原始数据都被分成固定大小（最后一个block除外）的block

紫苓·2023-03-22 10:50

Celery笔记

1.Celery介绍Celeryisanasynchronoustaskqueue/jobqueuebasedondistributedmessagepassing.Itisfocusedonreal-timeoperation

宽哥好·2023-03-22 09:49

论文阅读

2013NIPS-MoreEffectiveDistributedMLviaaStaleSynchronousParallelParameterServertoberead分布式方法还是主要基于传统的ParameterServer

Yanring_·2023-03-21 17:26

kafka 核心技术实战（三）

Kafka简介ApacheKafka是消息引擎系统，也是一个分布式流处理平台（DistributedStreamingPlatform）。

fangzhan666·2023-03-21 14:18

SpringCloud简介

核心功能Distributed/versionedconfiguration分布式/版本化的配置管理Serviceregistrationanddiscovery服务注册与服务发现Routing路由Service-to-servicecalls

王诗林·2023-03-21 13:45

Spark RDD依赖关系简述

RDD，即ResilientDistributedDataset，是Spark的核心概念。这篇文章就是讲讲spark的rdd依赖关系的，不理解Spark的rdd依赖关系，很多东西你都无法理解。

润土1030·2023-03-21 08:51

spark-mongodb简单上手

首先认识一下RDD：RDD（ResilientDistributedDataset）是Spark最基础核心的概念，它表示可分区，不可变的并能够被并行操作的数据集合，不同的数据集格式对应不同的RDD实现。

Josen_Qu·2023-03-20 03:34

Multi-GPU training in Pytorch

1.UseDDPimportnecessarypackageimporttorchimporttorch.distributedasdistfromtorch.utils.dataimportDataLoaderimporttorch.nn.parallel.DistributedDataParallelasddpsetupGPUenvironmentdist.init_process_group

Birdy潇·2023-03-20 01:00

PyTorch Distributed Data Parallel使用详解

目录DDP概念辨析常用术语代码实现启动方式DDPDistributedDataParallel简称DDP，是PyTorch框架下一种适用于单机多卡、多机多卡任务的数据并行方式。

·2023-03-19 20:42

分布式FastDFS集群部署

FastDFSFastDFS的作者余庆在其GitHub上是这样描述的：“FastDFSisanopensourcehighperformancedistributedfilesystem.It'smajorfunctionsinclude

周若谷·2023-03-19 15:29

Kafka Sink

LicensedtotheApacheSoftwareFoundation(ASF)underone#ormorecontributorlicenseagreements.SeetheNOTICEfile#distributedwiththisworkforad

杨康他兄弟·2023-03-19 11:25

grpc 2022-11-28

aclientapplicationcandirectlycallamethodon[aserverapplicationonadifferentmachine]asifitwerealocalobject,makingiteasierforyoutocreatedistributedapplicationsandservicesgRPCisbasedaroundtheide

9_SooHyun·2023-03-18 14:18

gensim Word2Vec

使用分层softmax或负抽样TomasMikolovetal:EfficientEstimationofWordRepresentationsinVectorSpace,TomasMikolovetal:DistributedRepresentationsofWordsandPhrasesandtheirComp

雪茸川·2023-03-18 11:41

分布式键值存储（Distributed Key-Value Store）

前言分布式键值存储（DistributedKey-ValueStore）并不是一个新鲜的玩意。常见的Redis，Memcache等等都有很多人在用。

崔鹏飞CuiPengfei·2023-03-18 09:06

Hive入门学习记录

（HDFS：HadoopDistributedFileSystem是大数据的底层系统）数据仓库本质上就是一个数据库，但和数据库还有一些区别。

一只疯兔的迭代记录·2023-03-18 01:38

大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）

一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（HadoopDistributedFileSystem）、MapReduce（Hadoop2.0加入了YARN

大数据老司机·2023-03-17 20:38

另存為·2023-03-17 19:35

系统架构设计笔记（20）—— 综合布线系统

综合布线系统(PremisesDistributedSystem，PDS)是一种集成化通用传输系统，是在楼宇和园区范围内，利用双绞线或光缆来传输

deniro·2023-03-17 15:32

Nacos服务发现

名字服务(NamingService)提供分布式系统中所有对象(Object)、实体(Entity)的“名字”到关联的元数据之间的映射管理服务，例如ServiceName->EndpointsInfo,DistributedLockName

Visonwu·2023-03-16 10:20

[Spark学习] Spark RDD详解

什么是RDDRDD(ResilientDistributedDatasets)，弹性分布式数据集，是Spark的基本数据结构。它是一个不可变的分布式对象集合。

LestatZ·2023-03-16 04:03

年薪60万大数据架构师教你Hadoop如何安装！还不快来看！

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。

大数据学习05·2023-03-15 20:10

docker学习

Docker在分布式和大数据框架中的应用：www.ibm.com/developerworks/cn/opensource/os-cn-docker-distributed-bigdata/index.html10

刘嘻哈哈·2023-03-15 20:47

Talk - Scaling Distributed Machine Learning with System and Algorithm Co-design 笔记

来源于李沐大神的talk：基于系统和算法的协同设计的大规模分布式机器学习(ScalingDistributedMachineLearningwithSystemandAlgorithmCo-design

Yanring_·2023-03-15 15:41

vivo 调用链 Agent 原理及实践

vivo调用链系统的研发，始于对Google的《Dapper,aLarge-ScaleDistributedSystemsTracingInfrastructure》这篇经典文章的学习，我们调研

vivo互联网技术·2023-03-15 12:26

pyspark系列3-spark核心之RDD介绍

环境配置2.3PySpark使用2.3.1初始化Spark2.3.2初始化RDD2.3.3RDD操作2.3.3.1RDD的map操作2.3.3.1RDD使用函数参考:一.RDD概念RDD（resilientdistributeddataset

只是甲·2023-03-15 12:42

Jmeter-分布式压测配置及常见问题（一文全）

Jmeter-分布式压测傻瓜式配置及常见问题的解决参考Jmeter官网内容http://jmeter.apache.org/usermanual/jmeter_distributed_testing_step_by_step.html

回忆式~过去.·2023-03-15 05:51

RDD的几种创建方式

一、RDD概念RDD（ResillientDistributedDataset）：弹性分布式数据集，为抽象对象RDD可分为多个分区，每个分区分布在集群中的不同节点上(分区即partition)，从而让RDD

ryancao_b9b9·2023-03-15 01:18

推荐频道

【Distributed】