Distributed原理解析

Multi-GPU training in Pytorch

1.UseDDPimportnecessarypackageimporttorchimporttorch.distributedasdistfromtorch.utils.dataimportDataLoaderimporttorch.nn.parallel.DistributedDataParallelasddpsetupGPUenvironmentdist.init_process_group
Birdy潇·2023-03-20 01:00

PyTorch Distributed Data Parallel使用详解

目录DDP概念辨析常用术语代码实现启动方式DDPDistributedDataParallel简称DDP，是PyTorch框架下一种适用于单机多卡、多机多卡任务的数据并行方式。
·2023-03-19 20:42

java重试机制使用RPC必须考虑幂等性原理解析

目录文章概述1为什么重试2怎么做重试2.1集群容错策略(1)Failover(2)Failfast(3)Failsafe(4)Failback(5)Forking(6)Broadcast2.2源码分析2.2.1Failover2.2.2Failfast2.2.3Failsafe2.2.4Failback2.2.5Forking2.2.6Broadcast3怎么做幂等3.1取消重试3.2幂等表3.3
·2023-03-19 18:34

分布式FastDFS集群部署

FastDFSFastDFS的作者余庆在其GitHub上是这样描述的：“FastDFSisanopensourcehighperformancedistributedfilesystem.It'smajorfunctionsinclude
周若谷·2023-03-19 15:29

iOS App启动原理解析和启动布局

一、IOS开发APP启动原理main()函数是整个程序的入口，在程序启动之前，系统会调用exec()函数。在Unix中exec和system的不同在于，system是用shell来调用程序，相当于fork+exec+waitpid，fork函数创建子进程后通常都会调用exec函数来执行一个新程序；而exec是直接让你的程序代替原来的程序运行。system是在单独的进程中执行命令，完了还会回到你的程
羽裳有涯·2023-03-19 14:49

深入区块链共识（二）：PoC论文解读与模型建立

*本系列文章，是链博核心区块链研究小组输出的高质量区块链研究性文章，旨在研究和分享底层区块链技术的原理解析，新技术趋势，拒绝讨论任何token，行情和投资建议。
ChainBoard链博科技·2023-03-19 12:46

Kafka Sink

LicensedtotheApacheSoftwareFoundation(ASF)underone#ormorecontributorlicenseagreements.SeetheNOTICEfile#distributedwiththisworkforad
杨康他兄弟·2023-03-19 11:25

ClassLoader类加载器原理解析

ClassLoader类加载器原理解析首先的了解下我们的类加载器-类加载器就是把我们的.class文件加载到JVM中生成对应的Class对象1.BootStrapClassLoader-这个类是我们JVM
Stefan02·2023-03-19 09:52

grpc 2022-11-28

aclientapplicationcandirectlycallamethodon[aserverapplicationonadifferentmachine]asifitwerealocalobject,makingiteasierforyoutocreatedistributedapplicationsandservicesgRPCisbasedaroundtheide
9_SooHyun·2023-03-18 14:18

gensim Word2Vec

使用分层softmax或负抽样TomasMikolovetal:EfficientEstimationofWordRepresentationsinVectorSpace,TomasMikolovetal:DistributedRepresentationsofWordsandPhrasesandtheirComp
雪茸川·2023-03-18 11:41

分布式键值存储（Distributed Key-Value Store）

前言分布式键值存储（DistributedKey-ValueStore）并不是一个新鲜的玩意。常见的Redis，Memcache等等都有很多人在用。
崔鹏飞CuiPengfei·2023-03-18 09:06

从Transformer到ViT：多模态编码器算法原理解析与实现

从Transformer到ViT：多模态编码器算法原理解析与实现模型架构与算法原理ImageTokenEmbeddingMulti-headSelf-attention流程线性变换MatMulScale
易烊千玺铁粉·2023-03-18 07:29

RocketMQ实战与原理解析

一、Topic消息存储image.png1、消费者发送的Message会在Broker中的Queue队列中记录。2、一个Topic的数据可能会存在多个Broker中。3、一个Broker存在多个Queue。4、单个的Queue也可能存储多个Topic的消息。也就是说每个Topic在Broker上会划分成几个逻辑队列，每个逻辑队列保存一部分消息数据，但是保存的消息数据实际上不是真正的消息数据，而是指
小鱼东西·2023-03-18 05:41

Hive入门学习记录

（HDFS：HadoopDistributedFileSystem是大数据的底层系统）数据仓库本质上就是一个数据库，但和数据库还有一些区别。
一只疯兔的迭代记录·2023-03-18 01:38

大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）

一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（HadoopDistributedFileSystem）、MapReduce（Hadoop2.0加入了YARN
大数据老司机·2023-03-17 20:38

flink相关概念介绍

Flink定义ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreams.ApacheFlink
另存為·2023-03-17 19:35

系统架构设计笔记（20）—— 综合布线系统

综合布线系统(PremisesDistributedSystem，PDS)是一种集成化通用传输系统，是在楼宇和园区范围内，利用双绞线或光缆来传输
deniro·2023-03-17 15:32

Jetson Nano搭建人脸检测系统: （二）人脸检测算法

1、人脸检测算法的原理  人脸检测算法目前以深度学习方向更为准确，本文不进行算法的原理解析，直接以开源的训练好的模型介绍和比较为主。
神经网络爱好者·2023-03-17 14:45

HashMap底层原理解析

原文地址:https://jygod.github.io/2018/04/05/HashMap%E5%BA%95%E5%B1%82%E5%8E%9F%E7%90%86%E8%A7%A3%E6%9E%90/初始化我们先来看看在初始化HashMap的时候会发生神马:HashMapmap=newHashMap();publicHashMap(){this.loadFactor=DEFAULT_LOAD_
JYGod丶·2023-03-17 12:33

SpringCloud全系列（一）： OpenFeign原理解析

目录1、背景2、SpringCloudOpenFeign用法举例3、SpringCloudOpenFeign“魔法”揭秘1.@FeignClient如何根据接口生成实现类的？2.生成的实现（代理）类是如何适配各种HTTP组件的？3.生成的实现（代理）类如何实现HTTP请求应答序列化和反序列化的？4.生成的实现（代理）类是如何注入到Spring容器中的？4、SpringCloudOpenFeign不
飞向札幌的班机·2023-03-17 09:52

SpringBoot-核心技术篇

技术掌握导图六个大标题↓配置文件web开发数据访问单元测试指标指控原理解析配置文件1.文件类型1.1、properties同以前的properties用法1.2、yaml1.2.1、简介YAML是“YAMLAin
忆忆_application·2023-03-17 07:07

美团Robust原理解析

本篇文章将带大家解析Robust框架热修复原理主流的热修复框架类型ClassLoader：将热修复的类放在dexElements[]的最前面，这样加载类时会优先加载到要修复的类以达到修复目的。如腾讯的Tinker、Nuwa等。Nativehook：修改java方法在native层的函数指针，指向修复后的方法以达到修复目的。如阿里的Andifix、DexPosed等。Instantrun：在编译打包
Jill_Jia·2023-03-16 18:10

简单易懂又非常牛逼的Spring源码解析，ConfigurationClassPostProcessor的具体逻辑

简单易懂又非常牛逼的Spring源码解析，ConfigurationClassPostProcessor的具体逻辑原理解析收集@Configuration注解修饰的配置类的BeanDefinition交给
黄俊懿·2023-03-16 13:47

简单易懂又非常牛逼的Spring源码解析，推断构造与bean的实例化

简单易懂又非常牛逼的Spring源码解析，推断构造与bean的实例化原理解析实例化bean的入口工厂方法实例化推断构造初次筛选二次筛选bean的实例化代码走读实例化bean的入口createBeanInstance
黄俊懿·2023-03-16 13:47

简单易懂值得收藏的Spring源码解析，依赖注入和bean的初始化

简单易懂值得收藏的Spring源码解析，依赖注入和bean的初始化原理解析依赖注入PropertyValues、PropertyValue、PropertyAccessorbyNamebyType@Autowiredbean
黄俊懿·2023-03-16 13:47

人人都能看懂的Spring源码解析，配置解析与BeanDefinition加载注册

人人都能看懂的Spring源码解析，扫描加载BeanDefinition的过程原理解析什么是BeanDefinition？
黄俊懿·2023-03-16 13:17

人人都能看懂的Spring源码解析，Spring如何解决循环依赖

人人都能看懂的Spring源码解析，Spring如何解决循环依赖原理解析什么是循环依赖循环依赖会有什么问题？如何解决循环依赖问题的根本原因如何解决为什么需要三级缓存？
黄俊懿·2023-03-16 13:41

人工智能大模型之ChatGPT原理解析

前言近几个月ChatGPT爆火出圈，一路狂飙；它功能十分强大，不仅能回答各种各样的问题，还可以信写作，给程序找bug…我经过一段时间的深度使用后，十分汗颜，"智障对话"体验相比，它是如此的丝滑流畅作为一名技术人，情不自禁的对它的原理产生了十分浓厚的兴趣；于是花费了一些时间去研究其实现技术原理，在此与大家分享ChatGPT基本信息&原理ChatGPT基本信息研发公司：OpenAI创立年份：2015年
当年的春天·2023-03-16 12:58

Nacos服务发现

名字服务(NamingService)提供分布式系统中所有对象(Object)、实体(Entity)的“名字”到关联的元数据之间的映射管理服务，例如ServiceName->EndpointsInfo,DistributedLockName
Visonwu·2023-03-16 10:20

vuex 原理解析

vuex的原理关键:使用vue实例管理状态vuex原理解析--源码精简写法{{data}}{{data2}}changefunctionregiterPlugiin(Vue){constvuex={}/
Cue_Ada·2023-03-16 06:09

Spring IoC Container 原理解析

IoC、DI基础概念关于IoC和DI大家都不陌生，我们直接上martinfowler的原文，里面已经有DI的例子和spring的使用示例《InversionofControlContainersandtheDependencyInjectionpattern》https://www.martinfowler.com/articles/injection.html我们这里只关注一些重点概念做为思考，
Java程序员石头·2023-03-16 06:25

[Spark学习] Spark RDD详解

什么是RDDRDD(ResilientDistributedDatasets)，弹性分布式数据集，是Spark的基本数据结构。它是一个不可变的分布式对象集合。
LestatZ·2023-03-16 04:03

skywalking本地调试

源代码地址skywalking是一款很优秀的监控系统，采用代理方式基于切面编程来拦截请求进行监控数据记录，架构采用CS模式server端地址java客户端地址server端构建过程此文不做原理解析，只讲大概入门思路
gregoriusxu·2023-03-15 22:49

年薪60万大数据架构师教你Hadoop如何安装！还不快来看！

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
大数据学习05·2023-03-15 20:10

docker学习

Docker在分布式和大数据框架中的应用：www.ibm.com/developerworks/cn/opensource/os-cn-docker-distributed-bigdata/index.html10
刘嘻哈哈·2023-03-15 20:47

Java volatile 关键字底层实现原理解析

导语在Java多线程并发编程中，volatile关键词扮演着重要角色，它是轻量级的synchronized，在多处理器开发中保证了共享变量的“可见性”。“可见性”的意思是当一个线程修改一个共享变量时，另外一个线程能读到这个修改的值。如果一个字段被声明为volatile，Java线程内存模型确保所有线程看到这个变量的值是一致的。与synchronized不同，volatile变量不会引起线程上下文的
Java精选·2023-03-15 20:53

Talk - Scaling Distributed Machine Learning with System and Algorithm Co-design 笔记

来源于李沐大神的talk：基于系统和算法的协同设计的大规模分布式机器学习(ScalingDistributedMachineLearningwithSystemandAlgorithmCo-design
Yanring_·2023-03-15 15:41

vivo 调用链 Agent 原理及实践

vivo调用链系统的研发，始于对Google的《Dapper,aLarge-ScaleDistributedSystemsTracingInfrastructure》这篇经典文章的学习，我们调研
vivo互联网技术·2023-03-15 12:26

pyspark系列3-spark核心之RDD介绍

环境配置2.3PySpark使用2.3.1初始化Spark2.3.2初始化RDD2.3.3RDD操作2.3.3.1RDD的map操作2.3.3.1RDD使用函数参考:一.RDD概念RDD（resilientdistributeddataset
只是甲·2023-03-15 12:42

Springboot中@Autowired的原理解析

@Autowired是spring项目中经常使用到的注解，但大多数人都是简单的使用，并不知道原理，下面记录下个人在研究@Autowired时的收获和理解。@Autowired的用法Autowired能使用在什么地方，参数含义。@Autowired在何处使用@Target({ElementType.CONSTRUCTOR,ElementType.METHOD,ElementType.PARAMETE
昨日已逝去·2023-03-15 12:20

Android Button background失效原理解析

文章目录AndroidButton修改不了背景色原理解析代码解析为何创建的是MaterialButton初期解析流程分析创建子View分析为何background不生效构造函数解析小插曲Drawable
谁谁谁动了我·2023-03-15 10:03

python计算机视觉--全景图像拼接

文章目录原理解析全景图像:1.1全景拼接1.2RANSAC算法1.3图像配准1.4图割方法1.5图像融合1.6APAP算法1.7multi-bandbleing算法代码测试原理解析全景图像:同一位置（即图像的照相机位置相同
whh_0509·2023-03-15 09:32

自带线程池

关于线程和线程池的学习，我们可以从以下几个方面入手：第一，什么是线程，线程和进程的区别是什么第二，线程中的基本概念，线程的生命周期第三，单线程和多线程第四，线程池的原理解析第五，常见的几种线程池的特点以及各自的应用场景一
路遥_b5f3·2023-03-15 06:42

Jmeter-分布式压测配置及常见问题（一文全）

Jmeter-分布式压测傻瓜式配置及常见问题的解决参考Jmeter官网内容http://jmeter.apache.org/usermanual/jmeter_distributed_testing_step_by_step.html
回忆式~过去.·2023-03-15 05:51

LiveData详解

LiveData原理解析LiveData是一个数据持有者类，可以在给定的生命周期中观察到。
饮料只喝芬达·2023-03-15 03:45

JUC并发编程之ForkJoin框架原理解析

目录JUC并发编程之ForkJoin框架原理解析CPU密集型（CPU-bound）IO密集型（I/Obound）CPU密集型vsIO密集型Fork/Join框架概念工作窃取算法总结JUC并发编程之ForkJoin
etcEriksen·2023-03-15 01:49

RDD的几种创建方式

一、RDD概念RDD（ResillientDistributedDataset）：弹性分布式数据集，为抽象对象RDD可分为多个分区，每个分区分布在集群中的不同节点上(分区即partition)，从而让RDD
ryancao_b9b9·2023-03-15 01:18

Jetpack WorkManager原理解析

先来说一下WorkManager到底是干嘛的？谷歌为啥要在Jetpack组件库里面加入WorkManager，从表面意思可以理解它为工作管理器，也就是说是用来处理任务的可靠方式，比如我想在充电的时候处理一些事情，比如我想在电量充足的情况下处理一些事情，比如我想在网络连接的时候处理一些事情，又比如我想在连上wifi的时候处理一些事情，又比如我想在内存不足的时候处理一些事情。当然这些方式你用别的方法也
飞雨的夏天·2023-03-14 23:27

LiveData原理解析...

0.大佬推荐https://blog.csdn.net/jhbxyz/article/details/108321239先抛出大佬写的…写的确实好,但是我只是喜欢自己总结罢了1.LiveDataLiveData,也作为MVVM框架内基础的一员,可以很好的将我们的V层和VM层分开。那我们靠的就是LiveData.~那它具有的特性为:使用LiveData具有以下优势：确保界面符合数据状态LiveDat
矿坑中的野猫·2023-03-14 23:38

LiveData的基本使用和原理解析

1.liveData的基本使用1.1添加依赖在build.gradle（app)中添加依赖dependencies{implementation"androidx.lifecycle:lifecycle-viewmodel-ktx:2.5.0-rc01"implementation"androidx.lifecycle:lifecycle-livedata-ktx:2.5.0-rc01"}自定义v
apashi·2023-03-14 23:04
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他