并行第26页

全网最全-超大模型+分布式训练架构和经典论文

并行计算是一种行之有效的方法，除了分布式并行计算相关的技术之外，其实在训练大模型的过程还会融合更多的技术，如新的算法模型架构和内存/计算优化技术等。

ZOMI酱·2024-01-13 12:56

关于达梦DMHS实时同步工具开启预提交参数后导致同步日志报错问题的分析

【问题现象】DMHS日志报错，影响行数与期望行数不同【报错原因】数据库提交操作比较耗时，为加快同步速度，当两个事务操作的数据没有交集（事务之间没有关联的表）时，两个事务可以并行执行，并行执行的事务提交时

保定公民·2024-01-13 12:11

(11)达梦DMHS技术原理及应用介绍

在上一篇博客里，我们对达梦数据库MPP大规模并行处理集群进行了动手部署实践。本篇技术分享文章是对达梦DMHS技术原理的学习。

idmon·2024-01-13 12:09

企微多号管理：提升企业沟通效率与运营效能

一、企微多号管理的必要性随着企业的发展壮大，多部门、多项目并行成为常态，每个部门或项目都需要独立的企业微信账号来进行管理和沟通。然而，这也会带来诸如账号

bjshinegood·2024-01-13 11:42

大疆御3E+RTK，是不是不需要做人工像控点，直接用重建大师建模？

重建大师是一款专为超大规模实景三维数据生产而设计的集群并行处理软件，输入倾斜照片，激光点云，POS信息及像控点，输出高精度彩色网格模型，可一键完成空三、自动建模和LOD构建。

大势智慧·2024-01-13 11:00

Go 并发编程

1并发与并行Erlang之父JoeArmstrong曾经以下图解释并发与并行。并发与并行并发在图中的解释是两队人排队接咖啡，两队切换。并行是两个咖啡机，两队人同时接咖啡。

泥人冷风·2024-01-13 10:25

NumPy 2 要来了，一定记得这样做！

你好，我是坚持分享干货的EarlGrey，翻译出版过《Python编程无师自通》、《Python并行计算手册》等技术书籍。如果我的分享对你有帮助，请关注我，一起向上进击。

codingpy·2024-01-13 08:26

一不留神，大模型已经学会操纵手机了？！

你好，我是坚持分享干货的EarlGrey，翻译出版过《Python编程无师自通》、《Python并行计算手册》等技术书籍。如果我的分享对你有帮助，请关注我，一起向上进击。本文分享自量子位。

codingpy·2024-01-13 08:56

pdm，一个超强的 Python 包管理工具

你好，我是坚持分享干货的EarlGrey，翻译出版过《Python编程无师自通》、《Python并行计算手册》等技术书籍。如果我的分享对你有帮助，请关注我，一起向上进击。

codingpy·2024-01-13 08:22

孩子的内心世界你懂吗？

久而久之，环境中的人都相互影响着，好的坏的都并行。01前面冬天的时候，我有个学生，称他L吧。

淇妈修炼记·2024-01-13 08:17

Spark的内核调度

SparkShuffleSpark中shuffle的发展历程优化前的Hashshuffle经过优化后的HashshuffleSortshuffleSortshuffle的普通机制Job调度流程SparkRDD并行度概述

Sisi525693·2024-01-13 07:56

python标准库之内置函数

如果传入了额外的iterable参数，function必须接受相同个数的实参并被应用于从所有可迭代对象中并行获取的项。当有多个可迭代对象时，最短的可迭代对象耗尽则整个迭代就将结束。

_Rango_·2024-01-13 07:13

NAND Separate Command Address (SCA) 接口数据传输解读

DQInputBurst:在读取操作期间，数据以一种快速并行的方式通过DQ总线传送到控制器。

古猫先生·2024-01-13 05:08

CUDA动态并行

一、简介1.综述动态并行是CUDA编程模型的扩展，使CUDA内核能够直接在GPU上创建新工作并与其同步。在程序中任何需要的地方动态创建并行性都提供了令人兴奋的功能。

m0_46521579·2024-01-13 04:10

代码+视频手把手教你基于R语言逆概率加权(IPTW)并行生存曲线分析

逆概率加权法最早由Ｈｏｒｖｉｔｚ和Ｔｈｏｍｐｓｏｎ提出，即对每个可观测的ｙi的概率取倒数，作为被观测的yi的权重，修正由缺失数据或有偏抽样带来的估计偏差.IPTW是减少多组观察性数据间混杂偏倚的有效方法,在处理多组间变量混杂偏倚中起到了重要作用。简单来说，就是把许多协变量和混杂因素打包成一个概率并进行加权，这样的话，我只用计算它的权重就可以了，方便了许多。代码+视频手把手教你基于R语言逆概率加权(

天桥下的卖艺者·2024-01-13 03:56

用通俗易懂的方式讲解：一文讲透主流大语言模型的技术原理细节

2、大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D并行、零冗余优化器ZeRO、CPU卸载技术ZeRo-offload、混合精度训练、激活重计算技术、FlashAttention、PagedAt

机器学习社区·2024-01-13 02:47

迅为RK3568开发板编译Android12源码包-修改编译线程数

在编译Android系统时，可以通过调整线程数来控制并行编译的任务数量，使用多线程可以加快构建速度。要注意根据Ubuntu的处理器内核总数以及内存大小来设置合适的线程数。

mucheni·2024-01-13 02:14

基于python多线程串口处理

一概念1.简介该源码可以让串口收发数据并行处理。

!chen·2024-01-13 01:55

NAND Separate Command Address (SCA) 接口命令解读

CAInputPacket:在SCA接口中，输入到NAND器件的命令和地址信息被组织成并行至串行转换的CA（CommandandAddress）输入包。

古猫先生·2024-01-13 00:28

IndexFS: Scaling File System Metadata Performance with Stateless Caching and Bulk Insertion——论文泛读

许多现有的分布式文件系统只关注提供对文件数据的高度并行快速访问，并缺乏可伸缩的元数据服务。受限的元数据可伸缩性妨碍了需要并发和高性能元数据操作的大规模并行应用程序。

妙BOOK言·2024-01-12 21:15

File System Semantics Requirements of HPC Applications——论文泛读

HPDC2021Paper分布式元数据论文汇总问题大多数广泛部署的并行文件系统（PFS）实现POSIX语义，这意味着对读写的顺序一致性。

妙BOOK言·2024-01-12 21:45

如何进行大数据系统测试

MapReduce：作为Hadoop的核心计算框架，它通过将复杂的计算任务分解为“映射”（map）和“归约”（reduce）阶段，在集群节点上并行执行。

Feng.Lee·2024-01-12 21:41

vue3中el-table实现多表头并表格合并行或列

1、el-table中添加事件:span-method="genderSpanCity"{{scope.row.custom.length>0?scope.row.custom[index][column.prop]:scope.row.custom[column.prop]}}2、js添加函数//合并列constgenderSpanCity=({row,column,rowIndex,colum

可爱的秋秋啊·2024-01-12 19:38

Metal Shading Language 语法使用

MetalShadingLanguage是什么Apple生态下的着色语言，其目的类似于OpenGL的GLShadingLanguage,用来编写3D图形渲染逻辑和并行计算核心逻辑的一门编程语言。

泽泽伐木类·2024-01-12 18:23

JUC并发编程-线程基础知识复习

为什么学多线程（硬件层面）：摩尔定律（元器件数量提高，性能提高）失效，在cpu主频不再提高且核数增多的情况下，想让程序更快就要用到并行或者并发编程。

--believe·2024-01-12 17:48

建造者模式深入理解：演示建造单个和多个产品的实践，结合模板模式；支持并行构建，通俗易懂

首先呢看下建造者的定义是什么样的，先读一遍建造者模式建造者模式（BuilderPattern）是一种创建型设计模式，它主要用于将一个复杂对象的构建过程与它的表示分离，使得同样的构建过程可以创建不同的表现形式。这种模式通过一系列可重用的独立的类（称为建造者或构建器）来一步一步创建一个复杂的对象，而不需要知道具体的内部构造细节优缺点建造者模式的主要优点：封装性好：通过建造者将产品的各个部件和组装过程封

我是小酒·2024-01-12 17:01

用通俗易懂的方式讲解大模型分布式训练并行技术：MOE并行

前面的文章中讲述了数据并行、流水线并行、张量并行、序列并行、自动并行等多种并行技术。但现在的模型越来越大，训练样本越来越多，每个样本都需要经过模型的全部计算，这就导致了训练成本的平方级增长。

Python算法实战·2024-01-12 17:59

用通俗易懂的方式讲解大模型分布式训练并行技术：序列并行

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，我们需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。而利用AI集群，使深度学习算法更好地从大量数据中高效地训练出性能优良的大模型是分布式机器学习的首要目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训

Python算法实战·2024-01-12 17:25

Java中的多线程

多线程的概念：如果在一个进程中同时运行了多个线程，用来完成不同的工作，则称之为“多线程”多个线程交替占用CPU资源，而非真正的并行执行多线程的好处：充分利用CPU的资源简化编程模型带

分才·2024-01-12 17:44

逻辑回归、深度学习简介、反向传播

LogisticRegression因其简单、可并行化、可解释强深受工业界喜爱。Logistic回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。

梦码城·2024-01-12 17:57

《心法》～阅读摘记第12天

它被称为“因果报应的法则”,它与“命运”法则并行,滔滔地在我们的人生中流

李尚达·2024-01-12 16:23

百度搜索exgraph图执行引擎设计与实践

它支持如串行、并行、中断、选择等范式，以满足不同场景下的需求。对接扩展则提供了与

百度Geek说·2024-01-12 16:47

Serverless无服务

我想并行处理n个文件该怎么做？编写处理文件的代码创建包含工作队列的线程池，提交任务本质复杂度：实现文件处理程序次要复杂度；实现线

KH.·2024-01-12 15:56

Tensorflow和飞桨Paddle的控制流算子设计

TensorFlow1.xTensorFlow2.xPaddlecond/while√√√实现机制组合OP(DataFlow)函数式(Functional)函数式(Functional)高阶微分×√×并行执行

AAI机器之心·2024-01-12 15:55

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个

数据萌新·2024-01-12 14:31

晶格动力学程序 GULP

大家好，我是木南分子动力学软件诸多，包括：1.LAMMPSLAMMPS即Large-scaleAtomic/MolecularMassivelyParallelSimulator，可以翻译为大规模原子分子并行模拟器

123wxw·2024-01-12 12:24

【Java基础】进程与线程，并发与并行，CPU单核与多核

2CPU单核与多核1进程与线程进程与线程基本单位的对象不同进程是操作系统进行资源分配（包括cpu、内存、磁盘IO等）的最小单位线程是CPU调度和分配的基本单位CPU看不到进程，只能看到待分配的一些线程并发与并行并发

DEMIY_·2024-01-12 11:10

【期末不挂科-单片机考前速过系列P11】（第十一章：单片机的并行拓展例题）经典例题盘点（带图解析）

前言大家好吖，欢迎来到YY滴单片机系列，热烈欢迎！本章主要内容面向接触过单片机的老铁主要内容含：欢迎订阅YY滴C++专栏！更多干货持续更新！以下是传送门！YY的《C++》专栏YY的《C++11》专栏YY的《Linux》专栏YY的《数据结构》专栏YY的《C语言基础》专栏YY的《初学者易错点》专栏YY的《小小知识点》专栏YY的《单片机期末速过》专栏目录一.单选题二.填空题三.判断题四.简答题一.单选题

YY的秘密代码小屋·2024-01-12 11:28

《正面管教》分享

3、正面管教型——和善与坚定并行，有权威，有规矩也有自由，有限制的选择。一个真正有能力的人，必须具备七项感知和技能。①对个人能力的感知——“我能行”。

晓哲本哲·2024-01-12 10:18

bash脚本并发执行

目录背景采用GNU的paralle程序并行化方法:{}&+wait缺点进程数可控的并行化方法:命名管道背景在Linux下运行作业时,经常会遇到以下情形:有大量作业需要运行,完成每个作业所需要的时间也不是很长

legend050709ComeON·2024-01-12 10:13

PINN物理信息网络 | 物理信息神经网络PINN实例及其Python实现

物理信息神经网络的关键特点之一是并行处理能力。由于物理系统的并行性质，可以同时处理多个信息，

算法如诗·2024-01-12 10:16

【金猿案例展】智谱AI——基于全闪分布式并行文件存储打造高速大模型训练平台...

‍焱融科技案例本项目案例由焱融科技投递并参与“数据猿年度金猿策划活动——2023大数据产业年度创新服务企业榜单/奖项”评选。大数据产业创新服务媒体——聚焦数据·改变商业自ChatGPT爆火以来，中国的AI产业已经进入名副其实的“百模大战”。《中国人工智能大模型地图研究报告》显示，截至2023年5月底，国内10亿级参数规模以上基础大模型至少已经发布79个，大模型所需数据丰富，而海量数据需要强悍的储存

数据猿·2024-01-12 08:01

19. 流水线的冒险

流水线本质是提高了时间并行性，这样可能会带来一些错误。1.什么是冒险hazard阻止下一条指令在下一个时钟周期开始执行的情况。2.冒险的分类2.1结构冒险所需的硬件正在为之前的指令工作。

yangh_·2024-01-12 07:53

pyspark 使用udf 进行预测，发现只起了一个计算节点

PySparkUDF只使用一个计算节点的问题原因分析默认的并行度设置PySpark在执行UDF（用户定义函数）时，默认可能不会利用所有可用的计算节点。

samoyan·2024-01-12 07:18

LightGBM原理和调参

背景知识LightGBM(LightGradientBoostingMachine)是一个实现GBDT算法的框架，具有支持高效率的并行训练、更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以处理海量数据等优点

沉住气CD·2024-01-12 05:46

线程与进程学习笔记

一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。所有运行中的任务通常对应一个进程（Process）。

好教员好·2024-01-12 05:09

代码去除注释Remove Comments、合并行Join Lines、代码压缩Minify等vscode功能

1.去除注释通过vscode商店扩展RemoveComments移除注释。Justcopy-pastedsomecodefromsomewhereandit’sobscenelydocumentedwithunnecessarycommentseverywhere?RemoveCommentswillhelpyouundocumentthecodeandremoveallthecommentspr

梓喻·2024-01-12 04:28

利用 AWS pcluster + Vina 进行百万级分子库虚拟筛选

如果你已经有了超算资源（slurm调度），例如：并行科技，超算中心，那么可以直接跳到第三部分。AWSpcluster+Vina进行百万级分子库虚拟筛选的整体架

wufeil·2024-01-12 04:26

总线带宽的计算【技巧总结】

个人总结了一个计算技巧：假设总线并行传输m字节的信息（若这里为传输位数，则需要换算，m/8即可），一个总线周期等于n个总线时钟周期，总线时钟频率为fMHz，总线带宽W=MB/s(Mbps)我们来看两道例题

Valueyou24·2024-01-12 03:24

推荐频道

并行