分布式计算

python数据分析与可视化

跨平台性python数据分析常用类库1.ipython——科学计算标准工具集的组成部分是一个增强的pythonshell，目的是提高编写、测试、调试python代码的速度；主要用于交互式数据并行处理，是分布式计算的基础架构
燕尾十三·2023-01-13 10:14

一步步教你Hadoop多节点集群安装配置

转载地址：http://www.cnblogs.com/lanxuezaipiao/p/3525554.html1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
langwuzhe·2023-01-13 09:04

【机器学习】分布式机器学习原理及实战(Pyspark)

自2003年Google公布了3篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储（BigT
风度78·2023-01-11 19:15

ROS学习和理解

一、ROS通俗理解1.ROS理解通道：ROS提供了一种发布-订阅式的通信框架用以简单、快速地构建分布式计算系。
小小洋洋·2023-01-10 11:41

netty原理分析

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获
java伯爵·2023-01-08 13:03

详解netty原理分析

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Net
qq_43171869·2023-01-08 13:52

单节点安装部署Cube Studio

代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板市场，支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算
ReaLearn·2023-01-08 09:52

ChatGPT背后的开源AI框架Ray，现在值10亿美元

分布式计算框架Ray来自A16z支持的初创公司A
Python正在输入中......·2023-01-07 16:01

使用METIS软件包进行图划分

高效的图划分算法在大规模图数据的分布式计算中至关重要。在并行计算机上进行大规模图数据处理时，需
Jalingpp·2023-01-06 12:21

膜拜~ 终于拿到了美团老大哥分享的 Netty 源码剖析与应用 PDF

作为一个被广泛使用的Java网络编程框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、物联网行业等都得到了广泛的应用。很多流行
司腾·2023-01-05 18:07

深入解读Netty 底层核心源码，全面分析Netty特新

作为一个被广泛使用的Java网络编程框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、物联网行业等都得到了广泛的应用。很多流行
司腾·2023-01-05 18:28

ROS安装与基本配置

此外，它还提供相关工具和库，用于获取、编译、编辑代码以及在多个计算机之间运行程序完成分布式计算。
泷且·2023-01-05 09:34

阿里云 ACK One 多集群管理再升级：GitOps 多集群持续集成，统一报警管理

作者：宇汇、壮怀ACKOne概述ACKOne是阿里云面向混合云、多集群、分布式计算等场景推出的分布式云容器平台，能够统一管理阿里云上、边缘、部署在客户数据中心以及其他云上的Kubernetes集群，并简化集群管理界面
·2023-01-03 19:45

Spark简介

相对于MapReduce的批处理计算，Spark可以带来上百倍的性能提升，因此它成为继MapReduce之后，最为广泛使用的分布式计算框架。
Keven He·2023-01-03 14:29

8.4_multiple-gpus

需要注意的是，这里我们谈论的是单主机多GPU计算而不是分布式计算。如果对分布式计算感兴趣可以参考PyTorch官方文档。本节中我们将展示如何使用多块GPU计算，例如，使用多块GPU训练同一个
给算法爸爸上香·2023-01-02 16:47

分布式深度神经网络（DDNN）

在可伸缩的分布式计算层次结构的支持下，DDNN可以在神
librahfacebook·2023-01-02 07:40

蚁群算法解决TSP问题(Matlab实现）

这种算法具有分布式计算、信息正反馈和启发式搜索的特征，本质上是进化算法中的一种启发式全局优化算法。
一只揪°·2023-01-01 17:16

Hadoop3.x组件MapReduce入门

一、什么是MapReduceHadoopMapReduce，以下简称MR，是一个分布式计算框架，可以用于轻松编写分布式应用程序，使得这些程序能以可靠的、容错的、并行的方式在分布式集群机器上处理大规模的数据
文景大大·2022-12-30 11:15

Hadoop笔记-01概述

1.1大数据计算模式及代表产品1.2云计算与物联网1.2.1云计算1.2.1.1虚拟化1.2.1.2分布式存储1.2.1.3分布式计算1.2.1.4多租户1.3物联网1.3.1识别和感知技术1.3.2网络与通信技术
惊天动地猪儿虫·2022-12-30 08:23

Hadoop理论笔记

1概述1.1Hadoop简介Hadoop：分布式计算平台。基于Java实现。为用户提供底层细节透明的分布式基础架构。行业大数据标准开源软件。是Apache公司旗下的。
bug遍地跑·2022-12-29 23:16

数仓Hive和分布式计算引擎Spark多整合方式实战和调优方向

文章目录概述SparkonHiveHiveonSpark概述编译Spark源码配置调优思路编程方向分组聚合优化join优化数据倾斜任务并行度小文件合并CBO谓词下推矢量化查询Yarn配置推荐Spark配置推荐ExecutorCPU核数配置ExecutorCPU内存配置Executor个数配置Driver配置整体配置概述前面的文章都单独熟悉Hive和Spark原理和应用，本篇则来进一步研究Hive与
IT小神·2022-12-29 13:31

RayRTC：大规模分布式计算学习引擎 Ray 在字节跳动 NLP 场景下的实践

动手点关注干货不迷路JialinLiu,MengyuanChao,JianLi,WeiPeng,SixiangMa,WeiXu,RunYang,XinChenRayRTC是字节基础架构组与字节AML组共同合作，在内部RTC（RealtimeTextClassification）文本训练平台上基于Ray进行的下一代ServerlessML的探索。RTC文本分类平台是一个一站式的NLP服务平台，包括了
字节跳动技术团队·2022-12-29 13:45

如何快速实现Android平台前端设备接入能力

会话的示例可以包括Internet电话呼叫，多媒体分发，多媒体会议，分布式计算机游戏等。SIP不是通信
音视频牛哥·2022-12-29 12:00

HDFS知识点

Hadoop由三个模块组成：分布式存储HDFS，分布式计算MapReduce和资源调度引擎yarn。
宇宙中的Philip·2022-12-27 22:20

入门大数据基础：Hadoop，hive，oozie，flume，hbase，kafka，spark，shell，redis，zookeeper都是什么？

首先举例一个流程，可以辅助理解：一、HadoopHadoop是Apache开源组织的一个分布式计算开源框架(h
Foools·2022-12-26 08:15

【算力网络】基础知识

边侧：ISO认为边缘计算是一种将主要业务处理和数据存储放在网络边缘节点的分布式计算形式，ETSI定义边缘计算是在靠近数据源或用户
筼筜·2022-12-24 22:55

在 Kubernetes 上设计和部署可扩展应用程序的基本原则

以复杂而臭名昭著的分布式计算仍然是真实的。另外网络会导致速度变慢和意外错误。因为云原生应用程序通常是微服务，所以必须专门设计和部署以克服这些挑战。
Spring_java_gg·2022-12-23 15:24

Hadoop学习----Hadoop介绍

功能：允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理。
北海怪兽Monster·2022-12-23 09:00

13W字腾讯高工手写“Netty速成手册”，3天能走向实战

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty构建，比如RPC框架、zookeeper等。
写代码的珏秒秒·2022-12-23 05:08

大数据2.1 初探MapReduce

MapReduce作为一种分布式计算模型，它主要用于解决海量数据的计算问题。使用MapReduce操作
YYl543·2022-12-23 03:24

python怎么运行tensorflow_TensorFlow是什么？如何启动并运行TensorFlow？

TensorFlow还支持分布式计算，因此您可以在数百台服
weixin_39524703·2022-12-21 23:45

The Pathologies of Big Data（大数据病理）

论文目录大数据病理（ThePathologiesofBigData）处理大数据（DealingwithBigData）硬件限制（HardLimits）分布式计算作为大数据策略（DistributedComputingasaStrategyforBigData
Yore Yuen·2022-12-21 11:16

分布式系统介绍

分布式计算机系统是一组网络连接的独立计算机，它作为一个单一的计算机呈现给用户。分布式软件系统是一组通过消息交换方式进行互动的组件。分布式系统的主要任务是促进用户对远程资源的访问，并确保其共同使用。
乱七八糟2333·2022-12-21 09:50

6.分布式共享内存（DSM - Distributed Shared Memory）

传统上，分布式计算基于消息传递模型，其中数据以消息的形式从处理器传递到处理器。RPC实际上是相同的模型（或非常接近）。DSM是分布式系统的所有节点（处理器）共享的虚拟地址空间。
乱七八糟2333·2022-12-21 09:50

第七章 MapReduce详解

MapReduce是单输入、两阶段、粗粒度数据并行、分布式计算框架。
wyz191·2022-12-19 03:18

你以为xxl-job就是最牛掰的调度框架那就太草率了，重磅开源来袭！

details/106987036概述PowerJob是新一代分布式任务调度与计算框架，支持CRON、API、固定频率、固定延迟等调度策略，提供工作流来编排任务解决依赖关系，能让您轻松完成作业的调度与繁杂任务的分布式计算
石杉的架构笔记·2022-12-18 07:35

【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解（超详细必看）

英文全称为HadoopDistributedFileSystem，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，它是基于流式数据访
showswoller·2022-12-16 06:33

【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解（超详细）

MapReduce是Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算模型、框架和平台，主要解决海量数据的计算，是目前分布式计算模型中应用较为广泛的一种。
showswoller·2022-12-16 06:33

高级计网笔记（四）

决定源到目的的路径局部转发：数据平面，从一个端口流入，另一个端口流出将数据报从源送到目标主机，实现网络核心交换功能关联为转发表（路由表），流表传统实现控制平面和数据平面垂直集成在每个设备（路由器）上控制平面功能：路由协议分布式计算路由表数据平面功能
巴川笑笑生·2022-12-15 18:57

互联网时代，云计算的6大特征

它可以被看成是网格计算和虚拟化技术的融合：即利用网格分布式计算处理的能力，将IT资源构筑成一个资源池，再加上成熟的服务器虚拟化、存储虚拟化技术，以便用户可以实时地监控和调配资源。云计算更多的是指，通过
·2022-12-15 16:13

Spark基础 之 Spark的介绍

Spark是一个分布式计算框架，是由Scala语言编写完成的，是apache基金会下的顶级开源项目，和Mapresuce的作用一样，可以完成对数据的计算。
木易巷·2022-12-15 11:24

大数据技术---Spark

三大分布式计算系统开源项目：Hadoop、Spark、Storm。Spark的特点：（1）运行速度块：使用DAG执行引擎以支持循环数据流与内存计算。
asyouwish_lm·2022-12-15 11:23

Spark简介

Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark
秦岭小和尚·2022-12-15 11:48

Spark 系列（一）—— Spark简介

相对于MapReduce的批处理计算，Spark可以带来上百倍的性能提升，因此它成为继MapReduce之后，最为广泛使用的分布式计算框架。
hei bai ying·2022-12-15 11:45

【云计算与大数据技术】Hadoop MapReduce的讲解（图文解释，超详细必看）

一、HadoopMapReduce架构MapReduce是一种分布式计算框架,能够处理大量数据,并提供容错、可靠等功能,运行部署在大规模计算集群中，MapReduce计算框架采用主从架构，由Client
showswoller·2022-12-13 17:55

分布式思想

分布式1.2分布式思想1.分布式计算说明:一项任务由多个服务器共同完成1.例子:假设一项任务单独完成需要十天,如果有10个人同时执行一天完成,大数据处理技术2.分布式系统说明:将项目按照特定的功能模块及层级进行拆分
小冢清风·2022-12-13 17:49

【云计算】详解云计算的三种服务模式（IaaS、PaaS、SaaS）

云计算（CloudComputing）是分布式计算的一种，是基于互联网的相关服务的增加、使用和交互模式，通常通过互联网来提供动态易扩展且经常是虚拟化的资源。
程序遇上智能星空·2022-12-13 08:21

分布式计算MapReduce | Spark实验

一、实验内容题目1输入文件为学生成绩信息，包含了必修课与选修课成绩，格式如下：班级1,姓名1,科目1,必修,成绩1（注：为换行符）班级2,姓名2,科目1,必修,成绩2班级1,姓名1,科目2,选修,成绩3……….,………,………,………,………编写两个Hadoop平台上的MapReduce程序，分别实现如下功能：计算每个学生必修课的平均成绩。按科目统计每个班的平均成绩。题目2输入文件的每一行为具有父
Polaris_T·2022-12-12 16:45

04 MapReduce即是一个编程模型又是一个计算框架

书接上文：03HDFS大规模服务计算讲完了存储，那么我们到了分布式计算的环节~Hadoop的MapreduceHadoop包含以下模块：HadoopCommon：支持其他Hadoop模块的通用工具。
Primarbird·2022-12-12 11:12

分布式体系架构与分布式计算相关问题

分布式体系架构相关问题分布式体系结构集中式架构中，Master如何判断Slave是否存活呢？Slave故障的两类情况：Slave进程退出;Slave所在服务器宕机或重启了。如下图所示，假设Master节点与3个Slave节点相连。Master与Slave之间画了两条线，实线旁写的是TCP长连接，虚线旁写的是心跳。因为Master与Slave之间的监控关系是固定的，因此用两种机制协同来判断Slave
海陆云·2022-12-12 11:11
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他