分布式计算

spark写出分布式的训练算法_Spark分布式计算执行模型

Spark中使用了RDD(ResilientDistributedDatasets,弹性分布式数据集)抽象分布式计算，即使用RDD以及对应的transform/action等操作来执行分布式计
weixin_39965673·2023-11-30 02:01

大数据分析主要做什么？

数据科学并没有一个独立的学科体系，统计学，机器学习，数据挖掘，数据库，分布式计算，云计算，信息可视化等技术或方法来对付数据。
kuntoria·2023-11-29 15:46

RPC之GRPC：什么是GRPC、GRPC的优缺点、GRPC使用场景

它也适用于分布式计算的最后一英里，将设备、移动应用程序和浏览器连接到后端服务。
一码归一码@·2023-11-29 14:01

HCIA-Big Data华为认证大数据工程师 习题册 含答案

含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark基于内存的分布式计算
k Chivalrous man·2023-11-29 08:16

Spark Streaming使用Kafka数据流示例

Spark作为目前最流行的分布式计算框架，可用于处理实时数据流，本文主要介绍SparkStreaming如何使用Kafka数据流做分析，具体使用的版本信息见pom配置。
追风落叶乔木生·2023-11-29 07:34

MapReduce概念

它是由Google开发的，用于处理大规模数据集的分布式计算框架。MapReduce的主要作用是将一个大的任务分解成多个小的任务，并在多台机器上并行执行这些任务。
xixingzhe2·2023-11-28 16:29

Flink实时流计算入门系列（一）

Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个
晨冉1688·2023-11-27 17:17

云计算相关基础知识

百度百科的定义云计算（cloudcomputing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户
穿格子衫的程序员·2023-11-27 13:22

中南大学2021级云计算复习笔记

云计算是并行计算、分布式计算和网格计算的发展，或者说是这些计算机科学概念的商业实现并行计算：同时使用多种计算资源解决计算问题的过程分布式计算：将需要巨大计算能力的问
Molche·2023-11-27 10:00

任务调度Schedulerx2.0分布式计算原理&最佳实践

1.前言Schedulerx2.0的客户端提供分布式执行、多种任务类型、统一日志等框架，用户只要依赖schedulerx-worker这个jar包，通过schedulerx2.0提供的编程模型，简单几行代码就能实现一套高可靠可运维的分布式执行引擎。这篇文章重点是介绍基于schedulerx2.0的分布式执行引擎原理和最佳实践，相信看完这篇文章，大家都能写出高效率的分布式作业，说不定速度能提升好几倍
黄晓萌·2023-11-26 16:40

【并行与分布式计算】第六章--云计算

目录云计算的概念弹性计算容错、高可用、容灾云计算的服务模式虚拟化虚拟机虚拟机编排OpenStack虚拟机迁移容器容器编排Kubernetes云计算中的存储SOA面向服务架构有状态和无状态FaaS云计算的概念云计算是通过互联网提供计算服务（包括服务器、存储器、数据库、网络、软件......）为什么云计算的成本更低？（1）大规模采购，价格更低（2）由于数据中心的利用率只有10%~20%，当引入更多客户
耿耿于怀1762616314·2023-11-26 15:07

吉林大学《并行与分布式计算》2022期末试题及参考答案

（本文是吉大软件2020级《并行与分布式计算》课程的期末试题，题目是考试结束后我凭记忆记录的，答案是自己做的，如有谬误，请大家指正）（由于吉大软件2020级第一次开设《并行与分布式计算》这门课，我们复习时没有历年真题甚至例题都很少
耿耿于怀1762616314·2023-11-26 15:07

《分布式计算云计算与大数据》第一章

第一章、分布式计算概述1、分布式计算概述分布式计算是计算机科学研究的重要内容，主要研究对象是由若干个通过网络联合在一起的计算机组成的硬件系统，这些计算机把需要非常大的计算能力的项目分成许多小部分，然后把小部分分配给多个计算机去处理
凉介南鸢·2023-11-26 15:37

《分布式计算、云计算与大数据》第二章

第二章、分布式计算范型1、消息传递范型消息传递是进程间通信的基本途径。如图2-1所示，在消息传递范型中，表示消息的数据在两个进程（进程A和进程B）间交换：一个是发送者，另一个是接收者。
凉介南鸢·2023-11-26 15:37

第一章 分布式计算概述

第一章分布式计算概述一、分布式计算的概念分布式计算是计算机科学的重要研究内容，主要研究对象是分布式系统。
发发汗你发·2023-11-26 15:34

分布式计算、云计算与大数据 第十章

分布式计算、云计算与大数据第十章云存储技术存储概述存储组网形态RAIDRAID0RAID1RAID3RAID5RAID6RAID10RAID50RAID级别比较热备与重构逻辑卷快照分布式存储分布式块存储分布式文件存储分布式对象存储分布式表存储云存储技术存储概述存储组网形态
铁灵龙QAQ·2023-11-26 15:03

分布式计算、云计算与大数据 第十一章

分布式计算、云计算与大数据第十一章大数据技术大数据技术概述大数据存储平台HBash简介HBash的特性MongoDBMongoDB的功能MongoDB数据组织形式MapReduce执行流程MapReduce
铁灵龙QAQ·2023-11-26 15:03

分布式计算、云计算与大数据第十一章

大数据概述  大数据的“大”是相对而言的，是指所处理的数据规模巨大到无法通过目前主流数据库软件工具，在可以接受的时间内完成抓取、储存、管理和分析，并从中提取出人类可以理解的资讯。  业界普遍认同大数据具有4个V特征(数据量大Volume、变化速度快Velocity、多类型Variety与高价值Value)。简而言之，大数据可以被认为是数据量巨大且结构复杂多变的数据集合。  第一个特征Volume是
A - ??·2023-11-26 15:32

并行与分布式计算 第六章 云计算

文章目录并行与分布式计算第六章云计算6.1什么是云计算6.2虚拟化技术并行与分布式计算第六章云计算6.1什么是云计算云计算是通过互联网（“云”）提供计算服务（包括服务器、存储、数据库、网络、软件、分析和智能
一只大小菜·2023-11-26 15:31

百度开源高性能 Python 分布式计算框架 Bigflow

小编近日看到一个百度开源的python框架-Bigflow，致力于提供一套简单易用的接口来描述用户的计算任务，并使同一套代码可以运行在不同的执行引擎之上。Bigflow的设计中有许多思想借鉴自GoogleFlumeJava以及GoogleCloudDataflow，另有部分接口设计借鉴自ApacheSpark。用户基本可以不去关心Bigflow的计算真正运行在哪里，可以像写一个单机的程序一样写出自
妄心xyx·2023-11-26 12:25

Hadoop

Hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。
烈火138·2023-11-26 05:34

大数据扫盲！关于Hadoop12个事实

当年雅虎搜索工程师DougCutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。
丨程序之道丨·2023-11-25 17:53

mapreducer 分布式计算框架

mapreducer是经典的计算框架，是学习大数据处理的基础，请带着这句话“化大为小，分而治之”点击下面连接按笔记顺序进行学习mapreducer原理hadoop的Windows伪分布式环境部署Windows开发wordcountmapreducer编程counter、combiner、压缩、任务配置、MRJOB配置文件的加载机制mapper本地模式执行过程源码分析mapreducer编程，排重、
海牛大数据_青牛老师·2023-11-25 14:21

分布式计算 第五章 大数据多机计算：Hadoop

文章目录分布式计算第五章大数据多机计算：Hadoop5.2大数据和分布式的基础概念5.2.1从硬件思考大数据5.1.2从软件角度看大数据5.1.3分布式DISTRIBUTED5.1.4谷歌“三驾马车”5.1.5
一只大小菜·2023-11-25 14:42

（二）大数据---Hadoop组件介绍，区别

文章目录文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台Hive,Impala,pig区别HDFS:分布式文件系统YARN:分布式资源管理MapReduce、Spark、Flink:分布式计算框架
（─__─）·2023-11-25 07:37

Spark是什么？以及它有哪些应用场景呢？

首先说说Spark的起源：Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
陈影鸿在进步·2023-11-25 01:07

各操作系统之间的关系

网络操作系统可以支持分布式计算、远程管理和协同工作等功能，这两款操作系
睿智闷骚男·2023-11-25 00:49

科普：多领域分布式协同仿真

分布式协同仿真是一种在分布式计算环境中进行协同工作的仿真方法。使用该方法进行协同仿真时，仿真任务将被分发到多个计算节点上，并且这些节点可以同时工作以模拟完整的系统行为。
迪捷软件·2023-11-24 18:26

大数据之Hadoop流存储

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
陌名_9b41·2023-11-24 18:01

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
29597739c454·2023-11-24 15:56

为什么以太网有最短帧长度的要求_线束工程师：车载以太网介绍

随着汽车电子爆发，ECU数量和运算能力需求都呈现爆发式增长，原有的分布式计算造成了大量的运算资源的浪费。同时如有采用原有电子架构体系，对整车线束系统带来的压力巨大。基
weixin_39675215·2023-11-24 13:22

组件技术介绍

组件（component）技术是各种软件重用方法中最重要的一种方法，也是分布式计算和Web服务的基础。网络应用中的软件组件，又被称为中间件（middleware）。
谢凌宣·2023-11-24 09:35

大数据面试经验分享：探索大规模数据处理的技巧与实践

分布式计算框架的选择在处理大规模数据时，选择适合的分布式计算框架是至关重要的。常见的大数据处理框架包括ApacheHadoop和Apache
星光璀璨下的梦幻舞台·2023-11-24 06:38

Spark-06：共享变量

目录1.广播变量（broadcastvariables）2.累加器（accumulators）在分布式计算中，当在集群的多个节点上并行运行函数时，默认情况下，每个任务都会获得函数中使用到的变量的一个副本
m0_37559973·2023-11-23 18:14

Java项目：伙伴匹配系统（持续更新中）

、怎么把标签进行分类）学习方向java/c++，工作/大学主动搜索：允许用户根据标签去搜索其他用户Redis缓存组队创建队伍加入队伍根据标签查询队伍邀请其他人允许用户去修改标签推荐相似度计算算法+本地分布式计算技术栈前端
1MiZuKI·2023-11-23 17:08

HDFS分布式原理---概念篇

HDFS分布式系统2018年10月9日11:50什么是大数据：短时间内快速的产生海量的多种多样的有价值的数据大数据的技术：分布式存储分布式计算分布式批处理数据积攒一段时间，在未来某一时刻一次性计算一批数据分布式流处理数据实时进行计算
hjy1821·2023-11-23 14:16

并行与分布式计算 第9章 算法设计

文章目录并行与分布式计算第9章算法设计9.1设计过程9.1.1PCAM设计过程9.1.2划分9.1.3通信9.1.4组合9.1.5映射8.2设计方法8.2.1划分技术9.2.2分治9.2.3平衡树技术9.2.4
一只大小菜·2023-11-23 14:43

Spark RDD、DataFrame和Dataset的区别和联系

RDD可以通过并行化的方式在集群中进行分布式计算，支持多种操作，如转换操作（如map、filter、join等）和行动操作（如count、collect、reduce等）。
阿君聊风控·2023-11-23 08:24

ROS探索总结（二）——ROS总体框架

它提供了一些分布式计算的基本工具，以及整个ROS的核心部分的程序编写。（2）universe：全球范围的代码，有不同国家的ROS社区组织开发和维护。
LSG_Dawn·2023-11-23 01:07

初识kubeedge

边缘计算也是一种分布式计算，这种分布好处是：大部分重复的，
Code Lisa·2023-11-23 00:32

并行与分布式计算 第8章 并行计算模型

文章目录并行与分布式计算第8章并行计算模型8.1并行算法基础8.1.1并行算法的定义8.1.2并行算法的分类8.1.3算法的复杂度8.2并行计算模型8.2.1PRAM(SIMD-SM)模型8.2.3BSP
一只大小菜·2023-11-22 16:27

【论文笔记】Recent Developments in Parallel and Distributed Computing for Remotely Sensed Big Data Proc...

题目：用于遥感大数据处理的并行和分布式计算的最新进展摘要本文对处理遥感大数据的最先进方法进行了调查，并深入研究了各种流行的高性能计算平台上现有的并行实现。
吃核桃用手夹·2023-11-22 06:12

【并行与分布式计算】第四章数据级并行：向量体系结构和GPU

目录SPMD运行在SISD（或MIMD）上SIMD器件向量体系结构和GPU向量的计算方式向量体系结构向量体系结构的性能优化SPMD运行在SISD（或MIMD）上运行在SISD上：单核单线程，把MD拆为多个SD，串行执行。缺点：串行执行十分消耗时间。运行在MIMD上：多核多线程，把SP的I重复多次，变为MIMD，并行执行。缺点：I重复时取指、译码等操作冗余，产生额外开销。SIMD器件更多的ALU（在
耿耿于怀1762616314·2023-11-22 05:32

bitmap基础介绍+holo实现离线UV计算

bitmap基础介绍bitmaping数据结构bitmap计算算子集成二阶段分布式计算：RoaringBitmap构造方案分桶方案建序方案holo官网离线UV计算创建用户映射表创建聚合结果表更新用户映射表和聚合结果表更新聚合结果表
jialun0116·2023-11-21 22:17

四个分布式计算框架MapReduce/Tez/Spark/Storm异同

MapReduceSparkStormTez四个框架的异同离线计算框架，MapReduce是一种将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。内存计算框架，Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapReduce是一种磁盘计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。Tez运行在
Hanson_Huang·2023-11-21 12:25

软件测试/测试开发/人工智能丨基于Spark的分布式造数工具：加速大规模测试数据构建

分布式计算：Spark是一种开源的分布式计算框架，能够处理大规模数据并行计算。通过Spark，我们可以利用集群的计算资源，快速构建大规模的测试数据。内存计算：Spark的内存计算能力使其更适合迭
测试开发软件测试性能测试自动化测试·2023-11-21 11:32

开源集群管理系统对比分析：Kubernetes 与 Apache Mesos

毫无疑问，它们通过确保可扩展性、高可用性和有效的资源管理在现代计算中发挥着至关重要的作用，这使得它们对于运行复杂的应用程序、管理数据中心以及进一步增强分布式计算的能力至关重要。
沃趣数据库管理平台·2023-11-21 09:48

千亿大数据处理能力是如何炼成的？

早在2003年，谷歌发表第一篇论文——谷歌文件系统（GFS）；第二年，谷歌再次发表一篇论文——分布式计算框架MapReduce；2006年，谷歌发表第三篇论文——NoSQL数据库系统BigTable。
@金州拉文·2023-11-21 07:48

【博学谷学习记录】超强总结，用心分享|Hive调优-本地模式

文章目录本地模式用案例测试本地模式的效果创建普通表加载数据到普通表创建分桶表查询普通表数据插入分桶表记录关闭本地模式的插入数据用时记录开启本地模式的插入数据用时记录关闭本地模式的查询数据用时记录开启本地模式的查询数据用时总结本地模式当数据量很大时，HadoopJob是通过集群来处理大数据集的，这样可以充分发挥分布式计算的优势
熊猫同学呀·2023-11-20 20:29

2023.11.19 hadoop之MapReduce

目录1.简介2.分布式计算框架-MapReduce3.mapreduce的步骤4.MapReduce底层原理map阶段shuffle阶段reduce阶段1.简介Mapreduce是一个分布式运算程序的编程框架
白白的wj·2023-11-20 16:07
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他