IT->分布式计算

杭电1754I Hate It-线段树详细解释和不用线段树解法

IHateItTimeLimit:9000/3000MS(Java/Others)MemoryLimit:32768/32768K(Java/Others)TotalSubmission(s):25309AcceptedSubmission(s):10028ProblemDescription很多学校流行一种比较的习惯。老师们很喜欢询问，从某某到某某当中，分数最高的是多少。这让很多学生很反感。不管
ECJTU_ACM_余伟伟·2023-12-01 03:28

Hyper-v虚拟机Hadoop集群搭建

(海量数据存储)HDFS为海量的数据提供了存储，而MapReduce**分布式计算**则为海量的数据提供了计算总结：用Java开发HDFS–解决大数据存储问题MapReduce–解决大数据计算问题HDF
真.电脑人·2023-11-30 16:16

【大数据学习笔记-1】大数据hadoop平台基本组件

Hadoop是一个由Apache基金会所开发的分布式计算和存储架构。说人话的通俗描述：你在爱奇艺网站看过一次科幻片后，下次再登录爱奇艺，首页会把最新科幻动作片推送给你，目的是要向你多收点会员费。
工匠小能手·2023-11-30 15:19

rpc服务、微服务架构、分布式应用是什么

RPC在分布式计算
cxh20777·2023-11-30 13:24

【物联网与大数据应用】Hadoop数据处理

Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12·2023-11-30 09:06

MapReduce的基础知识

1、什么是MapReduceHadoopMapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）MapReduce
huan1993·2023-11-30 07:44

Hadoop入门学习笔记-第三天（Yarn高可用集群配置及计算案例）

什么是mapreduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件
渣男程序员007·2023-11-30 05:13

使用Ray轻松进行Python分布式计算

当我们拥有多个处理器时，就可以真正以并行的方式执行计算，本文将简要介绍Python分布式计算。1.并行计算与分布式计算的区别并行计算在现代计算中非常有用，几乎是必需的，目的是实现最大性能。
python慕遥·2023-11-30 03:51

spark写出分布式的训练算法_Spark分布式计算执行模型

Spark中使用了RDD(ResilientDistributedDatasets,弹性分布式数据集)抽象分布式计算，即使用RDD以及对应的transform/action等操作来执行分布式计
weixin_39965673·2023-11-30 02:01

大数据分析主要做什么？

数据科学并没有一个独立的学科体系，统计学，机器学习，数据挖掘，数据库，分布式计算，云计算，信息可视化等技术或方法来对付数据。
kuntoria·2023-11-29 15:46

RPC之GRPC：什么是GRPC、GRPC的优缺点、GRPC使用场景

它也适用于分布式计算的最后一英里，将设备、移动应用程序和浏览器连接到后端服务。
一码归一码@·2023-11-29 14:01

HCIA-Big Data华为认证大数据工程师 习题册 含答案

含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark基于内存的分布式计算
k Chivalrous man·2023-11-29 08:16

Spark Streaming使用Kafka数据流示例

Spark作为目前最流行的分布式计算框架，可用于处理实时数据流，本文主要介绍SparkStreaming如何使用Kafka数据流做分析，具体使用的版本信息见pom配置。
追风落叶乔木生·2023-11-29 07:34

MapReduce概念

它是由Google开发的，用于处理大规模数据集的分布式计算框架。MapReduce的主要作用是将一个大的任务分解成多个小的任务，并在多台机器上并行执行这些任务。
xixingzhe2·2023-11-28 16:29

【面试题集】Java如何实现多重继承及Spring内部类继承实例

概念品茗IT-面试题集-首发如果大家正在寻找一个java的学习环境，或者在开发中遇到困难，可以加入我们的java学习圈，点击即可加入，共同学习，节约学习时间，减少很多在学习中遇到的难题。
逍遥天扬·2023-11-28 10:20

Flink实时流计算入门系列（一）

Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个
晨冉1688·2023-11-27 17:17

云计算相关基础知识

百度百科的定义云计算（cloudcomputing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户
穿格子衫的程序员·2023-11-27 13:22

中南大学2021级云计算复习笔记

云计算是并行计算、分布式计算和网格计算的发展，或者说是这些计算机科学概念的商业实现并行计算：同时使用多种计算资源解决计算问题的过程分布式计算：将需要巨大计算能力的问
Molche·2023-11-27 10:00

任务调度Schedulerx2.0分布式计算原理&最佳实践

1.前言Schedulerx2.0的客户端提供分布式执行、多种任务类型、统一日志等框架，用户只要依赖schedulerx-worker这个jar包，通过schedulerx2.0提供的编程模型，简单几行代码就能实现一套高可靠可运维的分布式执行引擎。这篇文章重点是介绍基于schedulerx2.0的分布式执行引擎原理和最佳实践，相信看完这篇文章，大家都能写出高效率的分布式作业，说不定速度能提升好几倍
黄晓萌·2023-11-26 16:40

【并行与分布式计算】第六章--云计算

目录云计算的概念弹性计算容错、高可用、容灾云计算的服务模式虚拟化虚拟机虚拟机编排OpenStack虚拟机迁移容器容器编排Kubernetes云计算中的存储SOA面向服务架构有状态和无状态FaaS云计算的概念云计算是通过互联网提供计算服务（包括服务器、存储器、数据库、网络、软件......）为什么云计算的成本更低？（1）大规模采购，价格更低（2）由于数据中心的利用率只有10%~20%，当引入更多客户
耿耿于怀1762616314·2023-11-26 15:07

吉林大学《并行与分布式计算》2022期末试题及参考答案

（本文是吉大软件2020级《并行与分布式计算》课程的期末试题，题目是考试结束后我凭记忆记录的，答案是自己做的，如有谬误，请大家指正）（由于吉大软件2020级第一次开设《并行与分布式计算》这门课，我们复习时没有历年真题甚至例题都很少
耿耿于怀1762616314·2023-11-26 15:07

《分布式计算云计算与大数据》第一章

第一章、分布式计算概述1、分布式计算概述分布式计算是计算机科学研究的重要内容，主要研究对象是由若干个通过网络联合在一起的计算机组成的硬件系统，这些计算机把需要非常大的计算能力的项目分成许多小部分，然后把小部分分配给多个计算机去处理
凉介南鸢·2023-11-26 15:37

《分布式计算、云计算与大数据》第二章

第二章、分布式计算范型1、消息传递范型消息传递是进程间通信的基本途径。如图2-1所示，在消息传递范型中，表示消息的数据在两个进程（进程A和进程B）间交换：一个是发送者，另一个是接收者。
凉介南鸢·2023-11-26 15:37

第一章 分布式计算概述

第一章分布式计算概述一、分布式计算的概念分布式计算是计算机科学的重要研究内容，主要研究对象是分布式系统。
发发汗你发·2023-11-26 15:34

分布式计算、云计算与大数据 第十章

分布式计算、云计算与大数据第十章云存储技术存储概述存储组网形态RAIDRAID0RAID1RAID3RAID5RAID6RAID10RAID50RAID级别比较热备与重构逻辑卷快照分布式存储分布式块存储分布式文件存储分布式对象存储分布式表存储云存储技术存储概述存储组网形态
铁灵龙QAQ·2023-11-26 15:03

分布式计算、云计算与大数据 第十一章

分布式计算、云计算与大数据第十一章大数据技术大数据技术概述大数据存储平台HBash简介HBash的特性MongoDBMongoDB的功能MongoDB数据组织形式MapReduce执行流程MapReduce
铁灵龙QAQ·2023-11-26 15:03

分布式计算、云计算与大数据第十一章

大数据概述  大数据的“大”是相对而言的，是指所处理的数据规模巨大到无法通过目前主流数据库软件工具，在可以接受的时间内完成抓取、储存、管理和分析，并从中提取出人类可以理解的资讯。  业界普遍认同大数据具有4个V特征(数据量大Volume、变化速度快Velocity、多类型Variety与高价值Value)。简而言之，大数据可以被认为是数据量巨大且结构复杂多变的数据集合。  第一个特征Volume是
A - ??·2023-11-26 15:32

并行与分布式计算 第六章 云计算

文章目录并行与分布式计算第六章云计算6.1什么是云计算6.2虚拟化技术并行与分布式计算第六章云计算6.1什么是云计算云计算是通过互联网（“云”）提供计算服务（包括服务器、存储、数据库、网络、软件、分析和智能
一只大小菜·2023-11-26 15:31

百度开源高性能 Python 分布式计算框架 Bigflow

小编近日看到一个百度开源的python框架-Bigflow，致力于提供一套简单易用的接口来描述用户的计算任务，并使同一套代码可以运行在不同的执行引擎之上。Bigflow的设计中有许多思想借鉴自GoogleFlumeJava以及GoogleCloudDataflow，另有部分接口设计借鉴自ApacheSpark。用户基本可以不去关心Bigflow的计算真正运行在哪里，可以像写一个单机的程序一样写出自
妄心xyx·2023-11-26 12:25

Hadoop

Hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。
烈火138·2023-11-26 05:34

大数据扫盲！关于Hadoop12个事实

当年雅虎搜索工程师DougCutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。
丨程序之道丨·2023-11-25 17:53

mapreducer 分布式计算框架

mapreducer是经典的计算框架，是学习大数据处理的基础，请带着这句话“化大为小，分而治之”点击下面连接按笔记顺序进行学习mapreducer原理hadoop的Windows伪分布式环境部署Windows开发wordcountmapreducer编程counter、combiner、压缩、任务配置、MRJOB配置文件的加载机制mapper本地模式执行过程源码分析mapreducer编程，排重、
海牛大数据_青牛老师·2023-11-25 14:21

分布式计算 第五章 大数据多机计算：Hadoop

文章目录分布式计算第五章大数据多机计算：Hadoop5.2大数据和分布式的基础概念5.2.1从硬件思考大数据5.1.2从软件角度看大数据5.1.3分布式DISTRIBUTED5.1.4谷歌“三驾马车”5.1.5
一只大小菜·2023-11-25 14:42

（二）大数据---Hadoop组件介绍，区别

文章目录文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台Hive,Impala,pig区别HDFS:分布式文件系统YARN:分布式资源管理MapReduce、Spark、Flink:分布式计算框架
（─__─）·2023-11-25 07:37

Spark是什么？以及它有哪些应用场景呢？

首先说说Spark的起源：Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
陈影鸿在进步·2023-11-25 01:07

各操作系统之间的关系

网络操作系统可以支持分布式计算、远程管理和协同工作等功能，这两款操作系
睿智闷骚男·2023-11-25 00:49

科普：多领域分布式协同仿真

分布式协同仿真是一种在分布式计算环境中进行协同工作的仿真方法。使用该方法进行协同仿真时，仿真任务将被分发到多个计算节点上，并且这些节点可以同时工作以模拟完整的系统行为。
迪捷软件·2023-11-24 18:26

大数据之Hadoop流存储

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
陌名_9b41·2023-11-24 18:01

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
29597739c454·2023-11-24 15:56

为什么以太网有最短帧长度的要求_线束工程师：车载以太网介绍

随着汽车电子爆发，ECU数量和运算能力需求都呈现爆发式增长，原有的分布式计算造成了大量的运算资源的浪费。同时如有采用原有电子架构体系，对整车线束系统带来的压力巨大。基
weixin_39675215·2023-11-24 13:22

组件技术介绍

组件（component）技术是各种软件重用方法中最重要的一种方法，也是分布式计算和Web服务的基础。网络应用中的软件组件，又被称为中间件（middleware）。
谢凌宣·2023-11-24 09:35

大数据面试经验分享：探索大规模数据处理的技巧与实践

分布式计算框架的选择在处理大规模数据时，选择适合的分布式计算框架是至关重要的。常见的大数据处理框架包括ApacheHadoop和Apache
星光璀璨下的梦幻舞台·2023-11-24 06:38

Spark-06：共享变量

目录1.广播变量（broadcastvariables）2.累加器（accumulators）在分布式计算中，当在集群的多个节点上并行运行函数时，默认情况下，每个任务都会获得函数中使用到的变量的一个副本
m0_37559973·2023-11-23 18:14

Java项目：伙伴匹配系统（持续更新中）

、怎么把标签进行分类）学习方向java/c++，工作/大学主动搜索：允许用户根据标签去搜索其他用户Redis缓存组队创建队伍加入队伍根据标签查询队伍邀请其他人允许用户去修改标签推荐相似度计算算法+本地分布式计算技术栈前端
1MiZuKI·2023-11-23 17:08

HDFS分布式原理---概念篇

HDFS分布式系统2018年10月9日11:50什么是大数据：短时间内快速的产生海量的多种多样的有价值的数据大数据的技术：分布式存储分布式计算分布式批处理数据积攒一段时间，在未来某一时刻一次性计算一批数据分布式流处理数据实时进行计算
hjy1821·2023-11-23 14:16

并行与分布式计算 第9章 算法设计

文章目录并行与分布式计算第9章算法设计9.1设计过程9.1.1PCAM设计过程9.1.2划分9.1.3通信9.1.4组合9.1.5映射8.2设计方法8.2.1划分技术9.2.2分治9.2.3平衡树技术9.2.4
一只大小菜·2023-11-23 14:43

Spark RDD、DataFrame和Dataset的区别和联系

RDD可以通过并行化的方式在集群中进行分布式计算，支持多种操作，如转换操作（如map、filter、join等）和行动操作（如count、collect、reduce等）。
阿君聊风控·2023-11-23 08:24

ROS探索总结（二）——ROS总体框架

它提供了一些分布式计算的基本工具，以及整个ROS的核心部分的程序编写。（2）universe：全球范围的代码，有不同国家的ROS社区组织开发和维护。
LSG_Dawn·2023-11-23 01:07

初识kubeedge

边缘计算也是一种分布式计算，这种分布好处是：大部分重复的，
Code Lisa·2023-11-23 00:32

并行与分布式计算 第8章 并行计算模型

文章目录并行与分布式计算第8章并行计算模型8.1并行算法基础8.1.1并行算法的定义8.1.2并行算法的分类8.1.3算法的复杂度8.2并行计算模型8.2.1PRAM(SIMD-SM)模型8.2.3BSP
一只大小菜·2023-11-22 16:27
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他