分布式计算第28页

我眼中的大数据（四）——Yarn和Hive

CSDN话题挑战赛第2期参赛话题：大数据技术分享一、YarnHadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn

平凡程序猿·2022-09-28 09:22

学无止境我爱学习·2022-09-26 10:44

干货 | 携程数据血缘构建及应用

作者简介cxzl25，携程软件技术专家，关注大数据领域生态建设，对分布式计算和存储、调度等方面有浓厚兴趣。

携程技术·2022-09-25 10:28

大数据的概述

大数据概述前言一、大数据的产生二、云计算与大数据的关系三、大数据的4V特征四、大数据的主要应用及行业推动力量五、我国的发展现状六、大数据的关键技术七、大数据的计算架构前言在分布式计算中,由于数据量的大小及格式超出了典型数据库软件的采集

暖爷丶龙·2022-09-24 19:27

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/

@司马懿·2022-09-22 19:12

我眼中的大数据（一）

我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable（如果大家需要可以留言给我

平凡程序猿·2022-09-22 14:20

MapReduce概述及MapReduce详细实现

原理四、MR执行过程1、map阶段2、reudce阶段3、shuffle过程五、MapReduce默认输入处理类六、RecordReader七、Inputsplit一、概述1）MapReduce是一种分布式计算模型

It.explorer·2022-09-21 13:09

sparkwithhive读写hive数据库某种报错解决

在大数据技术中，Hive擅长元数据管理，而Spark的专长是高效的分布式计算，二者的结合将呈现’1+1>2’的效果。

马里奥w·2022-09-21 13:39

跟李沐学AI之计算性能+图像分类

计算性能+图像增强+微调深度学习硬件其他芯片单击多卡并行分布式计算数据增广微调树叶分类狗的分类深度学习硬件上图为CPU，是任何计算机的核心。

小小小方·2022-09-16 07:28

分布式文件系统HDFS架构解析

1、HDFS基本架构HDFS是Hadoop核心项目的子项目，是分布式计算中数据存储管理的基础，具有高容错性、可扩展性，

solihawk·2022-09-14 12:33

python 北京大学陈斌教授_“其实数算可以很简单” ——专访北大地空学院陈斌...

【采访时间】2015年5月6日陈斌，北京大学地球与空间科学学院遥感与地理信息系统研究所副教授，主要研究方向为空间信息分布式计算、分布式虚拟地理环境。

weixin_39844590·2022-09-11 22:40

Yarn资源管理器

Yarn被引入Hadoop2.0，最初是为了改善MapReduce的实现，但是因为具有足够的通用性，同样也可以支持其他的分布式计算模式，比如Spark，Tez等计算框架。Yarn的设计

稷下小鲤鱼·2022-09-09 07:44

flink基本介绍

flink是一个面向流处理和批处理的分布式计算框架，即支持流处理，也支持批处理。

wejboke626·2022-09-08 10:14

PySpark数据分析基础：pyspark.mllib.regression机器学习回归核心类详解(二)+代码详解

RidgeRegressionWithSGD随机梯度下降岭回归实例运用编辑点关注，防走丢，如有纰漏之处，请留言指教，非常感谢前言这段时间PySpark数据分析基础系列文章将持续讲述Pyspark.MLlib这一大块核心内容，更贴近我们的大数据分布式计算结合数据分析

fanstuck·2022-09-08 07:27

ROS系统框架

他们提供一些分布式计算的基本工具，以及整个ROS系统核心部分的程序编写；全球范围的代码，被称为universe，由不同国家的ROS社区组织开发和维护。

月落无声@_@·2022-09-08 04:45

你必须要掌握的大数据计算技术，都在这了

1.MapReduce计算模型MapReduce是Google提出的分布式计算模型，分为Map阶段和Reduce阶段。在具体开发中，开发者仅实现map()和redu

一个乖乖码字的程序猪·2022-09-07 09:53

hadoop常见组件及其功能

一、介绍1：1.Hadoop本质上是：分布式文件系统(HDFS)+分布式计算框架(Mapreduce)+调度系统Yarn搭建起来的分布式大数据处理框架。

Michaelwubo·2022-09-06 15:08

Hadoop3.3.4 理论

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。

Michaelwubo·2022-09-06 15:08

大数据之hadoop hive hbase 的区别是什么？有什么应用场景？

id=297769662&isShared=1&_swebfr=11.hadoop它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。

小前端而已·2022-09-01 12:11

Hadoop大数据处理架构学习——Linux系统上安装Hadoop（Ubuntu22.04）

（3）安装SSH和配置SSH无密码登录（4）安装java环境（5）安装单机Hadoop（6）Hadoop伪分布式安装（未完）1.概述Hadoop简介：Hadoop是Apache软件基金会旗下的一个开源分布式计算平台

长弓同学·2022-09-01 07:55

阿里云「MaxCompute最佳实践」征文大赛获奖文章公布

与传统Hadoop相比，阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

weixin_34033624·2022-09-01 07:17

区块链技术

区块链作为一种去中心化的分布式计算技术，将在互联网发展中占据重要地位，很可能从根本上改变互联网的运行模式，其重要性不言而喻。在国家层面，很多国家都非常重视区块链技术的研究与开发。

区块链技术开发-比链科技·2022-08-27 11:14

OpenStack基础知识及搭建云平台先电的基本虚拟机配置

目录一、认识云平台OpenStack二、云平台之虚拟机一、认识云平台OpenStack1、云计算概念：分布式计算技术，通过网络将庞大的计算处理程序分拆成无数个较小的子程序，再交个多台服务器进行搜寻、计算

YOLODD·2022-08-27 03:09

阿里云 ACK One 多集群管理全面升级：多集群服务、多集群监控、两地三中心应用容灾

作者：宇汇ACKOne概述ACKOne是阿里云面向混合云、多集群、分布式计算等场景推出的分布式云容器平台，能够统一管理阿里云上、边缘、部署在客户数据中心以及其他云上的Kubernetes集群，并简化集群管理界面

·2022-08-25 12:18

01_大数据导论与Linux基础

贯穿分布式存储技术（HadoopHDFS）分布式计算技术（HadoopMapReduce）、分布式资源调度技术（HadoopYARN）以及数据仓库技术（Hive）。

饮马翰海·2022-08-24 18:36

重新定义分析 - EventBridge 实时事件分析平台发布

对于日志分析大家可能并不陌生，在分布式计算、大数据处理和Spark等开源分析框架的支持下，每天可以对潜在的数百万日志进行分析。

m0_68459853·2022-08-21 14:25

大数据平台最常用的30款开源工具

大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术

饮水思源09·2022-08-21 12:09

高性能自动化协同设计平台在工业制造业中的应用

整合和管理如此复杂的分布式计算面临着诸多挑战。大多数的端到端的分析或业务流程涉及多个时序要求严格的步骤和工具：工程分析财务报告设备验证数字呈现商业智能随着高性

周建丁·2022-08-13 17:33

快手一面：讲一讲 Hadoop、Hive、Spark 之间的关系？

由两部分组成，分布式存储（HDFS）和分布式计算（MapReduce）HDFS

Park33448·2022-08-13 12:22

大数据开发，Hadoop Spark太重？你试试esProc SPL

很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Sp

华为云开发者联盟·2022-08-04 15:46

分布式计算实验5：HDFS论文阅读

一、块存储系统、对象存储系统、文件存储系统的区别1.存储设备不同对象存储对应的存储设备为swift、s3等内置大容量硬盘的分布式服务器；文件存储的对应存储设备为FTP、NFS服务器；块存储的对应存储设备为cinder、硬盘、磁盘阵列。2.体现形式不同比较常见的块存储形式是Windows系统硬盘或手机存储空间，数据是按字节来存储和访问的。文件存储一般体现形式是目录和文件（比如C：\User\Prog

Polaris_T·2022-08-04 15:40

ROS从入门到精通(十一) 项目实战：智能跟随机器人原理与代码实现

详情：《ROS从入门到精通》1智能跟随机器人的应用机器人是传感器网络、通信、人工智能、分布式计算、自动化等多种技术的集大成者，机器人技术的发展水平标志着一个国家工业

Mr.Winter`·2022-08-04 07:29

5.1　拜占庭容错技术

拜占庭容错技术（ByzantineFaultTolerance，BFT）是一类分布式计算领域的容错技术。

xiaohuanglv·2022-08-03 19:03

分布式系列分布式计算框架Hadoop核心组件概述

Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年，本文简要介绍Hadoop的核心组件MapReduce、YARN和HDFS，以加深了解。

solihawk·2022-08-02 09:32

SOA和微服务的区别

SOA，ESB，微服务的区别和关系1、SOA是一种理念，它的主要特性–面向服务的分布式计算，服务间松散耦合，支持服务的封装，服务注册和自动发现，以服务契约方式定义服务交互方式。

Mrs_DongDong·2022-07-28 19:55

云计算和大数据区别和联系

1.概述云计算和大数据最重要的都是分布式存储和分布式计算，但二者有所区别。

小胡今天有变强吗·2022-07-28 07:39

分布式系统架构理论与组件

分布式计算将任务分解成更小的部分，分配给多台计算机处理，这样可以节约整体计算时间，大大提高计算效率。互联网大型网站往往面临高并发访问、海量数据处理等问题，必须保证系统高可用、易伸缩等等。

编码砖家·2022-07-27 11:00

大数据(3)：HDFS

一、什么是HDFSHDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于商用服务器上

小道萧兮·2022-07-24 10:50

linux 解压分片zip,Hadoop Lzo 源码分析之分片/切片原理

lzo压缩已经广泛用于Hadoop中,至于为什么要在Hadoop中使用Lzo.这里不再重述.其中很重要的一点就是由于分布式计算,所以需要支持对压缩数据进行分片,也就是Hadoop的InputSplit,

大力.MAX001·2022-07-21 07:27

Hadoop Lzo 源码分析之分片/切片原理

首先说明你一点Lzo本身是不具备压缩分割的功能的；lzo压缩已经广泛用于Hadoop中,至于为什么要在Hadoop中使用Lzo.这里不再重述.其中很重要的一点就是由于分布式计算,所以需要支持对压缩数据进行分片

蓝之刃·2022-07-21 07:55

Hadoop生态系统全面介绍

Hadoop作为大数据的分布式计算框架，发展到今天已经建立起了很完善的生态，本文将一一介绍基于Hadoop生态的一系列框架和组件。

五只鸭子·2022-07-18 13:42

Hadoop生态圈介绍

hadoop生态：1、hadoop的核心组件：（hdfs）分布式存储、（mapReduce）分布式计算、（Yarn）资源调度与任务管理、Common2、Lucene：索引检索工具包3、Nutch：开源的搜索引擎

月疯·2022-07-18 13:07

如何优雅的升级 Flink Job？

Flink作为有状态计算的流批一体分布式计算引擎，会在运行过程中保存很多的「状态」数据，并依赖这些数据完成任务的Failover以及任务的重启恢复。

Single_Yam·2022-07-17 17:00

Spark总结（SparkCore,SparkSQL,SparkStreaming）

SparkCore1.一句话介绍Hadoop和Sparkspark是基于内存的分布式计算框架。

ambitfly·2022-07-16 15:58

Spark3.x入门到精通-阶段一(入门&yarn集群&java和scale双语开发)

相对于MapReduce的批处理计算，Spark可以带来上百倍的性能提升，因此它成为继MapReduce之后，最为广泛使用的分布式计算框架。

顶尖高手养成计划·2022-07-16 15:56

TDSQL PG版再升级，深度参与开源生态建设

7月14日，腾讯云数据库TDSQLPG版的开源版本（开源代号TBase）迎来又一次重大升级：升级后的TDSQLPGV2.4.0版在2PC事务方面得到优化，易用性大幅提升，具备更强的分布式计算性能。

·2022-07-15 10:24

Hadoop核心HDFS——HDFS概念及优缺点

Hadoop：Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)Hadoop核心HDFS分布式文件系统：存储是大数据技术的基础

南瓜数据客栈·2022-07-14 15:14

分布式计算的八大谬论

在20世纪90年代SunMicrosystems的PeterDeutsch，JamesGosling和其他人总结出了分布式计算的八个谬论。

夜雨风云·2022-07-04 08:39

负载均衡一致性哈希算法实现 | nginx 负载均衡一致性哈希源码分析 | ngx_http_upstream_consistent_hash_module 源码分析

这是本学期分布式计算/系统课程负载均衡节的课后作业，理解七层反向代理的负载均衡Nginx中使用的的一致性哈希算法。

RzBu11d023r·2022-06-30 07:31

【MindSpore易点通】分布式并行经验总结

1简单介绍现如今数据的存储越来越多，想要提高算力的话，其实我们可以提高分布式计算。

·2022-06-28 16:54

推荐频道

分布式计算