分布式计算第10页

[转]蚂蚁变大象：浅谈常规网站是如何从小变大的

在到后来，进入公司，开始用c/c++，做分布式计算和存储。（到那时才解开了我的一

黑夜路人·2023-10-26 02:13

数据挖掘和大数据的区别

往往需要和爬虫技术、分布式计算、分布式数据库、分布式存储等技术结合使用。小结大数据和数据挖掘都是为了进行某种目的将特定数据聚集起来，进行数据分析大数据是数据挖掘的子集大数据是数据挖掘

秋不溜啾·2023-10-25 12:54

大数据天才马晓东，发明了健康码行程码

马晓东1986年1月，出生于宁夏固原，2006年以宁夏固原市高考班级状元的身份考入湖南大学，在校期间他就带领团队完成了与Google、IBM合作的大数据分布式计算技术商业项目，被称为网络数据天才。

百态老人·2023-10-24 01:39

2019-07-25

技术元数据：分布式系统存储元数据分布式计算系统运行元数据数据开发平台中数据同步、计算任务、任务调度等信息数据质量和运维相关元数据计算管理

AliceGYY·2023-10-23 10:56

关于集群和分布式部署

EJB的RPC是同步调用可实现分布式计算，是SessionBean和EntityBean用的，而JMS是异步调用。RMI，和webservice也可以实现分布式计算。

小小哭包·2023-10-23 07:33

工作中几个问题的思考

多线程、并行流、并发库（ExecutorService、Futrue、Callable），分布式计算（1）按照公司ID分片（2）按照业务类型分片处理某类任务，多个线程同时处理，拿到最先处理的完成接口(1

Alecor·2023-10-23 03:38

【VMware vSAN 7.0】2.4 vSAN 的网络要求 —我们有软硬件解决方案

【VMwarevSAN7.0】2.4vSAN的网络要求—我们有软硬件解决方案IT干货2021-03-2221:55:45184收藏分类专栏：1.服务器虚拟化集群方案文章标签：vmware虚拟机分布式分布式计算

weixin_43702481·2023-10-22 22:38

云计算与大数据技术第一章

什么是云计算云计算概述云计算(CloudComputing)是基于互联网的相关服务的增加，使用和交付模式，通常涉及通过互联网来提供动态易扩展且常为虚拟化的资源，是并行计算(ParallelComputing)、分布式计算

常愿43·2023-10-22 12:22

SpringBoot整合Grpc实现跨语言RPC通讯，你学废了吗？

它还适用于分布式计算的最后一英里，用于将设备，移动应用程序和浏览器连接到后端服务。简单的服务定义:使用ProtocolBuffers定义您的服务，这是一个功能强大的二进制序列化工具集和语言.

Java全能架构师·2023-10-21 03:30

4-MapReduce+Spark(分布式计算框架)

MapReduce一、简介MapReduce起源，在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce，之后DougCutting基于这篇论文通过Java做了开源实现，Mapredce如今是作为Hadoop的核心组件之一，而HDFS是Hadoop的另外一个核心，此外还有Hadoop2.X之后推出的YARN。关于MapReduce的学习，先来看一下他的核心设计思想：“分而治之

小帅明3号·2023-10-21 01:00

Hadoop 概览

HadoopHadoop是一个提供分布式存储和分布式计算的框架，为大量数据的存储和计算提供了一个可靠的平台支持。现在Hadoop和其它相关的衍生产品构成了大数据生态系统。

越过山丘xyz·2023-10-21 00:18

【无标题】

数据倾斜指的是在分布式计算中，数据在某些节点上不均匀地分布，导致某些节点的负载过重，影响整体计算性能。

Young_IT·2023-10-19 22:13

分布式和微服务

在这样的背景下，就产生了分布式计算，（如图）

一只快乐的蓝巴德·2023-10-19 13:32

Spark Streaming 整合 Flume

download.csdn.net/download/shangjg03/884421921.简介ApacheFlume是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中

shangjg3·2023-10-19 12:44

边缘服务器的未来是什么？思考 5G 和 AI 需求

什么是边缘服务器边缘服务器是一种分布式计算模式，旨在提高数据中心和云服务的效率，并解决设备之间通信的延迟问题。

夜星辰2023·2023-10-19 06:25

如何部署分布式计算应用？

用户编写的分布式计算应用程序需要部署到生产环境中执行。对于终端用户来说，通常直接与基于计算引擎定制的计算平台交互，提交任务只需要在计算平台上上传打包后的应用或者SQL代码，点击运行就可以神奇地执行。

_tison·2023-10-19 05:18

分布式计算模式：Stream

分布式计算模式：Stream前言什么是Stream？Stream工作原理Storm的工作原理知识扩展：流计算和批量计算的区别是什么？

海陆云·2023-10-19 05:16

分布式计算框架Flink核心基石介绍

Flink作为主流的分布式计算框架，满足批流一体、高吞吐低时延、大规模复杂计算、高可靠的容错和多平台部署能力。

solihawk·2023-10-19 05:15

《黑马程序员》分布式内存计算Flink环境部署

简介Flink同Spark一样，是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。Flink在大数据体系同样是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。

懒羊羊夸夸~·2023-10-19 05:15

大数据理论与实践5 分布式计算框架MapReduce和Spark

简介原理示例基本概念作业运行模式Spark简介概念编程模型RDDRDD操作（Operator）RDD依赖（Dependency）作业运行模式课后温习参考MapReduce简介MapReduce是一个面向离线批处理的分布式计算框架

mxb1234567·2023-10-19 05:14

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter,ZeroMQ或者TCPsockets，并且可以使用高级功能的复杂算子来处理流数据。2、MR&Storm&Spark&flink的区别MR：针对数据进行处理，没封装高级的算子，自己实现逻辑

一流觞·2023-10-19 05:14

Flink系列之大数据分布式计算引擎设计实现剖析

落叶飘雪2014·2023-10-19 05:12

Linux学习笔记——分布式内存计算Flink环境部署

5.13、分布式内存计算Flink环境部署5.13.1、简介Flink同Spark一样，是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。

kxttmx·2023-10-19 05:11

Spark2x基于内存的分布式计算

目录1.Spark概述Spark应用场景：Spark的特点：SparkVSMapReduce：2.Spark原理与架构SparkCoreSpark核心概念RDD：RDD的依赖关系RDD的Stage划分Spark重要角色SparkonYarn-client的运行流程SparkonYarn-cluster的运行流程Yarn-client与Yarn-cluster的区别SparkSQL和DatasetD

温暖会追上来的.·2023-10-19 05:09

Spark Streaming 原理与实践

作者：禅与计算机程序设计艺术1.简介ApacheSpark是由Apache基金会开源的一款基于内存计算的分布式计算框架。通过它可以快速处理海量的数据并进行实时分析。

禅与计算机程序设计艺术·2023-10-19 04:12

hadoop和hive、spark、presto、tez是什么关系

Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS(分布式文件系统)和MapReduce(分布式计算引擎)。

草履虫稽亚娜·2023-10-19 02:55

阿里云分布式调度系统-伏羲

在分布式计算、高并发系

Deegue·2023-10-18 13:23

云安全—分布式基础

0x00前言云必然是依赖于分布式技术来进行实现的，所以有必要学习和来了解分布式相关的内容0x01分布式计算1.基本概述分布式计算的定义：通过网络互联的计算机都具有一定的计算能力，他们之间互相传递数据，实现信息共享

王嘟嘟_·2023-10-18 13:10

Spark核心概念（一）

1.什么是分布式计算分布式程序：Mapreduce，Spark程序1）多进程：一个程序由多个进程共同实现，不同进程可以运行在不同的机器上2）每个进程负责计算的数据是不一样的，都是整体数据的某一部分分布式资源

在上树的路上·2023-10-18 07:57

云架构技术栈

云计算是网格计算，分布式计算，并行计算、效用技术、网络存储、虚拟化和负载均衡等传统计算机和网络技术发展融合的产物。

恒企自考频道·2023-10-17 20:15

Hadoop分布式计算框架-MapReduce

本文所有代码链接：https://download.csdn.net/download/shangjg03/884373131.MapReduce概述HadoopMapReduce是一个分布式计算框架，

shangjg3·2023-10-17 19:29

Hadoop集群_HDFS初探之旅

1、HDFS简介HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上

weixin_30466421·2023-10-17 15:51

CentOS系统下的Hadoop集群（第8期）_HDFS初探之旅

Hadoop集群（第8期）_HDFS初探之旅1、HDFS简介HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的

Wang_Zhenwei·2023-10-17 15:20

Hadoop集群（第8期）_HDFS初探之旅

1、HDFS简介HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上

浮生(FS)·2023-10-17 15:49

2.3 初探Hadoop世界

Hadoop如何诞生3、Hadoop主要发展历程（二）Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性（三）Hadoop的生态体系1、HDFS分布式文件系统2、MapReduce分布式计算框架

howard2005·2023-10-17 14:15

Flume 整合 Kafka

以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将Flume聚合后的数据输入到Storm等分布式计算框架中，可能就会超过集群的处理能力

shangjg3·2023-10-17 10:29

python-17-并行计算和分布式计算框架dask

dask入门教程并行计算库Dask官方教程（中文翻译）dask和numpy的计算对比1并行计算和分布式计算1.1并行计算parallelcomputing并行计算：这是一台计算机的概念，即一台计算机中多个处理器被组织起来

皮皮冰燃·2023-10-17 01:51

SpringBoot 整和 Netty 并监听多端口

Netty提供异步的、基于事件驱动的网络应用程序框架，用以快速开发高性能、高可靠性的网络IO程序,是目前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用

帅气Dee海绵宝宝·2023-10-16 20:36

PHP中生成UUID

UUID由开源软件基金会(OpenSoftwareFoundation,OSF)定义，是分布式计算环境(DistributedComputingEnvironment,DCE)的一个组成部分。

麦子时光_新浪·2023-10-16 14:37

Spark学习（5）-Spark Core之RDD

1RDD详解1.1为什么需要RDD分布式计算需要:分区控制Shuffle控制数据存储\序列化\发送数据计算API等一系列功能这些功能,不能简单的通过Python内置的本地集合对象(如List\字典等)去完成

技术闲聊DD·2023-10-15 19:44

SparkCore之RDD详解

Distributed：RDD中的数据是分布式存储的，可用于分布式计算。Resilie

LBJ_小松鼠·2023-10-15 19:08

【分布式计算】九、容错性 Fault Tolerance

分布式系统应当有一定的容错性，发生故障时仍能运行一些概念：可用性Availability：系统是否准备好立即使用可靠性Reliability：系统连续运行不发生故障安全性：衡量安全故障的指标，没有严重事件发生可维护性Maintainability：衡量修复系统的难度错误fault一个系统在不能满足其规格时发生错误容错性：存在故障时，系统仍能提供服务种类：暂时、间歇性、永久性故障暂时、间歇性故障不易

JaxHur·2023-10-15 16:17

大数据框架之Hadoop：MapReduce（一）MapReduce概述

1.1MapReduce定义MapReduce是一个分布式计算框架，用于编写批处理应用程序，是用户开发“基于Hadoop的数据分析应用”的核心框架。

yiluohan0307·2023-10-15 13:26

Hadoop三大组件之MapReduce

文章目录1.概述2.编程思想3.执行原理4.优缺点1.概述MapReduce是Hadoop内提供的分布式计算的组件，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上

不忘初欣丶·2023-10-15 13:56

Geotrellis学(踩)习(坑)笔记（二）——矢转栅

矢量转栅格一直是GIS领域的一个重要的问题，对于分布式计算来说，栅格数据较矢量数据更加优化，查询、分析起来也更快。于是我们考虑可以将全国的地表覆盖数据全部栅格化之后来进行分析。

xiaoyaGrace·2023-10-15 12:26

Geotrellis学习笔记（二）——矢量栅格化