分布式计算

上万字详解Spark Core（建议收藏）

原因1：优秀的数据模型和丰富计算抽象Spark产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算
·2021-03-23 01:51

上万字详解Spark Core（建议收藏）

原因1：优秀的数据模型和丰富计算抽象Spark产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算
·2021-03-19 17:31

上万字详解Spark Core（建议收藏）

原因1：优秀的数据模型和丰富计算抽象Spark产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算
五分钟学大数据·2021-03-17 10:53

解析分布式应用框架Ray架构源码

Ray是UCBerkeley大学RISElab（前AMPlab）2017年12月开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决复杂场景问题
·2021-03-16 00:36

Hadoop ,Mapreduce,Spark的区别

MapreduceHDFS是分布式文件系统，HDFS通过数据备份，并且把文件分块存储在不同的计算机节点上实现高容错性YARN用于Hadoop的资源调度，作业调度，相当于Hadoop的操作系统Mapreduce是分布式计算框架
高级cv算法设计师·2021-03-12 00:35

Hadoop的学习路线图

第一类，是我已经掌握的第二类，是TODO准备继续学习的一句话产品介绍:Apache Hadoop:是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支
栀子花_ef39·2021-03-11 09:49

ubantu16.x上搭建hadoop分布式环境

一、vm虚拟机的安装二、vm虚拟机上安装ubuntuserver三、ubuntuserver上搭建hadoop集群四、hadoop生态系统1.hdfs分布式文件系统2.MapReduce分布式计算3.Hbase
A_Zhong20·2021-03-10 22:22

Storm学习笔记 - Storm初识

Storm是一个开源免费的分布式计算框架，可以实时处理大量的数据流。2.Storm的特点高性能，低延迟。分布式：可解决数据量大，单机搞不定的场景。
云端笑猿·2021-03-10 18:18

Hadoop大数据技术原理与应用-第四章MapReduce分布式计算框架

MapReduce作为一种分布式计算模型，它主要用于解决海量数据的计算
weixin_44275584·2021-03-10 12:09

量化交易干货丨如何使用DolphinDB计算K线

DolphinDB提供了功能强大的内存计算引擎，内置时间序列函数，分布式计算以及流数据处理引擎，在众多场景下均可高效的计算K线。本教程将介绍DolphinDB如何通过批量处理和流式处理计算K线。
·2021-03-09 22:25

云走向边缘，云将无处不在

1边缘计算概述1.1边缘计算的定义Gartner对边缘计算的定义：边缘计算描述了一种分布式计算拓扑结构，在这种拓扑结构中，信息处理被放置在靠近产生和/或消费信
边缘计算社区·2021-03-09 21:00

JAVA技术入门

Java技术入门Java语言是由Sun公司于1995年推出的一种全新的、跨平台、适合于分布式计算环境的纯面向对象编程语言。
辉常努腻·2021-02-27 20:14

一文带你了解GaussDB(DWS) 的Roach逻辑备份实现原理

GaussDB(DWS)以其出众的分布式计算和存储能力广受用户青睐的同时，也特别着眼于数据备份容灾领域的创新和打磨。数据的可靠性可以说是数仓的“命门”。对于企业、政府等用户，如果
·2021-02-26 09:00

PyTorch & 分布式框架 Ray ：保姆级入门教程

来源：官方博客翻译：PyTorch开发者社区（微信公众号）今天的机器学习需要分布式计算。无论是训练网络、调整超参数、服务模型还是处理数据，机器学习都是计算密集型的，如果没有访问集群，速度会非常慢。
·2021-02-25 17:02

PyTorch & 分布式框架 Ray ：保姆级入门教程

来源：官方博客翻译：PyTorch开发者社区（微信公众号）今天的机器学习需要分布式计算。无论是训练网络、调整超参数、服务模型还是处理数据，机器学习都是计算密集型的，如果没有访问集群，速度会非常慢。
·2021-02-25 16:03

PyTorch & 分布式框架 Ray ：保姆级入门教程

来源：官方博客翻译：PyTorch开发者社区（微信公众号）今天的机器学习需要分布式计算。无论是训练网络、调整超参数、服务模型还是处理数据，机器学习都是计算密集型的，如果没有访问集群，速度会非常慢。
HyperAI超神经·2021-02-25 16:42

干货丨如何使用时序数据库DolphinDB进行淘宝用户行为分析

DolphinDB是新一代的高性能分布式时序数据库(time-seriesdatabase)，同时具有丰富的数据分析和分布式计算功能。
·2021-02-23 09:23

【Rust日报】2021-02-21 Ballista：在Rust中实现的分布式计算平台

Ballista：在Rust中实现的分布式计算平台Ballista-0.4.0已于昨天发布。Ballista是主要在Rust中实现的分布式计算平台，由ApacheArrow支持。
Rust语言中文社区·2021-02-21 23:22

大数据平台搭建 | Hadoop 集群搭建

1、环境说明基于ApacheHadoop3.1.3版本依赖JDK环境Hadoop3.1.3下载地址2、Hadoop架构狭义上的hadoop主要包括三大组件分布式存储HDFS、分布式计算MapReduce
笨猪大难临头·2021-02-21 20:44

分布式计算—MapReduce、Spark、Storm、Flink分别适用什么场景

目录一、MapReduce二、Spark三、Flink&Storm四、总结这四个项目能放在一起比较的背景应该是分布式计算的演进过程。一、MapReduce开源分布式计算的第一个流行的框架是Had
测试狗一枚·2021-02-18 00:36

MapReduce统计单词在各文件出现次数

分布式计算MapReduce编程Ⅰ实验目的：1、理解集群分布式计算原理2、熟悉MR程序中Mapper、Reducer函数的编写实现倒排索引效果，统计每个单词在不同文件中的出现次数实验要求有三个文件a.txt
EEEEEdan·2021-02-16 22:28

谈谈最终一致性

最终一致性定义最终一致性是分布式计算里的一种内存一致性模型，它指对于已改变写的数据的读取，最终都能取得已更新的数据，但不完全保证能立即取得已更新的数据。这种模型通常可以实现较高的可用性。
哲人王·2021-02-09 08:18

Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
·2021-02-01 21:01

Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
·2021-02-01 21:14

干货丨DolphinDB API性能基准测试报告

概述DolphinDB是一款高性能分布式时序数据库（time-seriesdatabase)，属于列式关系型数据库，由C++编写，具有内置的并行和分布式计算框架，可用于处理实时数据和海量历史数据。
·2021-01-28 10:47

转角遇上Volcano，看HPC如何应用在气象行业

HPC作为传统的分布式计算模式，在很多领域都有着广泛的应用，很多用户都希望能将HPC应用迁移到容器中运行，通过Kubernetes强大的功能来进行作业管理。V
华为云·2021-01-27 14:07

转角遇上Volcano，看HPC如何应用在气象行业

HPC作为传统的分布式计算模式，在很多领域都有着广泛的应用，很多用户都希望能将HPC应用迁移到容器中运行，通过Kubernetes强大的功能来进行作业管理。V
·2021-01-27 11:31

软考系统架构设计师 - 第 14 章 基于ODP的架构师实践

14.1基于ODP的架构开发过程开放分布进程的参考模型（RM-ODP）是一个ISO标准，它为分布式计算进程提供了一个框架。其定义了5个视点（企业视点、信息视点、计算视点、工程视点、技术视点）和整
94小白菜·2021-01-24 13:37

【快速入门大数据】前沿技术拓展Spark,Flink,Beam

文章目录概览Sparkmr问题Spark特征Spark生态系统对比Hadoop生态系统开发语言及运行环境Scala&Maven安装配置Spark总结Flink分布式计算框架（流处理）概述配置环境Flink
瑞 新·2021-01-22 21:31

从0 到1 又如何？他逆袭成边缘云计算的贡献者

t.csdnimg.cn/L4B8社区介绍StarlingX，一个专注于对低延迟和高性能应用进行优化的开源边缘计算及物联网云平台，StarlingX项目旨在为边缘计算重新配置经过验证的云技术，在大规模分布式计算环境中提供成熟且稳健的云平台
CSDN 程序人生·2021-01-20 17:14

Elasticsearch as Database

开发者们请加入我们，滴滴出行平台技术部[email protected]推销Elasticsearch时间序列数据库的秘密（1）——介绍时间序列数据库的秘密（2）——索引时间序列数据库的秘密（3）——加载和分布式计算用
taowen·2021-01-18 13:28

三种技术的融合

搜索引擎技术，分析数据库技术，分布式计算引擎技术这三股力量正在快速地彼此融合。举例证如下HiveHive一开始只是用sql的方式描述map/reduce的逻辑，是一个典型的分布式计算引擎。
taowen·2021-01-18 13:27

Apache Flink (文件写入漏洞/文件读取漏洞)CVE-2020-17518/17519

ApacheFlink(文件写入漏洞/文件读取漏洞)CVE-2020-17518/17519一、漏洞描述ApacheFlink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能
thelostworld-公众号·2021-01-15 21:34

大数据技术与应用-D1

没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。全分
?? YJ???????·2021-01-15 04:44

初窥Spark

Hadoop一、HDFS——分布式文件系统二、MapReduce——分布式计算系统h:1h;1h:h:2三、Yarn——资源调度系统ResourceManager和NodeManagerSpark一、spark
不知如何·2021-01-13 23:44

分布式计算平台Spark：Core（一）

分布式计算平台Spark：Core（一）文章目录分布式计算平台Spark：Core（一）一、课程回顾二、课程目标三、Standalone集群运行1、工作场景2、spark-submit3、本地模式提交4
章鱼哥TuNan&Z·2021-01-13 13:09

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

DolphinDB通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算，内置流水线、MapReduce和迭代计算等多种计算框架，使用内
DolphinDB·2021-01-12 10:47

并行与分布式计算复习大纲 华南农业大学

复习提纲：1.为什么要并行编程（1）分布和并行计算的区别（重点）答：并行：单机多核，问题并行编程；分布：多机网络连接，对外以整体提供服务（2）并行和并发的区别（重点）答：并发：支持同时存在；并行：支持同时执行。并行是并发的一个子集。并发是指一个处理器同时处理多个任务。并行是指多个处理器或者是多核的处理器同时处理多个不同的任务。并发是逻辑上的同时发生，而并行是物理上的同时发生。（3）进程、线程的区别
JintuZheng·2021-01-12 09:55

UltraOpt：比HyperOpt更强的超参优化库

UltraOpt对分布式计算有更强的适应性，支持MapReduce和异步通信两种并行策略，并且可以扩展到各种计算环境中。除此之外，UltraOpt对与新手也特
数学工具构造器·2021-01-11 20:17

分布式计算平台Spark

分布式计算平台Spark：基础入门文章目录分布式计算平台Spark：基础入门一、课程二、目标三、Spark的起源与发展1、分布式计算发展2、Spark诞生与发展3、Spark功能与特点4、应用场景四、Spark
章鱼哥TuNan&Z·2021-01-11 19:06

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

DolphinDB通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算，内置流水线、MapReduce和迭代计算等多种计算框架，使用内
DolphinDB·2021-01-11 11:43

Spark Core测试

优点：速度快=>内存（基于内存的分布式计算）高兼容=>（多模式部署，HDFS，mysql、Hive操作）多模式=>（算子，SQL，流，图，机器学习）高容错=>（DAGLineage调度快速恢复）？
xiaoxaoyu·2021-01-09 22:45

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

DolphinDB通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算，内置流水线、MapReduce和迭代计算等多种计算框架，使用内
DolphinDB·2021-01-08 12:55

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

DolphinDB通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算，内置流水线、MapReduce和迭代计算等多种计算框架，使用内
DolphinDB·2021-01-08 12:55

[漏洞预警]Apache Flink 高危漏洞预警(CVE-2020-17518 CVE-2020-17519)

1.漏洞描述Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机
Raycee·2021-01-07 16:06

[数据科学笔记]第7章 云计算平台

云计算并不是一种全新的计算模型，它是并行计算(ParallelComputing)、分布式计算(DistributedComputing)、以及网格计算(GridComputing)发展的新阶段特点(1
NullPointer_C·2021-01-05 16:23

Java中高级核心知识全面解析——分布式（分布式系统的经典基础理论、事务、存储、计算&一致性协议/算法）

分布式相关概念入门一、分布式系统的经典基础理论二、分布式事务三、一致性协议/算法四、分布式存储五、分布式计算一、分布式系统的经典基础理论本文主要是简单的介绍了三个常见的概念：分布式系统设计理念、CAP定理
Java_Caiyo·2021-01-03 21:08

分布式计算与Map Reduce

一、分布式计算1、定义:一个分布式计算系统是通过若干个网络互连的计算机组成的软硬件计算系统，并且这些计算机互相配合完成一个共同任务。多个处理器共享内存（c）；每个处理器有属于自己的内存（b）。
weixin_39767869·2021-01-03 18:27

Hadoop学习　（ＭapReduce 过程详解及其性能优化

Hadoop核心-ＭapReduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Com
Java.慈祥·2021-01-03 11:25

回顾总结

1.分布式思想分布式计算说明:一项任务由多个服务器共同完成的.例子:假设一项任务单独完成需要10天,如果有10个人同时执行则一天完成.大数据处理技术.分布式系统说明:将项目按照特定的功能模块及层级进行拆分
Java中的战斗机·2021-01-02 23:21
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他