分布式计算

看一眼常见数据处理的产品

HadoopvsSparkHadoop是一个分布式存储和计算框架，而Spark是一个基于内存的分布式计算框架。Hadoop在存储大数据方面表现出色，而Spark在计算和处理大数据方面表现更快。
Walter Sun·2023-08-19 09:47

高级Java程序员的经验之谈

因为在前3年的过程中，你肯定或多或少接触过一些其它的技术，比如大数据、分布式缓存、分布式消息服务、分布式计算、软负载均衡等等。
墨雨轩夏·2023-08-19 06:25

Hadoop与MPP

1.Hadoop是分布式计算平台，以hive应用为例，它的存储结构是HDFS，计算框架是MapReduce；MPP代表大规模并行处理，一个优点是可扩展性，数据在节点（分片）之间分割，每个节点只处理其本地数据
盛装吾步·2023-08-19 03:37

线程与进程

进程之间是相对独立的，一个进程无法直接访问另一个进程的数据（除非利用分布式计算方式），一个进程运行的失败也不会影响其他进程的运行。windows系统是利用进程把
Notail^0^·2023-08-19 00:49

Hive碎碎念（6）：HIVE优化

使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。
xxlee·2023-08-18 18:23

大模型是什么？大模型可以在哪些场景应用落地？

这些模型需要大量的计算资源和存储空间来训练和存储，并且往往需要进行分布式计算和特殊的硬件加速技术。大模型的设计和训练旨在提供更强大、更
泰迪智能科技·2023-08-18 10:35

云计算与虚拟化技术详解

一、云计算概述1、云计算简介云计算的概念起源于大规模分布式计算技术，是网格计算、并行计算、分布式计算、网络存储和负载均衡等传统计算机技术和网络技术发展融合的产物。
wespten·2023-08-17 17:48

NOSOL

简介*NoSQL，全名为NotOnlySQL，指的是非关系型的数据库*随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来优点*高可扩展性*低成本*架构的灵活性，半结构化数据*分布式计算
木头的男人·2023-08-17 14:47

常用的分布式计算引擎

常用的分布式计算引擎多表关联的问题，由于NoSQL数据库主要用于海量存储和单表查询，一般都不支持join，需借助更上层的计算框架来实现多表关联，比如:计算框架支持数据源执行效率Hive本地文件、HDFS
天下无敌笨笨熊·2023-08-17 13:01

大数据——Hadoop一文全知道

1、Hadoop概念Hadoop是Apache下面一个开源分布式计算框架，它具有分布式计算框架、可靠性和可拓展性等优点。
AIGC人工智残·2023-08-17 00:07

lvs集群与nat模式

二，集群适用场景：高并发三，集群的分类：1，负载均衡集群减少响应延迟，提高并发处理能力2，高可用集群（HA）提高系统的稳定性，减少服务器中断的时间，减少损失3，高性能运算集群分布式计算四，负载均衡的集群架构数据流向
彩音271·2023-08-16 22:51

如何使用Spark/Flink等分布式计算引擎做网络入侵检测

如何使用Spark/Flink等分布式计算引擎做网络入侵检测引言16DistributedAbnormalBehaviorDetectionApproachBasedonDeepBeliefNetworkandEnsembleSVMUsingSpark17SparkconfigurationstooptimizedecisiontreeclassificationonUNSW-NB1518Adyn
不懂开发的程序猿·2023-08-15 21:20

AIGC热潮涌动 HashData如何降低大模型应用门槛？

通过把大语言模型带入数据仓库，企业可以充分利用数据仓库强大的数据处理、分布式计算、
HashData酷克数据·2023-08-15 12:00

Python 3 使用Hadoop 3之MapReduce总结

MapReduce运行原理MapReduce简介MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。
在奋斗的大道·2023-08-15 11:58

Hadoop组件

Mapreduce（分布式计算框架）mapreduce是一种计算模型，用于处理大数据量的计算。其中map对应数据集上的独立元素进行指定的操作，生成键-值对形式中间，reduce则对中间
叱咤少帅（少帅）·2023-08-15 08:20

Hive on Spark （1）

Spark中Executor在ApacheSpark中，Executor是分布式计算框架中的一个关键组件，用于在集群中执行具体的计算任务。
Wzideng·2023-08-15 03:57

北京今天财富：电信运营商大数据变现关键技术环节

因此，需采用“分布式文件存储+分布式计算”技术，以Hadoop为基础构建端到端的云数据处理平台，基于通用X86平台端到端支撑ETL和主库外汇总计算，直接对开源Hadoop平台进行底层优化，支持数据的迅猛增长
何松岭1·2023-08-15 01:17

洞悉区块链的前世今生和发展

关键的创新是利用分布式计算系统（称为”工作量证明”算法）每隔10分钟进行一次的全网”选拔”,能够使用去中
区块链CBD·2023-08-14 23:47

使用Python「秒开」100GB+数据

第二种使用分布式计算：虽然在某些情况下这是一种有效的方法，但是它带来了管理和维护集群的巨大开销。想象一下，必须为一个刚好超出RAM范围的数据集设置一个集群，比如在30-50GB范围
javastart·2023-08-14 12:32

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种基于内存计算的大数据处理框架，它支持分布式计算，并且能够处理比传统处理框架更大量的数据。
领取·2023-08-14 08:32

LAXCUS分布式操作系统：技术创新引领高性能计算与人工智能新时代

随着科技的飞速发展，高性能计算、并行计算、分布式计算、大数据、人工智能等技术在各个领域得到了广泛应用。在这个过程中，LAXCUS分布式操作系统以其卓越的技术创新和强大的性能表现，成为了业界的佼佼者。
LAXCUS分布式操作系统·2023-08-14 08:00

Nosql

1、优点：（1）优点:高可扩展性，分布式计算，低成本，架构的灵活性，半结构化数据，没有复杂的关系。2、缺点:没有标准化，有限的查询功能（到目前为止），最终一致是不直观的程序。
HZGTK·2023-08-13 01:01

Hadoop知识点总结

1.什么是Hadoop大数据处理的分布式系统2.Hadoop****生态圈三大核心：HDFS集群：分布式文件存储系统YARN集群：运算资源调度MapReduce分布式计算模型3.讲一下MapReduceMapReduce
longLiveData·2023-08-12 10:40

【M malloc送书第一期】同构：编程中的数学

文章目录前情概要本书目录前情概要近年来随着人工智能、大规模分布式计算、多核CPU和异构计算等的发展，计算机中的各种编程技术在编程语言、软件架构、编译器、硬件体系结构、集成电路设计等方面都有着剧烈的变化。
M malloc·2023-08-11 19:24

图为边缘计算在交通领域的作用

图为边缘计算是一种将计算能力移到数据源头附近的分布式计算模式。在传统的中心化计算模式下，所有的计算任务都需要发送到云服务器上进行处理，然后再将结果返回给用户。这种模式有着明显的延迟和带宽限制。
AI边缘计算服务器_图为科技·2023-08-11 13:53

Hive数据倾斜解决方法总结

数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致出现其他节点的reduce阶段任务执行完成
膝盖上拔下的箭·2023-08-11 07:57

MapReduce原理入门（附源码解析）

MapReduce是配合HDFS产生的，HDFS负责分布式存储，MapReduce负责分布式计算。
柏拉图学院·2023-08-10 18:19

Zookeeper特性与节点数据类型详解

CAP&Base理论CAP理论cap理论是指对于一个分布式计算系统来说，不可能满足以下三点:一致性：在分布式环境中，一致性是指数据在多个副本之间是否能够保持一致的特性，等同于所有节点访问同一份最新的数据副本
孤单品尝寂寞·2023-08-10 00:24

大数据系列之PySpark配置及RDD操作

1、PySpark介绍PySpark实现了Spark对于Python的API，通过它，用户可以编写运行在Spark之上的Python程序，从而利用到Spark分布式计算的特点。
solihawk·2023-08-09 09:00

差点跪了！阿里3面真题：CAP和BASE理论了解么？可以结合实际案例说下不？

CAP理论CAP理论/定理起源于2000年，由加州大学伯克利分校的EricBrewer教授在分布式计算原理研讨会（PODC
出太阳心情好·2023-08-08 07:09

2.SparkCore

1.RDD详解1.1为什么需要RDD分布式计算需要：分区控制、Shuffle控制、数据存储/序列化/发送、数据计算API等这些功能不能简单的通过Python内置的本地集合对象去完成，在分布式框架中，需要一个统一的数据抽象对象
hutc_Alan·2023-08-08 02:24

【大数据】Flink 详解（一）：基础篇

Flink是一个以流为核心的高可用、高性能的分布式计算引擎。具备流批一体，高吞吐、低延迟，容错能力，大规模复杂计算等特点，在数据流上提供数据分发、通信等功能。
G皮T·2023-08-07 06:12

【ray】 分布式计算的搭建和调用以及项目实践

的简要介绍2ray的搭建3ray的调用4实践代码分析4.1ray的配置4.2代码中使用ray0RAY相关资料ray官网：https://docs.ray.io/en/latest/index.htmlRay分布式计算框架详解
CV-杨帆·2023-08-06 15:07

springboot — springboot与netty整合

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得
RachelHwang·2023-08-06 04:03

Spark、RDD、Hive 、Hadoop-Hive 和传统关系型数据库区别

HiveHadoopHive和传统关系型数据库区别Spark概念基于内存的分布式计算框架只负责算不负责存spark在离线计算功能上类似于mapreduce的作用MapReduce的缺点运行速度慢（没有充分利用内存
Wzideng·2023-08-05 15:22

《Hadoop权威指南》学习笔记（4）——关于YARN

YARN运行在集群存储层（HDFS和HBase）上，一些分布式计算框架（如MapReduce和Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层上。
啜晓伟·2023-08-05 13:08

PySpark 之 SparkSQL 编程

相同点是，他们都是为了支持分布式计算而设计注意：rdd在Excutor上跑的大部分是Python代码，只有少部分是ja
风老魔·2023-08-04 18:33

python三方库Apache Spark，举例介绍基本的使用

Spark可以在单个节点上运行，也可以在大规模集群上运行，通过分布式计算来加速数据处理。下面是一个使用Python的例子，展示如何在Spark中进行数据处理：#引入Spark模块frompyspark
Dream SYC_UCC·2023-08-04 14:06

基于MaxCompute/Dataworks实现数据仓库管理与全链路数据体系

就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。
weixin_30335575·2023-08-03 14:50

大数据理论体系总结--数据仓库管理与全链路数据体系

前言就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。
javastart·2023-08-03 14:49

消息队列中间件 MetaQ/RocketMQ

在传统的分布式计算环境中，常常会出现由于某个单机节点的性能瓶颈，即使其
喜欢猪猪·2023-08-03 02:22

使用分布式数据库，还需要考虑做分库分表吗？

分布式数据库可以将数据分散到多个计算节点上，并利用分布式计算的能力来提高数据处理的效率和可用性。然而，在使用分布式数据库的过程中，是否需要进行分库分表呢？
coderidea·2023-08-02 17:29

Spark-Hbase重点知识回顾

HiveHadoopHive和传统关系型数据库区别Spark概念基于内存的分布式计算框架只负责算不负责存spark在离线计算功能上类似于mapreduce的作用MapReduce的缺点运行速度慢（没有充分利用内存
Wzideng·2023-08-02 14:35

关于大规模数据处理的解决方案

本文将介绍一些大规模数据处理的解决方案，包括分布式计算、流处理、图处理和机器学习等技术。分布式计算分布式计算是处理大规模数
爱学习的卢生·2023-08-02 07:00

【高性能计算】Ⅰ

总章节：并行编程计算模型GPU编程分布式计算框架1、概念性问题为什么需要高性能计算？什么是高性能计算？为什么需要并行计算？什么是并行计算？高性能计算与并行计算、分布式计算及云计算的联系和区别？
Camina hacia ti·2023-08-02 04:35

OpenLayers入门，OpenLayers如何加载WFS服务的要素资源数据

WFS规范介绍WFS是基于地理要素级别的数据共享和数据操作，WFS规范定义了若干基于地理要素（Feature）级别的数据操作接口，并以HTTP作为分布式计算平台。
汤姆猫不是猫·2023-08-02 01:16

区块链灵魂：共识算法

2.CAP定理：分布式计算系统不可能同时确保一致性、可用性和分区容错性，这三者不可兼得。一致性
冉冉升起的沙丁鱼·2023-08-01 13:11

HDFS 分布式存储 spark storm HBase

HDFS分布式存储sparkstormHBase分布式结构masterslavenamenodeclient负责文件的拆分128MB3份datanodeMapReduce分布式计算离线计算2.X之前速度比较慢对比
Wzideng·2023-08-01 12:07

2019-12-02 hadoop的了解（一）以及微服务、分布式、集群三者的异同

一、构成Hadoop简介：ApacheHadoop项目是可靠、可扩展的分布式计算开源软件；Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集；狭义上说Hadoop是apache
mrxueyue·2023-08-01 10:15

Hadoop学习指南：探索大数据时代的重要组成——Hadoop概述

Hadoop作为一种开源的分布式计算框架，为大规模数据处理和存储提供了强大的解决方案。本文将介绍Hadoop的组成和其在大数据处理中的重要作用，让我们一同踏上学习Hadoop的旅程。
老虎也淘气·2023-07-31 05:41
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他