IT->分布式计算

性能优化：Spark SQL中的谓词下推和列式存储

ApacheSpark是一个强大的分布式计算框架，SparkSQL是其一个核心模块，用于处理结构化数据。
晓之以理的喵~~·2024-01-03 12:02

边缘计算和云计算的关系

边缘计算实际上属于一种分布式计算，利用靠近数据源的边缘地带来完成的运算程序，而不需要将大量数据上传到云端。边缘计算的运算既可以在大型运算设备内完成，也可以在中小型运算设备、本地端网络内完成。
守正待·2024-01-03 10:01

云计算中的边缘计算技术及其应用

边缘计算是一种分布式计算模式，它将计算任务从云端移动到了物理设备的边缘，如路由器、交换机、传感器和终端设备等。这种模式可以减少网络延迟，提高数据处理速度和安全性。在下文中，我将详细
小正太浩二·2024-01-03 10:12

22 - 架构设计 - CAP理论

EricBrewer）在2000年的ACMPODC上提出的一个猜想2002年，麻省理工学院的赛斯·吉尔伯特（SethGilbert）和南希·林奇（NancyLynch）发表了布鲁尔猜想的证明，使之成为分布式计算领域公认的一个定理版本一
舍是境界·2024-01-03 02:24

计算机毕业设计大数据类题目

2大规模文本分析系统使用hadoop分布式计算能力，分析大量文本数据，如新闻文章
程序源码123·2024-01-03 00:14

Spark中的数据加载与保存

ApacheSpark是一个强大的分布式计算框架，用于处理大规模数据。在Spark中，数据加载与保存是数据处理流程的关键步骤之一。
晓之以理的喵~~·2024-01-02 07:15

Spark SQL简介与基本用法

ApacheSpark是一个强大的分布式计算框架，SparkSQL是其组件之一，用于处理结构化数据。
晓之以理的喵~~·2024-01-02 07:44

Spark中使用DataFrame进行数据转换和操作

ApacheSpark是一个强大的分布式计算框架，其中DataFrame是一个核心概念，用于处理结构化数据。DataFrame提供了丰富的数据转换和操作功能，使数据处理变得更加容易和高效。
晓之以理的喵~~·2024-01-02 07:08

开源软件成熟度评测报告-分布式消息中间件

分布式消息中间件通过高效、可靠的消息传递机制，降低应用系统之间的耦合性，实现高性能的数据交换，保障了分布式计算网络环境下高可用和一致性。面对诸多的分布式
yssycz·2024-01-02 06:49

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

python-16-多进程模块multiprocessing

然后大致弄清了GPU、CPU、进程、线程、并行计算、分布式计算等概念1大数据时代的现状当前我们正处于大数据时代，每
皮皮冰燃·2024-01-01 20:36

java序列化是什么做什么用的

分布式计算：通过网络将对象从一个JVM发送到另一个JVM，以便在分布式系统中共享对象的状态。组件和插件：将对象作为组件或插
emma20080101·2024-01-01 16:55

云计算的初步认识

第一章云计算概论初步认识：云计算是基于互联网的相关服务的增加，使用和交付模式，通常涉及通过互联网来提供动态易扩展且常为虚拟化的资源，是并行计算，分布式计算和网络计算等的融合和发展，也是虚拟化，效用计算，
xyf0912·2024-01-01 15:10

分布式系统中经典的8个谬误

20多年前，PeterDeutsch和JamesGosling定义了分布式计算的8个谬误。这些是许多开发人员对分布式系统做出的错误假设。从长远来看，这些通常被证明是错误的，
程序员xysam·2024-01-01 00:34

ZooKeeper 高级应用

更好的阅读体验\huge{\color{red}{更好的阅读体验}}更好的阅读体验概述ZooKeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册
浪漫主义狗·2023-12-31 10:32

Spark的错误处理与调试技巧

ApacheSpark是一个强大的分布式计算框架，用于处理大规模数据。在开发和运行Spark应用程序时，经常会遇到各种错误和问题。了解Spark的错误处理与调试技巧是解决这些问题的关键。
晓之以理的喵~~·2023-12-31 07:52

Spark作业的调度与执行流程

ApacheSpark是一个分布式计算框架，用于处理大规模数据。了解Spark作业的调度与执行流程是构建高效分布式应用程序的关键。
晓之以理的喵~~·2023-12-31 07:22

Spark应用程序的结构与驱动程序

ApacheSpark是一个强大的分布式计算框架，用于处理大规模数据。了解Spark应用程序的结构和驱动程序是构建高效应用的关键。
晓之以理的喵~~·2023-12-31 07:21

Spark任务调度与数据本地性

ApacheSpark是一个分布式计算框架，用于处理大规模数据。了解Spark任务调度与数据本地性是构建高效分布式应用程序的关键。
晓之以理的喵~~·2023-12-31 07:21

云计算基础、Issa、Pssa、Saas区别

一、了解云计算云计算（cloudcomputing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户
代码敲上天.·2023-12-31 05:40

一分钟读书俱乐部（122）：《区块链技术驱动金融》有效工作量证明

以前的分布式计算项目原文精选：在比特币诞生好多年之前，就有利
全职高手一叶之秋·2023-12-30 14:41

在CentOS7上安装Hadoop分布式系统

Hadoop由分布式存储HDFS和分布式计算MapReduce两部分组成。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode
栗子艾李子·2023-12-30 07:26

区块链媒体套餐：软文投放如何点亮企业业务的未来

为了更好地推广区块链业务，区块链技术是一种基于密码学原理、分布式计算和去中心化网络设计的技术。它最初是为支持比特币这种加密货币而创建的，但后来被发现有广泛的应用潜力，可以用于许多不同领域。
世媒讯·2023-12-30 00:15

PiflowX大数据流水线系统

支持分布式计算引擎flink和spark。以所见即所得的方式，实现大数据采集、处理、存储与分析流程化配置、运行与智能监控。
暗影八度·2023-12-29 23:43

摩拜或是庞氏骗局，只有区块链才能拯救共享单车

比如，金键教授说，区块链引发的虚拟数字货币滥发、交易、“挖矿”等对金融安全、社会生产带来了明显的不利因素和破坏性；区块链的分布式计算模型也给政府监管提出了新的挑战。
很多人都在·2023-12-29 19:57

【每日试题】java面试题之中间件

中间件可以分为消息中间件、缓存中间件、数据访问中间件、分布式计算中间件、网关中间件等多个类别。什么是消息中间件？
文森特的猫·2023-12-29 17:41

分布式技术之分布式计算MR模式

文章目录什么是分而治之？分治法的原理抽象模型MapReduce工作原理什么是分而治之？分而治之（Divide-and-Conquer），是计算机处理问题的一个很重要的思想，简称为分治法。顾名思义，分治法就是将一个复杂的、难以直接解决的大问题，分割成一些规模较小的、可以比较简单的或直接求解的子问题，这些子问题之间相互独立且与原问题形式相同，递归地求解这些子问题，然后将子问题的解合并得到原问题的解。在
carroll18·2023-12-29 11:02

Hadoop之MapReduce 详细教程

即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。1、Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆
白鸽呀·2023-12-29 06:50

Impala 基于hive的交互式实时分析工具(一) 概念及原理介绍

谷歌旧三篇论文（GFS-分布式文件存储，Bigtable-分布式数据库，Mapreduce-分布式计算）设计目的为了
章云邰·2023-12-27 19:59

Spark的生态系统概览：Spark SQL、Spark Streaming

ApacheSpark是一个强大的分布式计算框架，用于大规模数据处理。Spark的生态系统包括多个组件，其中两个重要的组件是SparkSQL和SparkStreaming。
晓之以理的喵~~·2023-12-27 06:35

服务器系统时间不同步如何处理

在分布式计算环境中，服务器系统时间的同步至关重要。然而，由于各种原因，服务器系统时间不同步的问题时有发生,这可能会导致严重的问题，如日志不准确、证书验证失败等。
德迅--文琪·2023-12-27 04:52

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
Java机械师·2023-12-26 23:13

SparkCore

Distributed：RDD中的数据是分布式存储的，可用于分布式计算。Resilient：RDD中的数据可以存储在内存中或者磁盘中。1.2RDD的五大
weixin_50458070·2023-12-26 06:40

Hadoop——分布式计算

一、分布式计算概述1.什么是计算、分布式计算？
weixin_50458070·2023-12-26 06:38

大数据技术——处理架构Hadoop

•2.1概述•2.1.1Hadoop简介•Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构•Hadoop是基于Java语言开发的，具有很好的跨平台特性
Imrea·2023-12-26 01:55

Spark集群部署与架构

在大数据时代，处理海量数据需要分布式计算框架。ApacheSpark作为一种强大的大数据处理工具，可以在集群中高效运行，处理数十TB甚至PB级别的数据。
晓之以理的喵~~·2023-12-25 08:36

cpp的map.find(key)函数

=mp.end()){printf("%c%d\n",it->first,it->second);}e
吴天德少侠·2023-12-23 22:14

Federated Learning with Personalization Layers

这种统计异质性可能会损害机器学习训练算法在个性化、推荐、欺诈检测等应用中的性能，因为传统的机器学习训练算法是为可以严格控制数据分区的中央或分布式计算环境设计的研究个性化设置作为深度前馈神经网络联邦学习中统计异质性
白兔1205·2023-12-23 21:13

阿里云中间件

除此之外，中间件还主要为网络分布式计算
编织幻境的妖·2023-12-23 16:02

FISCO BCOS（十六）多机部署及相关操作

多机部署通常指的是在多台计算机或虚拟机之间搭建一个联合系统，以实现分布式计算或服务的目的。这可以提高系统的可靠性、性能和扩展性。
发呆...·2023-12-22 20:03

工具系列：PyCaret介绍_Fugue 集成_Spark、Dask分布式训练

PyCaret使用Fugue来支持分布式计算场景。
愤斗的橘子·2023-12-22 12:22

大数据处理与分析

掌握分布式并行编程框架MapReduce掌握基于内存的分布式计算框架Spark理解MapReduce的工作流程、Spark运行原理熟悉机器学习概念一.MapReduceHadoopMapReduce是一个软件框架
僖僖cc·2023-12-21 22:34

【揭秘】腾讯大数据98.8秒完成100TB数据排序的架构和算法

在这次竞赛中，腾讯云数智分布式计算平台分别夺得SortBenchmark大赛GraySort和Minutesort的冠军，创造了四项世界纪录。
yoku酱·2023-12-21 21:16

使用Apache Spark比较Python和Scala for Data Science

ApacheSpark是一个分布式计算框架，可以简化和加速数据处理和分析工作流程，适用于处理大型数据集的数据科学家和工程师。它为原型设计提供统一的界面，并构建生产质量应用程序，使其特别适合敏捷方法。
Liam_ml·2023-12-21 14:40

Hadoop/Spark 太重，esProc SPL 很轻

很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。
码农翻身·2023-12-21 10:07

什么是ip数据库

2.功能与应用IP数据库的主要功能是将普通的IP地址转换为包含*、省份、城市、运营商等信息的地理位置归属数据，以帮助公司进行客户地址信息的分析、定位和分布式计算等方面的应用。
liu7322·2023-12-21 08:32

003 - 共识算法-BFT

拜占庭容错技术是一类分布式计算领域的容错技术。拜占庭假设是对现实世界的模型化，由于硬件错误、网络拥塞或中断以及遭到恶意攻击等原因，计算机和网络可能出现不可预料的行为。
Venture_Mark·2023-12-20 22:05

大数据学习(27)-Yarn总结与注意事项

它提供了一个可扩展的框架，用于处理大规模数据和分布式计算任务。YARN的主要目标是提供更高效、灵活和可扩展的
viperrrrrrr·2023-12-20 16:48

linux文件服务NFS

是分布式计算系统的一个组成部分，可实现在网络上共享和装配远程文件系统。​
Guff_hys·2023-12-20 16:25

人工智能边缘计算：连接智能的边界

1.边缘计算的基础分布式计算：边缘计算通过将计算任务推送至数据产生的地方，实现更高效的分布式计算。低延迟通信：通过减少数据传输距离，降低通信延迟，边缘计算提升了实时性。
鳗小鱼·2023-12-20 14:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他