IT->分布式计算

在一条DML语句中插入/更新/删除/获取几百万行数据，你会特别注意什么？

前言一个分布式计算和存储系统的任何节点都可能因为节点负载过重，节点的计算、存储资源不足，网络延时，网络短暂不可达而导致操作超时。
·2022-02-24 17:28

大数据行业人士必知10大数据思维原理，可以让机器人读懂你！

Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。例如：IBM将使用以
yoku酱·2022-02-22 07:29

计算智能-求解旅行商问题的Matlab蚁群仿真研究

pan.baidu.com/s/1scdDvKvUviEVEeQC8fweRg提取码:k38b实验目的蚁群算法是一种新颖的求解复杂优化组合问题的模拟进化算法,它具有典型的群体智能的特性,该算法的主要特点是正反馈、分布式计算
LW彬彬彬彬彬彬。·2022-02-21 13:44

深入浅出 RPC - 深入篇

RPC功能目标RPC的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。
Yt_cc·2022-02-20 05:34

【区块链是未来吗（6）】

众所周知，区块链是诸多分布式计算机系统实现方案中的一种，但也是目前为止的最成功的一种。它对于分布式网络的存在意义等同于TCP/IP协议对于互联网的意义一样至关重要。
海阔一天空·2022-02-18 18:21

Hadoop MapReduce八大步骤以及Yarn工作原理详解

Hadoop是市面上使用最多的大数据分布式文件存储系统和分布式处理系统,其中分为两大块分别是hdfs和MapReduce,hdfs是分布式文件存储系统,借鉴了Google的GFS论文.MapReduce是分布式计算处理系统
SnailFast·2022-02-18 17:51

《云计算与大数据技术应用》

1.1.1云计算的定义云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
苗萌萌·2022-02-18 09:04

hive本地数据载入报错invalid path

网上一些教程没有说明本地指“服务器”的原因是因为分布式计算所用到的数据量非常大，在实际
和黑黑·2022-02-17 13:05

【山外问道】什么是UUID

本文打印版下载地址[山外问道]什么是UUID-打印版.pdf1、UUID的定义UUID是通用唯一识别码（UniversallyUniqueIdentifier）的缩写，是一种软件建构的标准，是开放软件基金会组织在分布式计算环境领域的一部分
山外Sundal·2022-02-17 09:53

【TokenGazer深度研究】Hypernet:下一个分布式计算行业的巨头？

本期项目：Hypernet分类：分布式计算官网：https://hypernetwork.io代币：尚未发布相关计划TG团队观点：基于对Hypernet项目的技术、团队、社区媒体各方面分析，TG认为在2018
TokenGazer·2022-02-17 00:00

详解 Apache SkyWalking OAP 的分布式计算

SkyWalking的OAP（ObservabilityAnalysisPlatform，观测分析平台）是一个用于链路数据的分布式计算系统。
万猫学社·2022-02-16 15:00

2019-03-26 基本概念

MapReduce是一种基于java的分布式计算的处理技术和程序模型.MapReduce是一个框架，我们可以使用它来编写应用程序，以可靠的方式并行地处理大量商品硬件群集上的大量数据。
做一只乐观的小猴子·2022-02-16 09:49

白话解析分布式系统，小白也能看懂

\n对这些系统及其运行原理的研究属于分布式计算的一部分，而分布式计算又是分布式系统的核心所在。一方面，我们可以把分布式系统看作计算机科学的扩展或继续，它通常涉及
cpongo6·2022-02-16 07:59

分布式计算：Hadoop，Storm，Spark，Flink，MeSoS扫盲

分布式计算的核心思想在没有包裹业务之前并不复杂，简单而言，如果有一个任务（可以是查询，排序，搜索）可以被拆分为互不影响的若干个重复的小任务，那么我们就可以使用多台计算机并行的执行这些小任务。
凌峰·2022-02-16 03:34

Flink部署及作业提交（On YARN）

但通常来讲这种方式用得不多，因为在企业中，可能会使用不同的分布式计算框架，如Spark、Storm或MapReduce等。如果每一种框架都需要搭建各自的资源分配和管理系统，就无法共享资源，
端碗吹水·2022-02-15 20:01

深入浅出 RPC - 深入篇

RPC功能目标RPC的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。
Java耕耘者·2022-02-14 05:08

进程线程、同步异步、阻塞非阻塞、并发并行

进程之间是相对独立的，一个进程无法访问另一个进程的数据(除非利用分布式计算方式)，一个进程运行的失败也不会影响其他进程的运行，Windows系统就是利用进程把工作划分为多个独立的区域的。
日常更新·2022-02-14 02:13

Nosql简介

NoSQL简介NoSQL，全名为NotOnlySQL，指的是非关系型的数据库随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来优点/缺点优点:高可扩展性分布式计算低成本架构的灵活性，
狂风舞蝶丶·2022-02-13 13:34

中兴杭州提前批面经_软件开发工程师

分布式计算面试官：（上来就是一个三连）1.为什么用Spark？2.Spark有什么优点？3.Spark解决了我的什么问题？我：结合项目实际需求回答面试
炼狱的吹笛人·2022-02-12 04:29

PCDN是什么？

相对于在边缘计算的风口，P2P出口边缘后计算作为分布式计算好的情况下，并且是成熟的技术，它起到什么在运输CDN领域的作用。一.CDN里P2P的定义P2P意即个人对个人又称点对点网络。以计算模
沉世小妖猫·2022-02-11 17:31

DApp情况比拼：以太坊、IOST、TRON和EOS（2）

紧随其后的是区块链分布式计算的先驱——以太坊，每天活跃用户不到19000人。TRON目前每天有大约15000个与dApp交易的唯一地址，峰值有时多达35，000个用户。
EOSCafe·2022-02-10 03:52

Hadoop学习笔记

参考：http://www.cnblogs.com/heavenwang/p/3988033.html1.基本概念Hadoop是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和
yz_wang·2022-02-09 16:30

分布式系统设计-CAP定理

CAP的定义CAP定理（CAPtheorem）又被称作布鲁尔定理（Brewer’stheorem），是分布式系统设计中最基础、最重要的理论，它的意思是对于一个分布式计算系统来说，不可能同时满足以下三点条件
Tao的博客·2022-02-09 09:10

【光剑极简教程系列】“计算机科学与技术”概述Computer Science and Technology

“软件工程，人工智能，计算机网络与通信，数据库系统，并行计算，分布式计算，人机交互，机器翻译，计算机图形学，操作系统，以及数值和符号计算。。。”计
禅与计算机程序设计艺术·2022-02-09 07:07

一、 简介

Flink的核心是在数据流上提供了数据分发、通信、具备容错的分布式计算。同时，Flink在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。
木戎·2022-02-08 20:10

Spark 环境下 Scala 和 Python 两种语言的对比！

而ApacheSpark作为类HadoopMapReduce的通用并行框架，一款专为大规模数据处理而设计的分布式计算引擎，以其优越的性能，较为完善的生态，受到了大数据从业人员的青睐。
Python资深程序员·2022-02-07 13:55

hadoop学习笔记

技术变革技术驱动存储：文件存储==>分布式存储计算：单机==>分布式计算网络：万兆数据库：RDBMS==>NoSQL(HBase、Redis..)商业驱动从大量数据中获得价值技术概念数据采集：FlumeSqoop
异同·2022-02-06 08:13

技术栈

tidbjvm生态：kotlinHipster缓存：redis消息队列：pulsar用户配置管理：jsonfile部署：dockerk8s代理：openresty分布式存储：cephcicd：Jenkins分布式计算
灿飞无为·2022-02-06 03:03

Spark--Spark写入Parquet，暴露JDBC引擎，实现准实时SQL查询

有一个设想当有持续不断的结构化或非结构化大数据集以流（streaming）的方式进入分布式计算平台，能够保存在大规模分布式存储上，并且能够提供准实时SQL查询，这个系统多少人求之不得。
撸码小丑·2022-02-05 11:44

GO语言入门第一节 GO语言基础

GO语言基础1.GO简介软件开发的新挑战*多核硬件架构*超大规模的分布式计算机集群*前所未有的web模式的开发规模和更新速度Go语言的特点（云计算语言）追求极致的简单（只有25个关键字）高效（可以使用指针进行内存访问并且有
団长大人·2022-02-05 08:26

并行与分布式计算期末复习提纲

并行与分布式计算MPI初始化MPI_Init(&argc,&argv)结束MPI_Finalize()MPI_COMM_WORLD一个通信域，包含通信的所有进程当前进程标识MPI_Comm_rank(MPI_COMM_WORLD
粽子小黑·2022-02-05 07:09

并发、并行和分布式（Concurrent, Parallel, and Distributed）

概述在复杂的系统开发中，经常会遇到并发编程、高并发、并行计算、分布式系统、分布式计算、分布式存储这些词语，那么这些词背后的并发、并行、分布式到底有什么区别呢？
runhua·2022-02-05 07:37

从入门到放弃：深入浅出云计算

云计算（cloudcomputing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，再通过多部服务器讲程序得到结果返回给用户；而按照美国国家标准与技术研究院（NIST
AI课工场·2022-02-03 09:38

pyspark 学习

spark：分布式计算引擎，用多台计算机完成计算任务计算机角色：master与slave(物理层级)，driver与exector(应用层级)driver是资源管理和调度器，拥有sparkcontext
Aerio_不要坐井观天·2022-02-03 01:38

功能性主网PSN：PoS共识机制和买票体系

拜占庭将军问题形象地表达了分布式计算系统面临的安全困境：拜占庭军队包围了
FUSION官微·2022-02-02 22:20

Hadoop

1.Hadoop简介ApacheHadoop标志1.1背景介绍Hadoop是Apache旗下的开源的分布式计算平台，它可以运行在计算机集群之上，提供可靠的、可扩展的分布式计算功能。
一任平生cq·2022-01-18 15:35

2021-08-10 Ubuntu下安装配置 Apache Hadoop

Hadoop是Apache基金会旗下的一个开源的分布式计算平台，是基于Java语言开发的，有很好的跨平台特性，并且可以部署在廉价的计算机集群中。
垄山小站·2022-01-04 07:46

Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams

Flink极简教程:架构及原理ApacheFlink®—StatefulComputationsoverDataStreams关键词分布式流处理分布式计算引擎AllstreamingusecasesEvent-drivenApplicationsStream
禅与计算机程序设计艺术·2021-12-27 22:48

如何用 Python 实现分布式计算？

面对计算密集型的任务，除了多进程，就是分布式计算，如何用Python实现分布式计算呢？今天分享一个很简单的方法，那就是借助于Ray。
·2021-12-25 15:44

阿里云分布式容器平台即将全面启动公测！

为了帮助企业全面构建安全、标准、现代化的云原生IT架构，阿里云面向混合云/多集群/分布式计算等场景推出分布式云容器平台，使企业更轻松地连接并管理用户任何地域/任何基础设施上的多个Kubernetes集群
·2021-12-23 00:32

SparkMLlib线性回归算法案例

MLlib实现了分布式的随机梯度下降算法，其分布方法是：在每次迭代中，随机抽取一定比例的样本作为当前迭代的计算样本；对计算样本中的每一个样本分别计算梯度（分布式计算每个样本的梯度）；然后再通过聚合函数对样本的梯度进行累加
若兰幽竹·2021-12-06 20:05

多线程服务器编程[3]-多线程服务器的使用场合和常用模型

本章研究对象：分布式计算的网络应用程序，基本功能可以被简单归纳为“收到数据，算一算，发出去”单线程服务器最常用的为“non-blockingIO+IOmultiplexing”,即Reactor模式，例如
·2021-11-24 21:07

HDC2021技术分论坛：跨端分布式计算技术初探

为了解决移动端算力瓶颈，HarmonyOS跨端分布式计算应运而生，给用户带来
·2021-11-24 15:07

六阶段大数据--day02--hadoop入门

一Hadoop介绍1hadoop的定义hadoop是一个分布式存储和分布式计算的框架。
心猿意码~~·2021-11-19 23:39

每日一书｜从原理、架构、案例三个维度深度剖析分布式数据库

分布式数据库是分布式计算与数据库结合的产物。分布式数据库的概念早就存在，但是直到最近才真正引起产业界的高度重视。这得益于互联网和云计算技术的高速发展与广泛应用。以“国家政务服
《新程序员》编辑部·2021-11-19 08:00

day41 Hadoop 安装

文章目录Hadoop1、安装2、基本操作总结Iknow,iknow地球另一端有你陪我HadoopHadoop是一个适合海量数据的分布式存储和分布式计算的平台三大组件hdfs：是一个分布式存储框架，适合海量数据存储
韭菜盒子123·2021-11-18 22:56

（文末福利）云上论剑，谈谈如何构建新的数据系统技术体系

DPCS2021旨在为分布式计算与系统相关领域研究者、开发者和用户提供一个学术交流和展示成果的平台。
·2021-11-17 14:13

Spark源码阅读02-Spark核心原理之容错及HA（高可用）

所以像Spark这样的大型分布式计算
Faith_xzc·2021-11-16 20:35

Flink简介和开发总结

Spark和Flink都是分布式计算引擎，但
李潘杜若·2021-11-12 17:30

Hadoop原理与源码

2003年，2004年谷歌发布两篇论文为该问题提供了一个解决方案一个是HDFS的前身GFS，用于海量网页的存储；另一个是分布式计算框架MAPERDUCE。
·2021-11-09 21:12
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他