IT->分布式计算

Hadoop学习内容概述day02

大量的订单如何存储问题2：大量的订单如何计算（2）天气预报：问题1：大量的天气数据如何存储问题2：大量的天气数据如何计算大数据的核心问题：（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算
weixin_30764771·2023-04-19 03:11

Hadoop学习_day01_基础概念

分布式计算1.大数据导论1.1大数据概念数据：是事
mango660·2023-04-19 03:39

一文让你深入了解 Java-Netty高性能高并发

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名
风平浪静如码·2023-04-18 19:49

云原生周刊：编程即将终结？

近日哈佛大学计算机科学的前教授MattWelsh，分享了他对计算机科学、分布式计算的未来以及ChatGPT和GitHubCopilot是否代表编程结束的开始的看法。威尔士说，编程语言仍然很复杂。
KubeSphere 云原生·2023-04-18 16:50

ChatGPT背后的开源AI框架Ray，现在值10亿美元

分布式计算框架Ray
菜鸟学Python·2023-04-18 00:22

从零开始学架构——CAP理论

2002年，麻省理工学院的赛斯·吉尔伯特（SethGilbert）和南希·林奇（NancyLynch）发表了布鲁尔猜想的证明，使之成为分布式计算领域公认的一个定理。CAP（Consis
四问四不知·2023-04-17 16:03

【华为网络技术大赛】云计算

云计算是多种技术长期演变融合的产物，诸如分布式计算、并行计算、网络存储、分布式存储、虚拟化、裸机及容器计算、负载均衡等计算
Mjolnir1107·2023-04-17 10:04

云原生AI开发平台架构及核心优势

导读：云原生AI开发平台以云原生容器服务为基础架构调用云资源，配合大数据计算、人工智能计算以及分布式计算框架，服务于企业的数据分析、模型训练以及AI应用部署需求。
互联互通社区·2023-04-16 21:25

大数据4 - 分布式计算

1.分布式计算概述分散->汇总模式：1.将数据分片，多台服务器各自负责一部分数据处理2.然后将各自的结果，进行汇总处理3.最终得到想要的计算结果1.什么是计算、分布式计算？
像影子追着光梦游_·2023-04-16 02:16

大数据技术——spark集群搭建

spark概述spark集群搭建1.Spark安装2.环境变量配置3.Spark集群配置4.启动Spark集群存在问题及解决方案请参考以下文章spark概述Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析
肉肉肉肉肉肉~丸子·2023-04-16 01:53

spark分布式计算框架

MapReduce是计算逻辑清晰的，只有两个步骤，任务是JVM进程级别，每执行到什么步骤去申请具体的资源。而spark根本不知道具体有几个stage，逻辑未知，每个人的jobstage等根本不知道。它是默认倾向于抢占资源的，他会在sparkContext（）这个函数执行的时候，直接根据下面textFile（）代码逻辑抢占所有资源，任务以JVM线程的级别泡在Excutor里面目前已知的：每一个Exc
代码健身摩托gucci上海·2023-04-15 20:23

2021-12-20

负载均衡：比如高并发状态下，多个机器分摊请求，从而达到负载均衡高性能运算集群：比如hadoop分布式计算框架，把多个机器的cpu，硬盘资源聚合到一起，实现高性能计算。2、常见的硬件负载均衡产品有哪些？
kaufu·2023-04-15 20:03

java获取本机ip和端口_java获取本机ip和端口

[解析]考查Java的分布式计算的特点。【解题要点】Java语言支持TCP/IP协议,使应用程序可通过URL地址,在网络上的任何地方访问对象时,如同访问本机一样简单。
爱啃馒头的竹子·2023-04-15 16:16

大数据之MapReduce框架简介

文章目录前言一、什么是分布式计算二、MapReduce简介（一）介绍（二）特点（三）局限性三、MapReduce编程（一）MapReduce架构体系（二）MapReduce工作执行流程总结前言#博学谷IT
敲键盘的杰克·2023-04-15 15:16

【MR原理-1】MapReduce整体架构及工作机制

导读：1.HDFS架构2.MapReduce架构3.MapReduce作业的生命周期  Hadoop的核心两个组件分别是分布式文件系统和分布式计算框架MapReduce。
王小康walker·2023-04-15 15:44

hadoop-mapreduce基本架构

MapReduce是一个分布式计算框架，主要由两部分组成：编程模型和运行时环境。
souy_c·2023-04-15 15:11

MapReduce的架构及原理

MapReduce是一种分布式计算模型，是Hadoop的主要组成之一，承担大批量数据的计算功能。MapReduce分为两个阶段：Map和Reduce。
dh026661·2023-04-15 15:11

大数据技术系列文章目录

、Zookeeper实操HadoopHadoop系列之-1、大数据介绍Hadoop系列之-2、HDFS分布式文件系统Hadoop系列之-3、HDFS高阶+实操Hadoop系列之-4、MapReduce分布式计算
技术武器库·2023-04-15 15:51

大数据开发必备面试题Spark篇01

MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构
技术人小柒·2023-04-15 13:16

大数据开发必备面试题Spark篇合集

MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构
技术人小柒·2023-04-15 13:44

学习HCIA网络安全第一次笔记

HCIA--华为认证的初级网络工程师HCIP--华为认证的高级网络工程师HCIE--华为认证的专家网络工程师基础课实验作业：实验报告（用文档形式）每日一讲（每人都需要）云技术---云计算---分布式计算云存储
悸动心事·2023-04-15 12:28

Java 白皮书 —— A White Paper

Java白皮书参考资源Java白皮书目录1、Java介绍1.1设计初衷1.2设计目标1.3Java平台——分布式计算的新方法2、简单性和熟悉的3、面向对象3.1Java中的对象技术3.2什么是对象？
lywStuding·2023-04-15 03:22

初识Netty

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用
红丶·2023-04-14 19:05

CDH6.3.2安装文档

CDH通过WEB界面管理，并提供了hadoop的两个核心功能：可扩展存储和分布式计算，以及企业级的重要功能。
尘世壹俗人·2023-04-14 17:20

HCIA第一天

HCIA---华为认证的初级网络工程师HCIP---华为认证的高级网络工程师HCIE--华为认证的ICT专家计算机网络基本结构图：云技术---云计算---分布式计算（一台计算机完不成的由多台计算机分步完成
木玄玑·2023-04-14 17:40

分析型数据库：MPP 数据库的概念、技术架构与未来发展方向

由于数据分析一般涉及的数据量大，计算复杂，分析型数据库一般都是采用大规模并行计算或者分布式计算来提升它的数据处理能力。
星环科技·2023-04-14 12:31

分布式计算技术（上）：经典计算框架MapReduce、Spark 解析

当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。
星环科技·2023-04-14 12:01

分布式计算技术（下）：Impala、Apache Flink、星环Slipstream

实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎Impala、实时计算引擎ApacheFlink和星环实时计算引擎Slipstream。—面向交互式分
星环科技·2023-04-14 12:01

分析型数据库：分布式分析型数据库

分布式分析型数据库的存储层一般采用分布式存储或云存储，而计算引擎层采用独立的分布式计算引擎，
星环科技·2023-04-14 12:24

【HDFS】HDFS学习笔记

读写过程HDFS优缺点HDFS常用配置HDFS常用命令一、HDFS是什么1.HADOOP1.0中有两个模块：Hadoop分布式文件系统HDFS(HadoopDistrbutedFileSystem)、分布式计算框架
Jessie_hhhhhzy·2023-04-14 07:24

分布式系统CAP理论解析

1、CAP简介CAP理论是计算机科学家EricBrewer在2000年提出的理论猜想，在2002年被证明并成为分布式计算领域公认的定理，其理论的基本观念是，在分布式系统中不可能同时满足以下三个特性：C：
solihawk·2023-04-14 02:29

CAP定理和BASE理论

2000年的时候，EricBrewer教授提出了CAP猜想，2年后，被SethGilbert和NancyLynch从理论上证明了猜想的可能性，从此，CAP理论正式在学术上成为了分布式计算领域的公认定理。
mango_love·2023-04-14 02:54

云架构技术栈

云计算是网格计算，分布式计算，并行计算、效用技术、网络存储、虚拟化和负载均衡等传统计算机和网络技术发展融合的产物。
恒企自考频道·2023-04-13 21:09

并行计算与分布式计算区别与联系

参考转载http://blog.csdn.net/wm_1991/article/details/50257269https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/82976864并行计算（ParallelComputing）并行计算或称平行计算是相对于串行计算来说的。并行计算（ParallelComputing）是指同时使用多种
wqq奋斗的小鸟·2023-04-13 18:35

并行计算、分布式计算、集群概念及区别（初学者待更新）

分布式计算分布式计算主要研究分散系统如何进行计算。分布式结构就是将一个完整的系统，按照业务
千里足行~始于足下·2023-04-13 18:34

并行分布式计算 并行机系统互联网络

文章目录并行分布式计算并行机系统互联网络系统互连分类网络性能指标静态互联网络一维线性阵列1-DLinearArray二维网孔/2-D网孔2-DMesh二叉树超立方总结动态互联网络总线Bus交叉开关Crossbar
Air浩瀚·2023-04-13 18:59

并行分布式计算 并行计算机体系结构

文章目录并行分布式计算并行计算机体系结构并行计算机结构模型SIMD单指令多数据流PVP并行向量处理机SMP对称多处理机MPP大规模并行处理机DSM分布式共享存储多处理机COW工作站集群总结并行计算机访存模型
Air浩瀚·2023-04-13 18:29

并行分布式计算 并行算法与并行计算模型

文章目录并行分布式计算并行算法与并行计算模型基础知识定义与描述复杂性度量同步和通讯并行计算模型PRAM模型异步PRAM模型（APRAM）BSP模型LogP模型层次存储模型分层并行计算模型并行分布式计算并行算法与并行计算模型基础知识定义与描述并行计算模型类型
Air浩瀚·2023-04-13 18:55

elasticsearch 认知

为了解决海量数据存储和分布式计算问题，GoogleTab提出了Map/Reduce和GoogleFileSystem(GFS)解决方案，Hadoop作为其中一个优秀的实现框架迅速得到
张同学tty·2023-04-13 14:27

Yandex 正式开源大数据存储和处理平台 YTsaurus

Yandex分布式计算的负责人MaximBabenko表示：Yandex自2010年以来一直在开发YTsaurus（在内部称之为YT）。因为市场上没
分享IT资源·2023-04-13 13:44

【老生谈算法】matlab实现蚁群算法求解TSP——蚁群算法

）本项目原文【老生谈算法】简单蚁群算法求解TSP的源程序-matlab.doc2、算法详解：蚁群算法是新兴的仿生算法，最初是由意大利学者DorigoM于1991年首次提出，由于具有较强的鲁棒性，优良的分布式计算机制和易于与其它方法结合等优点
阿里matlab建模师·2023-04-13 13:29

10分钟读懂进程线程、同步异步、阻塞非阻塞、并发并行

进程之间是相对独立的，一个进程无法访问另一个进程的数据（除非利用分布式计算方式），一个进程运行的失败也不会影响其他进程的运行，Wi
无法确定的小世界_2156·2023-04-13 11:48

ZooKeeper集群与部署实验文档

一、Zookeeper概述ZooKeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper的架构通过冗余服务实现高可用性。
过凌丁阳·2023-04-12 23:06

论币圈中的不可能三角

原创作者：千里眼社区——一灯师兄在理论计算机科学中有一个著名的CAP定理，它指出对于分布式计算机系统来说，它不可能同时完成一致性（Consistency）、可用性（Availability）、和分区容错性
千里眼链讯·2023-04-12 14:40

HCIA第一天

HCIA---华为认证的初级网络工程师HCIP---华为认证的高级网络工程师HCIE--华为认证的专业网络工程师云技术---云计算---分布式计算云存储---百度网盘(服务器）计算机技术抽象语言---电信号抽象语言
北川Cc丶·2023-04-12 12:41

大数据需要哪些技术？

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、
大数据学习01·2023-04-12 09:00

大数据Hadoop|MapRedece|Yarn

国内外应用Hadoop发行版本Hadoop集群整体概述HDFS分布式文件系统传统常见的文件系统数据和元数据HDFS核心属性HDFS简介HDFSshell操作MapReduce分而治之理解MapReduce思想分布式计算概念
北山啦·2023-04-12 09:09

大型网站技术架构 读书笔记 (二) 大型网站架构模式

1.3分布式分布式应用和服务分布式静态资源分布式数据和存储分布式计算1.4集群使用分布式虽然已经将分层和分割后的模块独立部署，但是对于用户访问集中的模块（比如网站的首页），
雪孤城·2023-04-12 02:20

从零开始认识 Spark

seesee先吧把这句话翻译一下spark是在Hadoop基础上的改进，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapReduce算法实现的分布式计算
即将秃头的Java程序员·2023-04-11 20:16

.NET框架描述，框架体系结构

WCF：将多个技术统一到单个面向服务的编程模型，实现真正的分布式计算。WF:一个广泛通用的工作流框架，例：网上
gezellig920·2023-04-11 18:52
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他