IT->分布式计算

研一的人工智能课程作业

人工智能，高级软件工程，分布式计算系统，形式语言与自动机理论。半个学期已经过去，考试已经考完，希望能考个好成绩，明年拿个学业奖学金！产生式
Johnny__Jiang·2022-11-19 10:32

Pytorch DDP原理（第一篇）

在此基础上，才能构建起分布式计算的大框架。
cv_lhp·2022-11-19 04:26

Hive与数据仓库——知识总结

查询和分析存储在分布式存储系统中的大规模数据集，可以将结构化的数据文件映射为一张数据库表如（csv），并提供类SQL查询功能Hive它能存储很大数据集，可以直接访问存储在HDFS中的文件，Hive支持MR，Spark，Tez三种分布式计算引擎
PineApple_Chan·2022-11-18 09:28

深度学习入门（三十九）计算性能——分布式训练、参数服务器（TBC）

深度学习入门（三十九）计算性能——分布式训练、参数服务器前言计算性能——分布式训练、参数服务器课件（分布式训练）分布式计算GPU机器架构计算一个小批量同步SGD性能性能的权衡实践的建议总结教材（参数服务器
澪mio·2022-11-18 09:13

2021-05-17 C#.NET面试题 说说什么是架构模式。

3.3分布式数据和存储3.4分布式计算。3.5此外
微软MVP Eleven·2022-11-15 07:07

pytorch常见错误

distributed有一个坑是使用分布式计算的时候，每张卡的内存分配都应该是均匀的，但是有时候会出现0卡占用更多内存的情况，这个坑在知乎上有讨论：链接分布式本身的内存分配应该是均匀的（左图），但是有时候会出现另一种情况
harry_tea·2022-11-14 07:34

操作系统分类

目录前言一、操作系统的分类二、批处理操作系统的发展1.手工操作阶段（此阶段无操作系统）2.批处理操作系统1)单道批处理系统2)多道批处理系统3.分时操作系统4.实时操作系统5.网络操作系统和分布式计算机系统前言上篇文章我们探讨了裸机系统与操作系统的区别
默默进步---一鸣惊人·2022-11-12 04:29

分布式计算（一）——Java进阶与Socket通讯

1.解释RuntimeException。例举它的1-2个之类，并用一个小程序验证捕获并处理异常的过程。错运行时异常都是RuntimeException类及其子类异常。这些异常是不检查异常，程序中可以选择捕获处理，也可以不处理，但程序应该从逻辑角度尽可能避免这类异常的发生。如NullPointerException、IndexOutOfBoundsException等2.在生产实践中，每个业务模块
aihuo0130·2022-11-10 13:38

Hadoop 概念 环境搭建 启动 测试

广义：Hadoop生态圈的代名词狭义：Apache软件基金会下用Java语言开发的一个开源分布式计算平台2.Hadoop发展历史来源：2005年，Hadoop作为Lucene子项目Nutch的一部分正式被引入
A52091·2022-11-08 10:44

RocketMQ Flink Catalog 设计与实践

FlinkCatalogRocketMQFlinkConnectorRocketMQFlinkCatalogTips：点击「阅读原文」查看更多技术内容～01Flink和FlinkCatalogFlink是一个分布式计算引擎
Apache Flink·2022-11-03 10:14

Hadoop、Hive、Spark 之间的区别和关系

由两部分组成，分布式存储（HDFS）和分布式计算（MapReduce）HD
吳名氏·2022-11-02 19:29

hive中的数据倾斜

1、数据倾斜的现象分布式计算中最常见的，最容易遇到的问题就是数据倾斜，数据倾斜的现象是，当我们提交运行一个程序时，我们通过监控发现，这个程序的大多数的Task都已经运行结束了，只有某一个Task一直在运行
万里长江横渡·2022-11-01 10:45

Spark SQL与Hive on Spark的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
weixin_42073629·2022-11-01 10:14

RocketMQ Flink Catalog 设计与实践

FlinkCatalogRocketMQFlinkConnectorRocketMQFlinkCatalog作者：李晓双，ApacheRocketMQContributorMentor：蒋晓峰，ApacheRocketMQCommitter一、Flink和FlinkCatalogFlink是一个分布式计算引擎
·2022-10-30 22:35

Spark机器学习：MLlib

但读者在学习MLlib的时候，大可不必关注其分布式细节，这是MLlib组件与其他组件很不一样的地方，这里不用考虑GraphX、StructuredStreaming中的关键抽象、分布式计算
人邮异步社区·2022-10-22 20:51

HDFS架构设计理念以及优缺点

其中Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）起到非常重要的作用，HDFS是Hadoop项目核心子项目，HDFS是分布式计算中数据存储管理的基础，它以文件的形式为上层应用提供海
梯度科技·2022-10-13 15:31

MapReduce分布式计算框架的优缺点

MapReduce是一个可用于大规模数据处理的分布式计算框架，它借助函数式编程及分而治之的设计思想，使编程人员在即使不会分布式编程的情况下，也能够轻松地编写分布式应用程序并运行在分布式系统之上。
梯度科技·2022-10-13 15:01

企业级分布式应用服务主要作用

分布式应用服务能够集成中间件成熟的整套分布式计算框架，包括分布式服务化框架、服务治理、运维管
梯度科技·2022-10-13 15:30

大数据需要哪些技术？

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、
大数据和云计算·2022-10-12 19:45

Web3 的底层价值

在我看来，Web3是大家对于一种新的商业模式或协作关系的总称或抽象指代，而这套协作关系或商业范式的底层，是由互联网、密码学和分布式计算构成的关键技术——区块链。
·2022-10-12 16:14

大数据面试题总结

大数据为什么这么快1、扩展性传统的是纵向扩展（服务器数量不变，每个的配置越来越高）大数据是横向扩展（每个的配置不变，但服务器数量越来越多）2、分布式传统的是集中式存储，集中式计算大数据是分布式存储，分布式计算
ischangle·2022-10-12 10:04

Gravity 海量闲置算力的调度设计与实现

从企业内部的单机系统，私有云、公有云，算力从各个分散的点逐渐整合为规格更为统一的数据中心，同时分布式计算也逐步发展为解决如何处理互联网产生的大量数据的重要途径。公有云等云计算基础设施和服务出现以后
gravitylink1·2022-10-10 17:25

大数据技术十大核心原理详解

hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
程序の之道·2022-10-04 14:35

matlab 并行计算 自动关闭,Matlab 的并行计算

~~~~2、如果并行计算用到的CPU属于不同的服务器时，有另一个称呼——分布式计算。~~~~3、要让多线程并行计算效率更高，
韩莹莹·2022-09-28 21:41

我眼中的大数据（三）——MapReduce

CSDN话题挑战赛第2期参赛话题：大数据技术分享这次来聊聊Hadoop中使用广泛的分布式计算方案——MapReduce。MapReduce是一种编程模型，还是一个分布式计算框架。
平 凡 程 序 猿·2022-09-28 09:55

我眼中的大数据（二）——HDFS

前言Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。
平 凡 程 序 猿·2022-09-28 09:55

我眼中的大数据（四）——Yarn和Hive

CSDN话题挑战赛第2期参赛话题：大数据技术分享一、YarnHadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn
平 凡 程 序 猿·2022-09-28 09:22

联邦学习隐私保护相关知识总结

当不同企业甚至同一企业的不同部门之间需要合作进行联合建模时，将面临跨越重重数据壁垒的考验早期的分布式计算及联邦学习的产生早期的分布式计算：试图通过整合不同来源的数
学无止境我爱学习·2022-09-26 10:44

干货 | 携程数据血缘构建及应用

作者简介cxzl25，携程软件技术专家，关注大数据领域生态建设，对分布式计算和存储、调度等方面有浓厚兴趣。
携程技术·2022-09-25 10:28

大数据的概述

大数据概述前言一、大数据的产生二、云计算与大数据的关系三、大数据的4V特征四、大数据的主要应用及行业推动力量五、我国的发展现状六、大数据的关键技术七、大数据的计算架构前言在分布式计算中,由于数据量的大小及格式超出了典型数据库软件的采集
暖爷丶龙·2022-09-24 19:27

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/
@司马懿·2022-09-22 19:12

我眼中的大数据（一）

我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable（如果大家需要可以留言给我
平 凡 程 序 猿·2022-09-22 14:20

MapReduce概述及MapReduce详细实现

原理四、MR执行过程1、map阶段2、reudce阶段3、shuffle过程五、MapReduce默认输入处理类六、RecordReader七、Inputsplit一、概述1）MapReduce是一种分布式计算模型
It.explorer·2022-09-21 13:09

sparkwithhive读写hive数据库某种报错解决

在大数据技术中，Hive擅长元数据管理，而Spark的专长是高效的分布式计算，二者的结合将呈现’1+1>2’的效果。
马里奥w·2022-09-21 13:39

跟李沐学AI之计算性能+图像分类

计算性能+图像增强+微调深度学习硬件其他芯片单击多卡并行分布式计算数据增广微调树叶分类狗的分类深度学习硬件上图为CPU，是任何计算机的核心。
小小小方·2022-09-16 07:28

unordered_map详解

unordered_map介绍unordered_map是关联容器，含有带唯一键的键(key;it->first)-值(value;it->second)pair。
阿宁(xin)。·2022-09-14 15:30

分布式文件系统HDFS架构解析

1、HDFS基本架构HDFS是Hadoop核心项目的子项目，是分布式计算中数据存储管理的基础，具有高容错性、可扩展性，
solihawk·2022-09-14 12:33

python 北京大学陈斌教授_“其实数算可以很简单” ——专访北大地空学院陈斌...

【采访时间】2015年5月6日陈斌，北京大学地球与空间科学学院遥感与地理信息系统研究所副教授，主要研究方向为空间信息分布式计算、分布式虚拟地理环境。
weixin_39844590·2022-09-11 22:40

Yarn资源管理器

Yarn被引入Hadoop2.0，最初是为了改善MapReduce的实现，但是因为具有足够的通用性，同样也可以支持其他的分布式计算模式，比如Spark，Tez等计算框架。Yarn的设计
稷下小鲤鱼·2022-09-09 07:44

flink基本介绍

flink是一个面向流处理和批处理的分布式计算框架，即支持流处理，也支持批处理。
wejboke626·2022-09-08 10:14

PySpark数据分析基础：pyspark.mllib.regression机器学习回归核心类详解(二)+代码详解

RidgeRegressionWithSGD随机梯度下降岭回归实例运用编辑点关注，防走丢，如有纰漏之处，请留言指教，非常感谢前言这段时间PySpark数据分析基础系列文章将持续讲述Pyspark.MLlib这一大块核心内容，更贴近我们的大数据分布式计算结合数据分析
fanstuck·2022-09-08 07:27

ROS系统框架

他们提供一些分布式计算的基本工具，以及整个ROS系统核心部分的程序编写；全球范围的代码，被称为universe，由不同国家的ROS社区组织开发和维护。
月落无声@_@·2022-09-08 04:45

你必须要掌握的大数据计算技术，都在这了

1.MapReduce计算模型MapReduce是Google提出的分布式计算模型，分为Map阶段和Reduce阶段。在具体开发中，开发者仅实现map()和redu
一个乖乖码字的程序猪·2022-09-07 09:53

hadoop常见组件及其功能

一、介绍1：1.Hadoop本质上是：分布式文件系统(HDFS)+分布式计算框架(Mapreduce)+调度系统Yarn搭建起来的分布式大数据处理框架。
Michaelwubo·2022-09-06 15:08

Hadoop3.3.4 理论

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
Michaelwubo·2022-09-06 15:08

大数据之hadoop hive hbase 的区别是什么？有什么应用场景？

id=297769662&isShared=1&_swebfr=11.hadoop它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。
小前端而已·2022-09-01 12:11

Hadoop大数据处理架构学习——Linux系统上安装Hadoop（Ubuntu22.04）

（3）安装SSH和配置SSH无密码登录（4）安装java环境（5）安装单机Hadoop（6）Hadoop伪分布式安装（未完）1.概述Hadoop简介：Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
长弓同学·2022-09-01 07:55

阿里云「MaxCompute最佳实践」征文大赛获奖文章公布

与传统Hadoop相比，阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
weixin_34033624·2022-09-01 07:17

区块链技术

区块链作为一种去中心化的分布式计算技术，将在互联网发展中占据重要地位，很可能从根本上改变互联网的运行模式，其重要性不言而喻。在国家层面，很多国家都非常重视区块链技术的研究与开发。
区块链技术开发-比链科技·2022-08-27 11:14

OpenStack基础知识及搭建云平台先电的基本虚拟机配置

目录一、认识云平台OpenStack二、云平台之虚拟机一、认识云平台OpenStack1、云计算概念：分布式计算技术，通过网络将庞大的计算处理程序分拆成无数个较小的子程序，再交个多台服务器进行搜寻、计算
YOLODD·2022-08-27 03:09
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他