IT->分布式计算

centos安装配置hadoop超详细过程（含故障排除）

1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
格格巫 MMQ!!·2022-05-06 13:42

云计算与大数据概论

云计算与大数据概述云计算的概念云计算（CloudComputing）由分布式计算（DistributedComputing）、并行处理（ParallelComputing）和网格计算（GridComputing
像向日葵一样~·2022-05-04 07:51

分布式计算、云计算与大数据概论心得理解

分布式计算、云计算与大数据概论心得理解第一章分布式计算概述分布式计算的概念分布式计算与其相关计算的发展趋势集中计算（单机计算）串行运算与并行运算简介各种计算简介网络计算网格计算分布式计算并行计算对等计算分布式系统分布式系统介绍分布式系统特性
Dwarf Star·2022-05-04 07:46

[原]海纳百川 有容乃大：SparkR与Docker的机器学习实战

不仅仅简化了分布式计算的操作，还简化了安装部署的环节，我们只几乎不需要做什么改动就可以直接运用R中的data
weixin_33887443·2022-05-03 07:16

深入高性能NIO通信框架，Netty权威详解，大数据时代构建高可用系统利器

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty构建，
Java领域指导者·2022-04-30 14:42

Hadoop（一）Hadoop核心架构与安装

HDFS：分布式存储MapReduce：分布式计算Yarn：调度MapReduce现在为止我们知道了HDFS、MapReduce、Yarn是干啥的，下面通过一张图再来
chester·chen·2022-04-29 20:00

UUID VS ID

主键优缺点对比IDUUID方案UUID做为主键的方案，优化方式UUID定义UUID全称是通用唯一识别码(UniversallyUniqueIDentifier)，是一种软件构建的标准，同时也为开放软件基金会组织在分布式计算环境领域的一部分
·2022-04-27 18:47

分布式计算框架Map/Reduce

1MapReduce是什么MapReduce是一种编程模型，是面向大数据并行处理的计算模型、框架和平台。1）MapReduce是一个基于集群的高性能并行计算平台。2）2MapReduce是一个并行计算与运行的软件框架。3）MapReduce是一个并行程序设计模型与方法。2基本特点1）分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态2）封装了实现细
t17246·2022-04-26 12:13

【大数据开发笔记1】什么是Hadoop?

用java语言实现，开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件-HadoopHDFS（分布式文件存储系统）：解决海量数据存储-HadoopYARN（集群资源管理和任务调度框架
Lubang_Future·2022-04-26 12:43

Hadoop3.x 三大组件详解

HadoopHadoop适合海量数据分布式存储和分布式计算运行用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理1.概述1.1简介Hadoop核心组件HDFS（分布式文件存储系统）：解决海量数据存储
Xi-iX·2022-04-26 10:00

Spark：离线综合案例

分布式计算平台Spark：离线综合案例一、课程回顾SparkSQL使用开发接口DSL：使用函数来对表进行处理，类似于RDD的编程，表的体现：DF、DSSQL语法函数：select、where、groupBy
章鱼哥TuNan&Z·2022-04-24 14:39

BigData大数据开发路线详细完整结构知识体系学习大全（2022）

采集：（二）存储：（三）计算：（四）查询：（五）可视化：（六）任务调度：（七）集群监控：（八）元数据管理：（九）数据质量监控：二、开发平台（一）Hadoop大数据处理框架1、MapReduce磁盘离线分布式计算框架
REMLILI·2022-04-22 20:46

推出全新分布式计算接口，OneFlow v0.7.0发布，LiBai代码库、Serving、MLIR一应俱全...

今天是OneFlow开源的610天，OneFlowv0.7.0正式发布。欢迎下载体验最新版本：https://github.com/Oneflow-Inc/oneflow本次更新包含以下重点：完善地提供了一种可以帮助用户轻松使用多机多卡执行的机制：GlobalTensor是OneFlow为社区带来的分布式执行的易用方案，用它可以方便地实现各种分布式并行策略，极大提高分布式实现的灵活性和易用性。基于
OneFlow深度学习框架·2022-04-15 11:39

坐实大数据资源调度框架之王，Yarn为何这么牛

Hadoop主要组成：分布式文件系统HDFS分布式计算框架MapReduce分布式集群资源调度
华为云开发者社区·2022-04-12 15:00

【翻译】分布式计算谬误

原文:https://en.wikipedia.org/wiki/Fallacies_of_distributed_computing分布式计算的谬误是LPeterDeutsch和太阳微系统公司的其他人提出的一组断言
顾宇·2022-04-05 10:27

华为云GaussDB：用分布式计算和存算分离的集合力量打造云原生数据库

近期，创原会在杭州千岛湖成功举办云原生技术精英沙龙，来自云原生计算基金会（CNCF）、中国信通院、华为以及各行业的云原生技术精英们共聚一堂，就云原生与企业业务融合的无限可能进行了深入研讨。华为云CTO张宇昕在会上指出：“未来，华为云将围绕泛在、计算、调度、网络、数据、智能、应用、安全8大新范式，全面升级云原生产品，构建完整的云原生2.0技术与产品体系。”本次杭州站沙龙主要聚焦泛在、计算、数据三大新
·2022-03-26 17:00

Hoodoop-MapReduce学习

基本介绍一.概念1.MapReduce是Hadoop提供的一套进行分布式计算机制2.MapReduce是DougCutting根据Google的论文来仿照实现的3.MapReduce会将整个计算过程拆分为
精神小伙sc·2022-03-25 07:28

mapreduce总结

一、mapreduce简介MapReduce是一种分布式计算模型，是hadoop的核心组件之一，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。
weixin_30367169·2022-03-25 07:23

Hadoop知识点（五）-MapReduce

MapReduce架构2.1oom-killer机制2.2container2.3架构2.3.1ResourceManager2.3.2NodeManager2.4yarn3.wordcount应用4.分片split分布式计算框架
qq_38633279·2022-03-25 07:17

图解大数据 | 分布式平台Hadoop与Map-reduce详解

www.showmeai.tech/article-detail/168声明：版权所有，转载请联系平台与作者并注明出处1.Hadoop快速入门1）Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
ShowMeAI·2022-03-25 07:36

图解大数据 | 分布式平台Hadoop与Map-reduce详解

www.showmeai.tech/article-detail/168声明：版权所有，转载请联系平台与作者并注明出处1.Hadoop快速入门1）Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
·2022-03-24 14:36

Hadoop、Spark、Flink简单概要

Hadoop，Spark、Flink是目前重要的三大分布式计算系统·Hadoop用于离线复杂大数据处理·Spark用于离线快速的大数据处理·Flink用于在线实时的大数据处理。
葛园栋·2022-03-21 05:32

【软件架构理论系列】简述分布式的定义、分类、技术发展历史进程

文章目录明确分布式定义一、应用和架构发展过程1.20世纪70年代末到80年代初的原始分布式时代(分布式计算)2.1997年发布的vray(分布式渲染)3.1994年提出，2006年崛起的SOA时代(分布式网络架构
无数_mirage·2022-03-20 19:02

分布式计算模型 —— MapReduce

一、背景  MapReduce是谷歌大数据“三驾马车”的第二篇论文，它是一个分布式计算编程模型，主要是为了解决“PageRank”问题，即网页排名的问题。
小胡_鸭·2022-03-20 11:35

Hadoop简介和体系架构

目录2．1Hadoop简介2．1．1Hadoop由来2．1．2Hadoop发展历程2．1．3Hadoop生态系统2．2Hadoop的体系架构2．2．1分布式文件系统HDFS2．2．2分布式计算框架MapReduce2
G不来也不去·2022-03-18 07:46

hadoop概念和组成（hdfs、yarn、mapreduce）

文章目录Hadoop概述组成1.分布式存储系统HDFS（HadoopDistributedFileSystem）2.资源管理系统YARN3.分布式计算框架MapReduceHadoop生态圈1.Hive2
栖之·2022-03-18 05:19

hadoop概述

>>开源的>>可靠的可以及时进行数据备份大数据损坏后，能及时恢复>>可扩展性对于大的集群，机器的增加或者减少不会影响数据的计算>>分布式计算对于一个任务，我们可
Rachel_Channing·2022-03-18 05:16

IT-梦想|永无止境

IT-梦想|永无止境FromGPNU-软件工程专业即使是双非，也有一颗想通过自己的专业技术能力来造福人名、国家炽热的心冲进自己喜欢的公司、喜欢的岗位碰见志同道合的人冲！！！
Dream_Y.Ocean·2022-03-16 15:45

中台和多云管理是伪问题？运维要集体下岗了吗？

也就等同于利用CPU、内存、存储、网络等基础设施资源实现分布式计算、网格计算能力，通过提供标准化的基础设施资源计算服务（IaaS服务），支撑不同企业的大数据量计
·2022-03-16 11:12

Hadoop HDFS 3.3.1分布式存储搭建

HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。
KunlunDB·2022-03-16 06:17

在一条DML语句中插入/更新/删除/获取几百万行数据，你会特别注意什么？

前言一个分布式计算和存储系统的任何节点都可能因为节点负载过重，节点的计算、存储资源不足，网络延时，网络短暂不可达而导致操作超时。
KunlunDB·2022-03-16 06:16

java从入门到精通 答案_java从入门到精通练习题答案.doc

NUMPAGES26java从入门到精通练习题答案一．填空题1.运行编译后的class文件，需要输入命令2.JVM是指3.Java程序源文件扩展名为二，简答题1.简述java语言的特点简洁有效可移植性面向对象解释型适合分布式计算
琅琊閣的小法師·2022-03-13 14:10

Mysql 使用UUID 作为主键的分析

前置条件Mysqlinnodb存储引擎一：为什么使用UUIDUUID是通用唯一识别码（UniversallyUniqueIdentifier）的缩写，是一种软件建构的标准，亦为开放软件基金会组织在分布式计算环境领域的一部分
hamish-wu·2022-03-12 15:55

微信小程序开发者工具模拟器调试界面看不到鼠标光标

初心-杨瑞超个人博客诚邀您加入qq群(IT-程序猿-技术交流群):757345416丨(IT-程序猿-技术交流2群):936929828在新电脑上开发小程序，打开模拟器，看不到鼠标光标，经过查阅资料，总结如下
初心-杨瑞超个人博客·2022-03-10 16:33

Ion Stoica：做成Spark和Ray两个明星项目的秘笈

Spark，Ray和企业开源”）Spark和Ray，一个是开源于2010年，专为大规模数据处理而设计的快速通用的计算引擎，另一个则是开源于2018年，由UCBerkeleyRISELab推出的新一代高性能分布式计算框架
OneFlow深度学习框架·2022-03-09 09:12

Spark 进程模型与分布式部署：什么是分布式计算？

0前言大家好，我是小林！本篇文章是Spark系列的第三篇文章。在第二篇文章中，小林讲到一个Spark任务首先要生成数据依赖图，也就是Job的逻辑执行图，然后根据一定的规则转化成Job的物理执行图，才能真正的执行。并且在第一篇文章中举了一个wordcount的例子，你可以回顾下这两张图，理解一下第二篇讲的逻辑执行图到物理执行图的转换：上面第一张图描述的是数据依赖关系，是一种抽象的流程图，而第二张图是
小林玩大数据·2022-03-07 14:50

关系型数据库和非关系型数据库概述与优缺点对比

关系型数据遵循ACID原则1、A(Atomicity)原子性2、C(Consistency)一致性3、I(Isolation)独立性4、D(Durability)持久性二、NoSQL数据库1、分布式系统2、分布式计算的优点
·2022-03-04 12:15

【历史上的今天】3 月 3 日：AT&T 成立；全球最大分布式计算项目正式停止；家酿俱乐部首次会议

整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2022年3月3日，在175年前的今天，1847年3月3日，电话的发明人亚历山大·格拉汉姆·贝尔（AlexanderGrahamBell）出生。贝尔发明了世界上第一台可用的电话机，创建了贝尔电话公司，被世界誉为“电话之父”。为了纪念贝尔的功绩，后世将电学和声学中计量功率或功率密度比值的一种单位命名为“贝尔”。回顾计算机历史
历史上的今天·2022-03-03 12:57

云原生及k8s架构

云原生及k8s架构，相关生态介绍1.云计算简介云计算是分布式计算的一种，指通过网络(云)将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户
Mack Laughing·2022-03-02 17:24

【云原生】—— 学习云计算应用开发你需要掌握的五大技能

云计算百度百科：云计算（cloudcomputing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户
超梦梦梦梦·2022-03-02 17:50

“云“系列概念

云计算，是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序
麦地与诗人·2022-02-28 15:17

在CentOS7上实现Hadoop2.7.3完全分布式的安装部署（小白版）

作为一个小小白，硬着头皮在安装部署这个分布式计算平台的过程中，虽然看到了很多博客，但是很多小坑也是令人十分头痛。
沉眠流年的麦子·2022-02-28 10:30

Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)-张勇-专题视频课程

ApacheHadoop2.5.0为准，进行深入浅出的讲解各个模块的功能、架构、使用，主要四个方面内容：模块一：Hadoop2.x入门模块二：分布式文件系统HDFS模块三：分布式资源管理框架YARN模块四：分布式计算框架
sundaytian·2022-02-28 10:27

基于CentOS 7安装hadoop伪分布式

没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行
Coder_yy·2022-02-28 10:25

Spark：基础入门与环境搭建

目录01：学习目标02：分布式计算需求及发展03：Spark的诞生及发展04：Spark的功能及特点05：Spark的应用场景06：MR的设计回顾07：Spark的基本设计08：Spark与MR设计对比
多么哇塞的陈哇塞·2022-02-28 10:08

大数据学习笔记（一）：Hadoop

1、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，也是一个开源的大数据框架，通俗点说，是一个分布式计算的解决方案。
我是码代码·2022-02-27 09:41

hadoop学习笔记（一）：hadoop生态系统及简介

HDFS：分布式文件系统MapReduce：分布式计算框架Zookeeper：分布式协作
weixin_30652271·2022-02-27 09:11

科技云报道：“Sky Computing”会是云计算未来的新方向吗？

Spark和Ray，一个是开源于2010年，专为大规模数据处理而设计的快速通用的计算引擎，另一个则是开源于2018年，由加利福尼亚大学伯克利分校RISELab推出的新一代高性能分布式计算框架，两者都已成为开源领域备受关注的明星项目
科技云报道·2022-02-25 15:13

图解大数据 | 分布式平台Hadoop与Map-reduce详解

www.showmeai.tech/article-detail/168声明：版权所有，转载请联系平台与作者并注明出处1.Hadoop快速入门1）Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
·2022-02-24 22:25

Hadoop HDFS 3.3.1分布式存储搭建

HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。
·2022-02-24 17:29
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他