hadoop&spark

【原创 Hadoop&Spark 动手实践 3】Hadoop2.7.3 MapReduce理论与动手实践

开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架
weixin_33812433·2023-08-14 14:09

浅谈：Hadoop、spark、SaaS、PaaS、IaaS、云计算

Hadoop&Spark首先二者均不是属于产品类别，理解为生态系统或者也有人将其称为“大数据通用处理平台”也是可以的，这种称呼也更为准确Hadoop是由Apache基金会所开发的分布式系统基础架构Hadoop
视界云科技·2022-08-13 12:52

对美国软件工程硕士的一些纠偏：可能不是你想要的项目

美国大学的SoftwareEngineering在研究生阶段的培养核心以软件开发方式、流程和分析为主，实际上反而不怎么学习一些实际技术如DatabaseSystems、DistributedSystems(Hadoop
lalxyy·2022-02-13 06:29

linux centos7.6配置Hadoop+Spark+Hbase+Hive+Zookeeper集群

文章目录hadoop&spark集群配置网络配置(桥接模式)ip配置修改用户名（所有节点）配置ssh免密码登录安装JDK1.8.0环境(所有节点)安装Hadoop2.10.0(所有节点)遇到的问题安装关系型数据库
东流-beyond the label·2021-04-08 22:15

Python海量数据处理之_Hadoop&Spark

1.说明 前篇介绍了安装和使用Hadoop，本篇将介绍Hadoop+Spark的安装配置及如何用Python调用Spark。 当数据以TB,PB计量时，用单机处理数据变得非常困难，于是使用Hadoop建立计算集群处理海量数据，Hadoop分为两部分，一部分是数据存储HDFS，另一部分是数据计算MapReduce。MapReduce框架将数据处理分成map,reduce两段，使用起来比较麻烦，并且有
xieyan0811·2021-03-11 06:11

震精，京东T8工程师每天熬夜到天明，竟只是为一套编程实战文档

开篇扯皮大数据开发工程师系列共六本，包括Java面向对象编程、Java核心API编程、JavaWeb开发实战、MySQL数据库开发实战、SSM企业级框架实战、Hadoop&Spark大数据开发实战，一套比较全面的开发工程师书籍
只会全栈·2020-10-10 18:33

Spark 1.6.2 + Hadoop 2.7.2 集群搭建

版本信息：Centos7+Hadoop2.7.2+Spark1.6.2+Scala2.11.8Hadoop+Spark集群搭建系列文章，建议按顺序参考：Hadoop&Spark集群搭建理念思想Hadoop2.7.2
siberiawolf61·2020-09-13 09:35

Hadoop & Spark 集群搭建 理念思想

版本信息：Centos7+Hadoop2.7.2+Spark1.6.2+Scala2.11.8Hadoop+Spark集群搭建系列文章，建议按顺序参考：Hadoop&Spark集群搭建理念思想(不用点了
siberiawolf61·2020-09-13 09:04

Hadoop&Spark

HadoopHadoop简介Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以
能向左或向右·2020-08-23 11:59

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:RDDiseverythingfordev:BasicConcepts:GraphRDD:SparkRuntime:schedule:DepencyType:SchedulerOptimizations：EventFlow:SubmitJob:NewJobI
stark_summer·2020-07-30 16:43

在OpenStack（Mitaka版本）上通过Sahara部署Hadoop&Spark集群

在OpenStack（Mitaka）上通过Sahara部署Hadoop&Spark集群1.准备工作1.1创建用于部署集群的项目和用户1.2准备ClouderaPlugin镜像1.3创建集群网络和云主机类型模板
天府云创·2020-07-29 15:55

Hadoop 2.7.2 集群搭建

版本信息：Centos7+Hadoop2.7.2Hadoop+Spark集群搭建系列文章，建议按顺序参考：Hadoop&Spark集群搭建理念思想Hadoop2.7.2集群搭建－预备工作Hadoop2.7.2
siberiawolf61·2020-07-28 13:27

hadoop2.X视频教程全集下载

1、Hadoop2.X大数据平台V3视频教程（14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、Hadoop&Spark企业应用实战链接:http://pan.baidu.com
yierxiansheng·2020-07-06 10:04

企业应用hadoop视频教程多套合集--百度网盘下载

1、Hadoop2.X大数据平台V3视频教程（14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、Hadoop&Spark企业应用实战链接:http://pan.baidu.com
王一洋·2020-07-05 20:55

Python海量数据处理之_Hadoop&Spark

1.说明 前篇介绍了安装和使用Hadoop，本篇将介绍Hadoop+Spark的安装配置及如何用Python调用Spark。 当数据以TB,PB计量时，用单机处理数据变得非常困难，于是使用Hadoop建立计算集群处理海量数据，Hadoop分为两部分，一部分是数据存储HDFS，另一部分是数据计算MapReduce。MapReduce框架将数据处理分成map,reduce两段，使用起来比较麻烦，并且有
xieyan0811·2020-06-30 01:58

浅谈：Hadoop、spark、SaaS、PaaS、IaaS、云计算

Hadoop&Spark首先二者均不是属于产品类别，理解为生态系统或者也有人将其称为“大数据通用处理平台”也是可以的，这种称呼也更为准确Hadoop是由Apache基金会所开发的分布式系统基础架构Hadoop
科技D人生·2020-06-27 04:42

浅谈：Hadoop、spark、SaaS、PaaS、IaaS、云计算

Hadoop&Spark首先二者均不是属于产品类别，理解为生态系统或者也有人将其称为“大数据通用处理平台”也是可以的，这种称呼也更为准确Hadoop是由Apache基金会所开发的分布式系统基础架构Hadoop
视界云科技社区·2020-04-03 01:30

Hadoop&spark

简介hadoop和spark是两种大数据框架。hadoop提供了分布式文件系统hdfs进行数据存储和管理，在这个基础上，提供了mapreduce的数据处理框架进行数据处理；spark是一种专门用来分析处理分布式存储的大数据的工具，不提供数据存储功能，它可以运行在hdfs上或者其它的分布式文件系统上。在数据处理的能力上，spark的数据处理速度比mapreduce快的多，前者是一种流式数据处理工具，
练练笔记本·2020-03-19 00:14

ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发

文章来源url:http://www.sohu.com/a/211902311_6095772017年最后一期公开课预告-《ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发》12
hsg77·2018-08-09 16:42

hadoop&spark安装（下）

上一遍文章中其实最主要的就是JAVA环境变量以及hadoop环境变量的设置，这两个设置好了的话，运行hadoop基本上不会出问题。在hadoop的基础上安装spark好简单。安装Spark之前需要先安装Hadoop集群，因为之前已经安装了hadoop，所以我直接在之前的hadoop集群上安装spark。硬件环境：hddcluster110.0.0.197redhat7hddcluster210.0
yanconggod·2016-12-22 14:12

在OpenStack（Mitaka版本）上通过Sahara部署Hadoop&Spark集群

在OpenStack（Mitaka）上通过Sahara部署Hadoop&Spark集群1.准备工作1.1创建用于部署集群的项目和用户1.2准备ClouderaPlugin镜像1.3创建集群网络和云主机类型模板
天府云创·2016-08-15 00:00

一站式Hadoop&Spark云计算分布式大数据和Android&HTML5移动互联网解决方案课程（Hadoop、Spark、Android、HTML5）V2的第一门课程

Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。 如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。   云计算学习者的心声： 如何从企业级开发的角度，不断动手实际操作，循序渐进中掌握Hadoop，直到能够直接进行企业级开始，是困惑很多对云计算感
·2015-11-13 06:53

决胜Hadoop&Spark大数据时代：Hadoop&Yarn&Spark企业级最佳实践

王家林：Spark、Docker、Android技术中国区布道师。联系邮箱[email protected]电话：18610086859QQ:1740415547微信号：18610086859Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时
Rocky_wangjialin·2015-04-23 00:41

企业应用hadoop视频教程多套合集--百度网盘下载

1、Hadoop2.X大数据平台V3视频教程（14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、Hadoop&Spark企业应用实战链接:http://pan.baidu.com
waysoflife·2015-01-24 23:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:  RDDiseverythingfordev:BasicConcepts:GraphRDD:SparkRuntime:schedule:DepencyType:SchedulerOptimizations：EventFlow:SubmitJob:NewJo
Stark_Summer·2015-01-16 15:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:RDDiseverythingfordev:BasicConcepts:GraphRDD:SparkRuntime:schedule:DepencyType:SchedulerOptimizations：EventFlow:SubmitJob:NewJobI
stark_summer·2015-01-16 15:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:  RDDiseverythingfordev:BasicConcepts:GraphRDD:SparkRuntime:schedule:DepencyType:SchedulerOptimizations：EventFlow:SubmitJob:NewJo
Stark_Summer·2015-01-16 15:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:RDDiseverythingfordev:BasicConcepts:GraphRDD:SparkRuntime:schedule:DepencyType:SchedulerOptimizations：EventFlow:SubmitJob:NewJobI
stark_summer·2015-01-16 15:00

hadoop2.X视频教程下载【共4套】

14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、吴超hadoop全套课程链接:http://pan.baidu.com/s/1c0xoCus密码:sa3j3、Hadoop
hadoop大哥大·2015-01-04 11:38
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他