2.Hadoop

MapReduce的Combine操作&shuffle控制&sort控制

2.Hadoop性能很大程度受限于网络带宽，map函数输出的中间结果都是通过网络传递给reduce函数的，所以提高中间结果数据量就可以提高程序运行效率。
碣石观海·2020-08-23 00:41

大数据基础学习笔记-2.hadoop单机安装

推荐正式安装前，先去看看《安装大数据前的准备工作》里的文章1.服务器配置47.107.182.164,120.78.181.181两台服务器都是1核2G内存(推荐使用正式环境学习，安装CDH)2.服务器安装的服务HA（高可用，有主备策略等）（1）47.107.182.1641、HDFS服务（非HA）NameNodeDataNode2、yarn服务（非HA）NodeManager3、zookeepe
小马的学习笔记·2020-08-21 17:22

Hadoop 2.0 HA安装时碰到的问题

bin下启动，后来从/opt/home/freeware/zookeeper-3.4.5-cdh4.2.1目录下启动成功怀疑还是zookeeper的conf文件设置或者zk_ENV.sh里面的设置有问题2.
sanms·2020-08-21 05:19

HDFS的API简单操作源码

1.基础环境搭建与要求1.Hadoop连接HDFS进行API操作2.hadoop集群已启动完全分布式3.有手就行2.代码1.创建文件：packagetest1_javaApi;importjava.io.IOException
无发可脱丶·2020-08-20 05:10

hadoop的伪分布安装步骤

２.hadoop的伪分布安装步骤使用root用户登陆２.１设置静态ｉｐ在ｃｅｎｔｏｓ桌面右上角的图标上，右键修改。
jiabiao1602·2020-08-19 10:46

HADOOP和spark的关系？ spark能否替代Hadoop？？？

2.Hadoop主要包括哪些重要组件？HDF
_missTu_·2020-08-19 07:48

2018-05-17 Morning Study — Day012

1.hadoop的广义和狭义的理解2.hadoop三大组件是什么?分别是做什么?3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系，那么你们会配置吗?
LY_babc·2020-08-19 06:43

1.2 Hadoop快速入门

2.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理；“处理”什么问题？海量
懒笑翻·2020-08-19 00:14

Hive：数据查询（10.压缩和存储）

文章目录1.Hadoop添加支持Snappy压缩1.1查看1.2jar包准备1.3jar包安装1.4编译源码2.Hadoop压缩配置2.1MR支持的压缩编码2.2压缩参数配置3.开启Map输出阶段压缩4
卖女孩的小火柴Jaffe·2020-08-18 12:41

hadoop：认识hadoop、安装hadoop、伪分布hdfs

hadoop1.hadoop简介2.hadoop安装3.单节点hadoop配置，做一个伪分布式hdfs4.完全分布式的hdfs4.1节点的热添加(不关闭dfs基础上添加节点)4.2mapreduce(作用运行程序
weixin_43384009·2020-08-18 05:39

hadoop+Zookeeper（平台部署、hdfs工作原理、yarn调度器、高可用）

文章目录1.设置单节点群集1.1安装软件及设置1.2独立运行1.3伪分布式操作2.Hadoop集群设置2.1完全分布式2.2在线添加新节点2.3Yarn资源管理器2.4MRAppMaster上MapReduce
Aimee_c·2020-08-17 19:20

Linux搭建Hadoop开发环境

Linux搭建Hadoop开发环境2.Hadoop环境搭建安装配置：[1].官网下载Hadoop-2.7.5安装包：hadoop-2.7.5.tar.gz[2].把Hadoop-2.7.5安装包利用Xftp5
marklin·2020-08-17 15:33

ubuntu下hadoop+eclipse开发环境的搭建

我们需要准备一下文件：1.eclipse下载地址是：http://www.eclipse.org/downloads/2.Hadoop的Eclipse插件（版本为2.7.2对应hadoop版本2.7）：
maintain001·2020-08-16 05:25

Hadoop生态圈完全分布式集群环境搭建

一：事前准备工作：1.最少4台服务器，当然也可以为虚拟机2.hadoop、hbase、spark、jdk、zookeeper的安装包（需要版本都是相互兼容的，这个可以从官网看到）3.系统为centos7
贝特爱·2020-08-15 07:41

搭建Hadoop之部署前准备（一）

文章目录1.Hadoop部署的基本知识1.单节点模式2.伪分布式集群模式3.多节点集群模式2.hadoop前准备软件包以及提取码软件说明虚拟机内操作系统安装CentOS7安装配置供参考┗|｀O′|┛架构分布
周偏偏偏·2020-08-13 12:23

Hadoop集群的搭建

Hadoop是什么1）Hadoop是一个由Apache基金会所开发分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈2.
williamccc·2020-08-11 02:36

Hadoop本地运行模式

目录2.Hadoop本地运行模式2.1官方Grep案例2.1.1在hadoop-2.9.2文件夹下创建一个input文件夹2.1.2将Hadoop的xml配置文件复制到input2.1.3执行share
辞树 LingTree·2020-08-10 17:23

校招准备-大数据工具

hadoop系列hbase,pig,yarn,HDFS流计算学习学习计划3:ETL相关知识学习未完待续-------------------------spark学习计划:各种零散的点1.scala学习2.
weixin_30888413·2020-08-10 07:18

Hadoop中的压缩和解压缩

2.hadoop当中的压缩和解压1.hadoop当中哪些过程需要用到压缩和解压？
legendlee110·2020-08-08 19:12

github上排名靠前的java项目之_storm

1.和hadoop的比较Storm：分布式实时计算，强调实时性，常用于实时性要求较高的地方Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析2.Hadoop是实现了mapreduce的思想
weixin_33862514·2020-08-07 09:11

hadoop的集群搭建学习笔记

一、准备资料1.jdk（1.8）2.hadoop(2.6.5)3.centos6.5镜像二、安装配置1.安装好虚拟机2.配置网络网络的设置共有三种网络：桥接网络only模式nat模式，建议采用第三种3.
zhz1605·2020-08-04 22:22

Java/Web调用Hadoop进行MapReduce

blog.csdn.net/csj941227/article/details/71786040出现的问题1.springforhadoop是为hadoop开发弄的框架，跟springforweb和hadoop集成没关系2.
xerjava·2020-08-03 08:34

大数据面试简答题 (一) - hadoop

2.hadoop的组成部分3.HDFS副本存放机制4.Namenode作用5.DataNode作用6.什么是机架感知？7.什么时候会用到机架感知？8.HDFS数据写入流程？
红尘丶世界·2020-08-01 12:34

大数据集群环境配置

目录大数据环境环境准备MySQL的安装部署1.查看系统自带的mysql的rpm包2.mysql数据库的安装Hadoop的安装部署1.hadoop下载地址2.hadoop安装部署Yarn的安装部署1.1Configureparametersasfollows1.2StartResourceManagerdaemonandNodeManagerdaemon1.3
Nice_N·2020-07-31 23:37

面试小结（软通动力-驻平安数据开发）

面试小结（软通动力-驻平安数据开发）主要考察知识面：Hadoop、Hive、MySQL1.绘制一个项目框架2.Hadoop组件3.Hive动态分区4.UDF使用过程（导包/classpath/自定义函数方法
Nube就是云·2020-07-31 14:39

MapReduce简介，功能，运行原理，job的提交过程，简单的MapReduce程序求最高气温

2.hadoop分布式计算框架。官方定义：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
不会水的鱼i·2020-07-30 18:06

hadoop(---mr---yarn)---知识点总结

目录一、定义1.大数据时代1）、三次信息化浪潮时间点以及形式2）、人类社会数据产生方式经历阶段3）、大数据的特点4）、大数据的精髓2.hadoop简介1）、hadoop是什么，能干什么2）、hadoop
MengShi_·2020-07-30 14:39

Hadoop平台学习过程的一些总结

2.hadoop执行mapreduce的有几种方式一、原生态的方式：java源码编译打包成jar包后，由hadoop脚本调度执行二、基于MR的数据流LikeSQL脚本开发语言：pig三、构建数据仓库的类
bingdongguke1·2020-07-29 17:02

Hadoop的三种模式（单机模式，伪分布式，完全分布式）以及集群的搭建

基本概念：1.Hadoop是一个分布式文件系统的基础架构，用户可以利用集群进行高速运算和存储2.Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS
就叫玉生烟·2020-07-28 09:46

Hadoop各组件原理汇总（附练习）

2.Hadoop配置：3.HadoopShell命令4.HDFS概述5.HadoopAPI6.官方文档查漏补缺NameNode和DataNodes副本安置副本选择文件系统元数据的持久性稳健性7.MapReduce7.1MapReduce
eRRRchou·2020-07-27 21:39

Windows下搭建本地hadoop开发环境（单机版），Are you Get?

一、下载必备安装包1.JDK下载地址：点击打开链接2.Hadoop下载地址：点击打开链接3.Windows下安装Hadoop工具下载地址:点击打开链接密码：yk9u二、Hadoop环境配置下载Hadoop
进击的赶海人·2020-07-27 11:14

最新版spark-2.2.0安装教程

1.jdk的安装；（java1.8）2.hadoop安装；(hadoop2.7.2)3.scala安装；(scala2.11.8)4.spark安装。
gavenyeah·2020-07-15 11:50

Hadoop作业性能指标及參数调优实例 （三）Hadoop作业性能參数调优方法

（一）eBayEagle作业性能分析器1.Hadoop作业性能异常指标2.Hadoop作业性能调优7个建议（二）其他參数调优方法二、Hadoop集群报告异常。发现个别作业导致集群事故。
weixin_33860147·2020-07-15 04:50

在centOS7 下搭建 HADOOP3.0.3 完全分布式集群环境

2.Hadoop需要通过SSH来启动salve列表中各台主机的守护进程
大幅度sfwerew·2020-07-14 23:19

hadoop自学日记--2.hadoop集群环境搭建

hadoop自学日记–2.hadoop集群环境搭建搭建环境本人使用简单的windows7笔记本，使用VirtualBox创建Centos虚拟机来安装HadoopVirtualBox：6.0.8r130520
aladdin_sun·2020-07-14 23:14

Hadoop集群搭建及wordcount测试

2.hadoop分布式模式配置本文
czliuming·2020-07-14 09:03

Hadoop平台学习过程的一些总结

2.hadoop执行mapreduce的有几种方式一、原生态的方式：java源码编译打包成jar包后，由hadoop脚本调度执行二、基于MR的数据流LikeSQL脚本开发语言：pig三、构建数据仓库的类
风的王子·2020-07-14 08:07

hadoop的介绍以及发展历史

文章目录1.Hadoop的介绍2.Hadoop是什么？
将来嘚将来·2020-07-14 04:54

HBase的下载安装官方案例

https://blog.csdn.net/wx1528159409目录一、安装准备环境二、HBase安装1.Zookeeper正常部署，群起现有的Zookeeper集群（用脚本启更快）2.Hadoop
攻城狮Kevin·2020-07-12 16:34

2018-06-22 Morning Study — Day035

1.hadoop的褒义狭义狭义指hadoop，广义指hadoop生态圈2.hadoop三大组件，分别做什么?
LY_babc·2020-07-11 18:54

hdfs学习笔记

Hadoop总结一、hadoop概述1.谷歌的三篇论文：《bigtable》《GFS》《Mapreduce》2.hadoop是一个分布式存储和分析计算框架3.hadoop组成部分：1）hadoopcommon2
孙拾柒·2020-07-08 00:13

Hadoop框架介绍

2.Hadoop发展历史：1）Lucene是DougCutting开创的开源软件，java编写，实现与Google类似的全文搜索功能；2）Lucene2001年底成为Apache基金会的一个子项目；3）
桎梏我·2020-07-06 12:03

Hadoop生态圈

2.hadoop历史版本hadoop1.xHDFS:负责大数据的存储Common:HDFS和MR共有的常用的工具包模块！MapReduce:负责计算，负责计算资源的申请的调度！
孙晨c·2020-07-04 20:00

手撕项目-Flink电商实时分析四

目录1.前端服务2.hadoop环境搭建3.总结1.前端服务构建前端服务DsViewservice，创建项目，添加对应的maven依赖测试前端服务连redis服务引入mavenorg.springframework.bootspring-boot-starter-data-redis2.2.6
坏男坏男·2020-07-02 03:29

Hadoop数据收集与入库系统Flume与Sqoop

Hadoop数据收集与入库系统Flume与Sqoop背景知识·简单介绍·1.Hadoop提供了一个中央化的存储系统有利于进行集中式的数据分析与数据共享2.Hadoop对存储格式没有要求用户访问日志；产品信息
架构师小秘圈·2020-07-02 00:42

hadoop - hadoop2.6 分布式 - 集群环境搭建 - Hadoop 2.6 分布式 配置，初始化，启动过程

2.Hadoop配置2.1etc/hadoop目录下先进入该目录下：root@note1:~/hadoop-2.6/etc/hadoop#（1）ha
LABLENET·2020-07-01 10:49

2. Hadoop框架引出大数据生态

2.Hadoop发展历史3.Hadoop三大发行版本ApacheHadoopClouderaHadoopHortonworksHadoop4.Hadoop的优势（4高）5.Hadoop组成(期末考试内容
喵先生呢·2020-07-01 06:28

hadoop的介绍以及发展历史

文章目录1.Hadoop的介绍2.Hadoop是什么？
不喜欢番茄的西红柿·2020-07-01 05:08

hadoop学习笔记之-hbase完全分布模式安装

安装环境：OS:Oraclelinux5.6JDK:jdk1.6.0_18Hadoop:hadoop-0.20.2Hbase:hbase-0.90.5安装准备：1.Jdk环境已安装：版本为1.6以上2.
iteye_4537·2020-07-01 02:37

hadoop中压缩与解压详解

2.hadoop中的压缩、解压格式有哪些？3.有什么优缺点？4.应用场景有哪些？5.如何使用？6.LzoCodec和LzopCodec区别7.Hive中的使用大家可以带着上述几个问题来进行学习、思考。
爆发的~小宇宙·2020-06-30 09:38
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他