hadoop2

Yarn入门详解

Yarn入门详解一、Yarn概述Yarn是Hadoop2.0版本引入的集群资源管理系统，直接从MR1演化而来。
林_恩国·2023-10-14 16:28

大数据入门：Hadoop Yarn组件基础解析

在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。
加米谷大数据张老师·2023-10-14 16:26

基于CentOS7、Hadoop2.7.7搭建Spark2.4.7、Zookeeper3.6.3并开启spark高可用模式

一.概述1.spark的三种部署模式1.1SparkonYARNSparkonYarn模式就是将Spark应用程序跑在Yarn集群之上，通过Yarn资源调度将executor启动在container中，从而完成driver端分发给executor的各个任务。将Spark作业跑在Yarn上，首先需要启动Yarn集群，然后通过spark-shell或spark-submit的方式将作业提交到Yarn上
sirLateautumn·2023-10-13 15:56

第一章--hadoop2.1.0和hadoop2.2.0编译安装教程

由于现在hadoop2.0还处于beta版本，在apache官方网站上发布的beta版本中只有编译好的32bit可用，如果你直接下载安装在64bit的linux系统的机器上，运行会报一个INFOutil.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform
及时机芯·2023-10-13 04:43

sqoop安装教程

1、由于使用的是hadoop2.7，所以下载sqoop版本为：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2、将压缩包放入hadoop目录下，解压tar-zxvfsqoop
linjiajiam·2023-10-12 09:47

Windows下安装hadoop2.7.4

Windows下安装hadoop案例环境该压缩包是已经简化配置后的hadoop2.7.4下载地址文件分享(weiyun.com)安装步骤解压压缩包配置环境变量在系统变量中添加在path中添加拷贝hadoop2.7.4
小南知更鸟·2023-10-12 02:07

Hive源码调试

文章目录1、概述2、安装Hadoop2.1下载及配置2.2配置环境变量2.3格式化namenode2.4启动hdoop3、编译Hive3.1编译3.2配置hive3.3初始化元数据库4、调试参考链接1、
0x3E6·2023-10-11 14:50

Yarn

Yarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。
秦时明月_16b7·2023-10-11 01:27

Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建

Hadoop大数据招聘网数据分析综合案例Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建Hadoop大数据综合案例2-HttpClient与Python招聘网数据采集Hadoop大数据综合案例
CDHong.it·2023-10-11 00:26

Hadoop2.0探讨

文章目录8.Hadoop再探讨8.1Hadoop的优化与发展8.2HDFS的FA和Federation(Hadoop2.0新特性)8.2.1HDFSHA8.2.2HDFSFederation8.3YARN8.3.1MapReduce1.0
几窗花鸢·2023-10-10 23:16

Hudi第三章：集成Flink

：集成SparkHudi第二章：集成Spark(二)Hudi第三章：集成Flink文章目录系列文章目录前言一、环境准备1.上传并解压2.修改配置文件3.拷贝jar包4.启动sql-client1.启动hadoop2
超哥--·2023-10-10 21:23

CentOS 6.5 搭建Hadoop 2.5.2集群

记录在64位CentOS6.5环境下搭建Hadoop2.5.2集群的步骤，同时遇到问题的解决办法，这些记录都仅供参考！
weixin_33892359·2023-10-10 16:11

hadoop2.5.2 安装部署

0x00平台环境OS:CentOS-6.5-x86_64JDK:jdk-8u111-linux-x64Hadoop:hadoop-2.6.50x01操作系统基本设置1.1网络配置1.1.1修改主机名//查看当前主机名#hostname//修改当前主机名#vim/etc/sysconfig/networkNETWORKING是否利用网络GATEWAY默认网关IPGATEWAYDEV默认网关的接口名H
weixin_33772645·2023-10-10 16:40

Hadoop2.5.2完全分布式搭建

该博客主要帮助实现Hadoop完全分布式环境的搭建：（已经安装好Ubuntu前提下,并且保证虚拟机可以相互ping同还有上网情况下）事先准备：jdk-7u51-linux-x64.tarhadoop-2.5.2第一大步骤：1创建root密码:sudopasswdroot2新增一个用户:sudoadduserhadoop3切换到rootsuroot执行给sudoers增加写权限：chmodu+w/e
原来简单·2023-10-10 16:39

大数据 hadoop2.5.2伪分布式搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.8.0子网掩码：255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP：192.16
持之以恒_fighting·2023-10-10 16:32

搭建Hadoop2.5.2环境

教程：http://blog.csdn.net/l1028386804/article/details/51536051部署期间遇到最主要的一个问题：hdfs-site.xml这个文件，不论怎么改都不生效。现象是：执行hadoopnamenode-format时，namenode的存放位置，是hadoop的默认路径；然后执行hadoopdfsadmin-report，提示java.net.Conn
licongdong·2023-10-10 16:01

Hadoop2.5.2 安装部署

0x00平台环境OS:CentOS-6.5-x86_64JDK:jdk-8u111-linux-x64Hadoop:hadoop-2.5.20x01操作系统基本设置1.1网络配置修改主机名//查看当前主机名#hostname//修改当前主机名vim/etc/sysconfig/networkNETWORKING是否利用网络GATEWAY默认网关IPGATEWAYDEV默认网关的接口名HOSTNAM
dengyu9760·2023-10-10 16:01

Hadoop2.5.2+Zookeeper3.4.6 + HBase0.98.8-hadoop2环境搭建

Hadoop集群Zookeeper集群1配置11zoocfg12分发到集群的其它机器13设置myid身份唯一标识14一些配置参数的解释2启动关闭3启动日志分析4测试验证5注意事项Hbase集群1配置11配置hbase-envsh12hbase-sitexml13regionservers14一些配置参数的解释15Hbase分发到集群的其它机器2启动关闭3测试4注意事项5遇到的问题1.Hadoop集
码上笔记·2023-10-10 16:30

hadoop学习笔记-搭建环境

跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下环境：centos5.11+jdk1.7+hadoop2.5.21
励志重写JDK·2023-10-10 16:30

MacBook Pro18 安装hadoop2.7.7版本和eclipse插件安装

1.安装工具Hadoop2.7.7。eclipse-Mac版2.在home下设置java和hadoop的环境路径即进入~/.bash_p
秃顶高富帅·2023-10-09 22:19

hadoop环境搭建———Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0【转载搬运】

最近开始学习大数据，想自己在虚拟机上搭建个伪分布，在网上也找了很多教程，踩了很多坑，最后发现了厦门大学大数据实验室林子雨老师的这个教程，按着步骤终于成功搭建，所以想分享一下，大家可以少踩一些坑，还有就是林子雨老师在慕课上的课程也都很有趣，在这里我也推荐有兴趣的可以去看看，以下均为转载内容，如有侵权，可以联系我删除。本Hadoop教程由厦门大学数据库实验室出品，转载请注明。本教程适合于在CentOS
JYeontu·2023-10-09 00:09

Hadoop(林子雨慕课课程)

文章目录2.Hadoop2.1Hadoop简介2.2Hadoop版本演变2.3Hadoop项目结构2.4Hadoop集群的部署和使用2.Hadoop2.1Hadoop简介Hadoop可以支持多种编程语言
几窗花鸢·2023-10-09 00:05

Spark完全分布式集群搭建

用户搭建集群(生产环境中root用户不是可以任意使用的)spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-hadoop2.7
piziyang12138·2023-10-08 20:20

Hadoop2.x安全：hadoop集群之kerberos认证(一、原理+安装配置)

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读一、为什么启用Kerberos安全认证大家都知道，Hadoop1.0.0或者CDH3版本以前，并没有安全认证的概念，用户与HDFS文件系统或者提交分布式任务（Mapreduce、Spark）都是不需
大数据开发运维架构·2023-10-08 15:16

Hadoop ----HDFS MapReduce

操作日志文件fsimage元数据文件SecondaryNameNode获取NameNode的数据延后将新的NameNode数据进行合并然后再次写入NameNode中DataNode负责数据的存储数据是按块存储的hadoop2
烟解愁、酒上头·2023-10-08 07:55

Hadoop之hdfs简介

Hadoop的hdfs简介hadoop2x三大核心：hdfs、yarn、mapreduce.hadoop四大模块：HadoopCommon:为其他Hadoop模块提供基础设施。
墙角的枫叶·2023-10-08 07:53

HDFS搭建及使用一《基础设施》

HDFS搭建及使用一《基础设施》环境：CentOS7Xjdk1.8Hadoop2.6.5第一部分：基础设施基础设施是架构搭建的基础，很多中间件架构都有着类似的操作，所以这些也很重要。
程崇越·2023-10-05 05:42

大数据面试题

第1章核心技术1.1Linux&Shell1.1.1Shell常用工具及写过的脚本1）awk、sed、cut、sort1.2Hadoop1.2.1Hadoop常用端口号hadoop2.xhadoop3.
_画一方禁地·2023-10-04 20:48

Hadoop2复安装过程详细步骤

1、在vmware中更改了虚拟机的网络类型，--->NAT方式，（虚拟交换机的ip可以从vmvare的edit-->vertualnetworkeditor看到）2、根据这个交换机（网关）的地址，来设置我们的客户端windows7的ip（Vmnet8这块网卡）3、启动linux主机,修改linux系统的ip地址（通过图形界面修改），修改完成之后在terminal（命令行终端）中切换到root用户执
小小哭包·2023-10-04 08:55

hadoop 小文件处理方案

hadoophdfs被设计用作海量数据存储，适合存储大文件，文件在hdfs中是以block的形式存储的，在hadoop1.x中，hdfsblock的默认大小为64m，而在hadoop2.x中，block
Ivan_030c·2023-10-03 23:49

hadoop2.4.1伪分布式搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP：192.16
小小哭包·2023-10-03 12:30

Hadoop2.x安全：Window下Kerberos客户端安装及浏览器配置

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读Hadoop集群启用Kerberos认证后，我们平时需要在Window通过界面查看集群的一些webUI,通常需要安装一个Window的Kerberos客户端。1.Kerberos官网下载地址：htt
大数据开发运维架构·2023-10-02 16:05

mac docker部署hadoop集群

dockerdocker安装过程可自行查找资料，mac下docker可以使用brew命令安装安装之后，查看docker版本，确认安装成功docker-v2.下载jdk最好下载jdk-8，jdk的版本过高可能hadoop2
几窗花鸢·2023-09-29 12:20

历史服务器

二、配置历史服务器在spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf添加以下配置，其中d:/log/spark为日志保存位置spark.eventLog.enabledtruespark.eventLog.dirfile
qq_40135006·2023-09-29 06:14

在虚拟机中搭建高可用集群，超详解，保姆级教学

/hadoop260/etc/hadoop开始配置xml和jdk环境变量首先修改下面三个里面的Java变量[root@gree
大数据与云计算开发者Cd·2023-09-28 17:33

云计算 第五章 Hadoop 2.0 主流开源云架构

文章目录5.1引例5.1.1问题概述5.1.2常规解决方案5.1.3分布式下的解决方案1.分布式存储冗余存储与冗余计算5.1.4小结img5.2Hadoop2.0简述5.2.1Hadoop2.0由来5.2.2Hadoop2.0
是我，Zack·2023-09-27 07:23

Hadoop期末试题复习题

A、Hadoop3.xB、Hadoop2.xC、Hadoop4.xD、Hadoop1.x正确答案：A大数据的4V特征是指?
-Kcaco·2023-09-27 07:20

【大数据存储与处理】1. hadoop单机伪分布安装和集群安装

0.写在前面0.1软件版本hadoop2.10.2ubuntu20.04openjdk-8-jdk0.2hadoop介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
唐生一·2023-09-27 02:59

Cloudera Hadoop 分层存储实战

HDFS分层存储why为何要使用分层存储(充分利用资源,降低成本)http://developer.51cto.com/art/201504/470660.htmHDFS从Hadoop2.3开始支持分层存储
shaopi0211·2023-09-27 01:25

Python大数据之PySpark(一)SparkBase

LocalSparkBase环境基础Spark学习方法：不断重复，28原则(使用80%时间完成20%重要内容)Spark框架概述Spark风雨十年s2012年Hadoop1.x出现，里程碑意义2013年Hadoop2
Maynor996·2023-09-26 14:42

Hadoop集群大数据解决方案之搭建Hadoop3.X+HA模式

  whyhadoop2.X？IBM上有篇论文讲的够详细了：文章链接。  
脆弱的天炎·2023-09-26 01:02

大数据开发轻量级入门方案

那个时候大部分企业用的还是1.X版本的hadoop，正逐渐的升级到hadoop2.X。当时可以很容易的转型，一大部分原因是大数据的技术还没有普及，需要学的框
小萝卜算子·2023-09-25 14:36

Hadoop 2.6.0的Web UI无法看到应用执行的历史信息

环境Hadoop2.6.0Java1.8.0_151Ubuntu16.04解决方案开始在配置Hadoop时，由于是按照官网配置的非常简洁版的伪分布式版本，缺少了某些选项，才会造成这个问题。
AlstonWilliams·2023-09-25 12:35

Linux每次登录用户会提示未找到的命令

[root@hadoop203~]#su-hadoopLastlogin:ThuDec3014:15:12CST2021onpts/0-bash:hadoop:commandnotfound登录hadoop
万事于足下·2023-09-23 18:40

hive连接Presto

配置HiveConnectoretc/catalog/hive.propertiesconnector.name=hive-hadoop2hive.metastore.uri=thrift://:9083hive.config.resources
大数据开发工程师-宋权·2023-09-21 09:52

【Linux基础】第29讲 Linux用户和用户组权限控制命令（一）

1useradd添加新用户（注意：当前用户必须有添加用户的权限）1）基本语法useradd用户名（功能描述：添加新用户）2）案例root@sue-virtual-machine:/usr/local#useraddhadoop2passwd
月光水岸New·2023-09-21 08:25

sqoop1.4.7和hadoop的兼容性，sqoop的安装和使用

sqoop1.4.7兼容hadoop2.6以上所有版本1下载并解压1）下载地址：http://mirrors.hust.edu.cn/apache/sqoop2）上传安装包sqoop-1.4.7.bin
Cynicism_Kevin·2023-09-21 05:43

Windows下Pycharm的Spark、Hadoop、Scala安装及常见报错（graphframes避坑、jupyter的文件位置更换、conda环境建立）

sbt包安装1、安装py4j2、安装pyspark接下来是新建python项目1、项目配置2、使用graphframes库项目环境jdk1.8.0_333python3.7.13scala2.11.8hadoop2.7.1spark2.4.3
soberld·2023-09-21 02:21

Mac pycharm 导入pyspark

转载于：点击打开链接1前提：已经安装了pycharm，下载了spark（官网下载，我下的是spark-2.1.1-bin-hadoop2.7.tgz，解压缩后为文件夹spark-2.1.1-bin-hadoop2.7
大师兄你家猴跑啦·2023-09-21 02:51

Hadoop的YARN高可用

一、YARN简介Hadoop2.0即第二代Hadoop，由分布式存储系统HDFS、并行计算框架MapReduce和分布式资源管理系统YARN三个系统组成，其中YARN是一个资源管理系统，负责集群资源管理和调度
万里长江横渡·2023-09-19 20:23
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他