Hadoop2

hadoop常见的面试题

一、hdfs上传和下载文件流程hdfs上传客户端向namenode发出请求建立通信获得存储文件块的datanode节点,然后客户端将文件按照块的大小进行分块(hadoop2.7.3开始由64MB变成128MB
有一束阳光叫温暖·2023-10-28 19:10

spark sql dataframe字符串类型的列拼接一个常量字符串的方法

spark示例数据：//spark-2.3.0-bin-hadoop2.7//examples//src//main//resources//people.json数据内容：{“name”:“Michael
tanhaidi·2023-10-27 15:48

SpringBoot 集成 HBase

一.导入依赖org.springframework.dataspring-data-hadoop2.5.0.RELEASEcom.sun.xml.bindjaxb-implorg.apache.hbasehbase-client1.3.2org.slf4jslf4j-log4j12org.mortbay.jettyservlet-api
羁客%·2023-10-27 07:16

学习笔记Hive（二）—— Hive安装配置

一、环境介绍环境描述4个Linux操作系统虚拟机使用centos7镜像配置安装java1.8以上版本安装Hadoop2.6.5以上版本安装MySQL5.1以上版本二、安装MySQL（这里我是CentOs7
别呀·2023-10-27 04:41

win10java配置环境变量msi_win10安装java+hadoop+spark

前言操作系统win10安装时间2018年12月java版本jdk1.8.0_191hadoop版本hadoop-2.8.5spark版本spark-2.3.1-bin-hadoop2.7Java安装方法一下载这时有两种
weixin_39797693·2023-10-26 20:18

win10 安装 spark 开发环境

D:\spark-2.3.0-bin-hadoop2.6。配置Path
天地不仁以万物为刍狗·2023-10-26 20:45

win10中安装spark并使用pyspark

安装环境安装JAVA推荐jdk1.8安装Anaconda官方individual版本安装spark下载spark推荐spark-3.1.2-bin-hadoop2.7版本移动并解压所下载的.tgz文件注意请保证路径中没有空格
Rachel钟老师·2023-10-26 20:11

【智能大数据分析】实验1 MapReduce实验：单词计数

实验1MapReduce实验：单词计数文章目录【智能大数据分析】实验1MapReduce实验：单词计数一、实验目的二、实验要求三、实验原理1MapReduce编程2JavaAPI解析四、实验步骤1启动Hadoop2
-北天-·2023-10-26 19:05

Hadoop+Zookeeper+Spark+Hbase集群式部署

1.2.6-bin.tar.gzjdk-8u161-linux-x64.tar.gzzookeeper-3.4.10.tar.gzsqoop-1.99.7.tar.gzspark-2.2.1-bin-hadoop2.7
Go ku·2023-10-26 01:17

hadoop集群搭建

HDFS3、Fully-DistributedMode（集群模式）集群部署，数据存储在HDFS一、安装JDK因为hadoop是Java语言开发的，所以依赖jdk环境，需要先安装jdkJDK安装教程二、安装hadoop2.1
有人看我吗·2023-10-25 16:51

day_01小笔记----本地运行Hadoop 案例、伪分布式运行Hadoop 案例

0、hadoop1.x和hadoop2.x区别Hadoop1.x的核心组件与Hadoop2.x核心组件不一样Hadoop1.x：hdfs、common、mapreduce（mapreduce同时处理业务逻辑运算和资源调度
web15285868498·2023-10-24 16:12

【hadoop——HDFS操作常用的Shell命令】

1.Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是Hadoop核心组件之一，我们已经安装好了Hadoop2.7.1，其中已经包含了HDFS组件，不需要另外安装最基本的
所 爱·2023-10-24 14:34

Flink（二）CentOS7.5搭建Flink1.6.1分布式集群

admin@node21software]$wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27
木鱼-·2023-10-24 12:40

Cloudera Hadoop 5& Hadoop高阶管理及调优课程(CDH5,Hadoop2.0,HA,安全,管理,调优)

1.课程环境本课程涉及的技术产品及相关版本：技术版本LinuxCentOS6.5Java1.7Hadoop2.02.6.0Hadoop1.01.2.1Zookeeper3.4.6CDHHadoop5.3.0Vmware10Hive0.13.1HBase0.98.6Impala2.1.0Oozie4.0.0Hue3.7.02
weixin_33856370·2023-10-24 08:00

【Hadoop】在云服务器上部署Hadoop2.7.1伪分布式集群

文章目录一、准备Hadoop压缩包并安装1、安装Hadoop（1）准备好hadoop压缩包（2）安装hadoop（3）查看是否安装成功2、将hadoop添加到环境变量（1）在文件末尾添加以下内容（2）保存文件，刷新配置二、伪分布式配置文件设置1、修改`hadoop-env.sh`2、修改`core-site.xml`3、修改`hdfs-site.xml`4、拷贝`mapred-site.xml.t
櫆溟·2023-10-24 04:47

在mac上进行hadoop集群搭建

一、环境说明软件版本环境&软件版本操作系统&macOs11.2.1虚拟机&VMwareFusion12.1服务器&CentOS7.8jdk1.8hadoop2.9.2集群规划框架linux01linux02linux03HDFSNameNode
大鱼1995·2023-10-24 01:40

mac搭建Hadoop环境流程

一、下载Hadoop源码这里有所有Hadoop历史版本，我搭建的是Hadoop2.9版本，下载完成后，放到本地合适的目录下二、Hadoop环境变量配置打开.bash_profile文件vim~/.bash_profile
isharpener·2023-10-24 01:33

Hadoop伪分布式搭建Linux版 超详细(喂饭教程 强烈推荐)

动手安装是最基础的实践，下面介绍一下伪分布式和完全分布式安装与配置、测试过程，推荐hadoop2.7.7.供有需要的参考。
Starry-sky(jing)·2023-10-23 23:44

Flink1.9编译

flink1.9源码gitclonehttps://github.com/apache/flink.git编译Flink针对不同Hadoop版本编译方法不一样，请根据自己的情况自行选择已预编译好的Hadoop版本Hadoop2.4.1
官先生Y·2023-10-23 17:09

Hadoop3教程（二十六）：（生产调优篇）NameNode核心参数配置与回收站的启用

在Hadoop2.x里，如何配置NameNode内存？NameNode默认内存2000M。如果你的服务器内存是4G，那一般可以把NN内存设置成3G，留1G给服
经年藏殊·2023-10-23 01:01

hadoop复习题

1.hadoop常用端口号hadoop2.xhadoop3.x访问hdfs端口500709870访问MR执行情况端口80888088历史服务器1988819888客户访问集群端口900080202.HDFS2.1hdfs
梧桐林.·2023-10-21 12:37

4-MapReduce+Spark(分布式计算框架)

04年发表论文MapReduce，之后DougCutting基于这篇论文通过Java做了开源实现，Mapredce如今是作为Hadoop的核心组件之一，而HDFS是Hadoop的另外一个核心，此外还有Hadoop2
小帅明3号·2023-10-21 01:00

hadoop2.6.4伪分布式环境搭建

1、准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1：修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=liuzuwei1.2修改IPvim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:3C:BF:E7
不积小流_无以成江海·2023-10-20 23:35

hive中操作hdfs命令

版本：Hadoop2.7.4–查看dfs帮助信息[root@hadp-mastersbin]#dfsUsage:dfs[genericoptions][-appendToFile…][-cat[-ignoreCrc
侠客刀·2023-10-20 17:48

Flink On Yarn 模式部署提交

FlinkOnYarn模式部署提交一、环境准备Ubuntuhadoop2.6.0（官网下载）Flink1.12.2jdk8二、Hadoop完全分布式-yarn配置永久关闭防火墙修改主机名vim/etc/
Anthons·2023-10-20 15:07

centos7 hadoop2.8.5 安装

一、下载地址https://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz二、前置条件1.安装jdk8需要安装好jdk8，安装方法参考centos7jdk8安装2.创建一个新用户a)添加用户useradd-mhadoop-s/bin/bashb)修改密码passwdhadoopc)分配用户组usermod-
O_vv_O·2023-10-20 02:18

FLink学习笔记：01-Flink集群搭建

k8s-node3192.168.0.52masterk8s-node5192.168.0.52slavek8s-node8192.168.0.52slave1、下载安装包下载对应scala版本的flink，1.14支持hadoop2
wangzhongyudie·2023-10-19 14:19

spark-shell启动失败

背景公司小组分配了三台虚拟机，在虚拟机上面意欲装hadoop集群及sparkonyarn版本Hadoop2.7.2spark2.3.2问题配置好hadoop集群与spark配置后，启动spark-shell
望山不是山·2023-10-19 08:20

解决hadoop启动后没有namenode节点问题（三）

/stop-all.sh删除文件夹（hadoop2.7.3/下）的tmp/文件夹里边所有的东西删除日志：删除logs文件夹下所有的东西：rm-rflogs/mkdirlogs重新格式化：bin/ha
web18484626332·2023-10-19 04:49

搭建伪分布式hadoop集群操作步骤

）配置hdsf（a）配置：hadoop-env.sh修改JAVA_HOME路径：exportJAVA_HOME=jdk的路径（b）配置：core-site.xmlfs.defaultFShdfs://hadoop201
一棵小小柏·2023-10-19 01:27

Linux搭建伪分布式Hadoop

1.利用Xshell把hadoop包放在opt目录下,切换到opt目录下进行查看2.创建hadoop260文件夹，解压Hadoop包到soft/hadoop260目录下3.切换到hadoop配置文件目录下进行配置
kyle01589·2023-10-19 01:20

CentOS 7下搭建伪分布式hadoop2.10.2

文章目录一、安装前提二、配置SSH免密登陆1.查看是否安装有ssh2.生成密钥文件3.拷贝密钥4.测试是否配置成功三、下载解压并配置环境变量1.切换至指定目录下(下列代码以本人常用路径为例)2.下载hadoop2.10.2
不当工具人·2023-10-19 01:20

Hadoop集群资源管理器-YARN

1.YARN简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。
shangjg3·2023-10-17 19:59

Hadoop-总览

Hadoop一、什么是hadoop1.什么是hadoop2.hadoop产生背景3.生态圈4.集群搭建：二、常见命令三、HDFS3.1HDFS构成3.2概述3.3NameNode工作机制3.3.1职责：
吃再多糖也不长胖·2023-10-17 05:39

大数据入门：Hadoop Yarn组件基础解析

在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。
成都加米谷大数据·2023-10-16 19:10

Spark-Submit参数设置说明

集群配置软件配置Hadoop2.6.0Spark2.2.0硬件配置三台服务器，32核64G500G总资源：32核64Gx3=48核192GYarn可分配总资源：48核60Gx3=144核180G默认情况下
我在北国不背锅·2023-10-16 06:33

hadoop组成

在hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源调度,耦合性较大;在hadoop2.x时代,新增了yarn,主要负责资源的调度,MapReduce仅负责运算;在hadoop3
jiedaodezhuti·2023-10-16 03:53

Windows下DataGrip连接Hive

DataGrip连接Hive1.启动Hadoop2.启动hiveserver2服务3.启动元数据服务4.启动DG1.启动Hadoop在控制台中输入start-all.cmd后，弹出下图4个终端（注意终端的名字
干干脆脆的小饼干6688·2023-10-15 00:04

hadoop 2.5 hdfs namenode –format 出错Usage: java NameNode [-backup] |

hadoop2.5hdfsnamenode–format出错Usage:javaNameNode[-backup]|在cd/home/hadoop/hadoop-2.5.2/bin下执行的.
wzg19690226wzg·2023-10-14 18:36

hadoop 2.5.2执行bin/hdfs namenode -format报错

按照hadoop2.5.2文档学习，在执行命令bin/hdfsnamenode-format时，老是报错：java.lang.NoClassDefFoundError:namecode到网上搜了很多解决方法
^-无涯-^·2023-10-14 18:01

Flink1.11.0 SQL与hive整合

flink1.11.0hive2.3.4hadoop2.7.2主要步骤主要是参考官方文档：https://ci.apache.org/projects/flink/flink-docs-release-
天涯到处跑·2023-10-14 17:58

大数据环境搭建-Hadoop伪分布式安装-spark安装-kafka安装

13591040.exeFileZilla_3.43.0_win64_sponsored-setup.exejdk1.8.0_171hadoop-2.7.3scala-2.12.1spark-2.3.0-bin-hadoop2.72
神秘人�·2023-10-14 17:47

flink进阶篇-03-Flink部署

flink-1.10.1-bin-scala_2.12.tgz三台linux机器linuxiphostnamecentos7192.168.1.100hadoop1centos7192.168.1.101hadoop2centos7192.168.1.102hadoop3
先锋成员5A·2023-10-14 17:42

07-flink环境搭建

StandaloneCluster环境下载部署包上传到Linux服务器上通过FTP工具上传；也可以将win安装Linux子系统；或者直接win上运行(没有测试过)解压安装包tar-zxvfflink-1.6.2-bin-hadoop27
蜗牛写java·2023-10-14 17:39

Yarn入门详解

Yarn入门详解一、Yarn概述Yarn是Hadoop2.0版本引入的集群资源管理系统，直接从MR1演化而来。
林_恩国·2023-10-14 16:28

大数据入门：Hadoop Yarn组件基础解析

在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。
加米谷大数据张老师·2023-10-14 16:26

基于CentOS7、Hadoop2.7.7搭建Spark2.4.7、Zookeeper3.6.3并开启spark高可用模式

一.概述1.spark的三种部署模式1.1SparkonYARNSparkonYarn模式就是将Spark应用程序跑在Yarn集群之上，通过Yarn资源调度将executor启动在container中，从而完成driver端分发给executor的各个任务。将Spark作业跑在Yarn上，首先需要启动Yarn集群，然后通过spark-shell或spark-submit的方式将作业提交到Yarn上
sirLateautumn·2023-10-13 15:56

第一章--hadoop2.1.0和hadoop2.2.0编译安装教程

由于现在hadoop2.0还处于beta版本，在apache官方网站上发布的beta版本中只有编译好的32bit可用，如果你直接下载安装在64bit的linux系统的机器上，运行会报一个INFOutil.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform
及时机芯·2023-10-13 04:43

sqoop安装教程

1、由于使用的是hadoop2.7，所以下载sqoop版本为：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2、将压缩包放入hadoop目录下，解压tar-zxvfsqoop
linjiajiam·2023-10-12 09:47

Windows下安装hadoop2.7.4

Windows下安装hadoop案例环境该压缩包是已经简化配置后的hadoop2.7.4下载地址文件分享(weiyun.com)安装步骤解压压缩包配置环境变量在系统变量中添加在path中添加拷贝hadoop2.7.4
小南知更鸟·2023-10-12 02:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他