Hadoop2 第16页

[ hadoop ] 集群性能调优全面总结

计算,故障排除等多个方面的具体调优内容,先后解决HDFS,MapReduce,Yarn的常见问题,最终结合小文件问题给出了Hadoop综合调优.1HDFS调优1.1核心参数1.1.1NameNode内存Hadoop2

bone_ds·2022-03-19 22:34

big data 入门

bigdata参考厦门大学-林子雨-大数据技术原理与应用（第2版）Hadoop1.0Hadoop2.0HDFS2.0的新特性HDFSHAHDFSFederationYARN新一代资源调度管理框架（未完成

mo明奇妙·2022-03-18 18:36

Apache Kyuubi调研

1.QuickStart1.1下载安装启动下载：https://github.com/NetEase/kyuubi/releasestarzxvfkyuubi-1.2.0-bin-spark-3.0-hadoop2.7

静哥哥~·2022-03-18 05:57

pycharm 远程连接运行pyspark

username将linux中spark下的pyspark复制到python中由于是spark2.0因此只支持python3.5以下cp-r/home/software/spark-2.0.1-bin-hadoop2.7

晚点吧·2022-03-18 05:24

window安装python3后怎么用pyspark_Windows上的PyCharm 远程连接调试pyspark

1.设置环境变量在Linux中/usr/local/spark/spark-2.2.0-bin-hadoop2.7/python/l

胡老师聊自考·2022-03-18 05:20

zookeeper启动时报错：Starting zookeeper ... FAILED TO START

安装zookeeper时，启动集群报错Startingzookeeper...FAILEDTOSTART，查看日志，详细错误如下：解决办法如下：删除如下两个目录中的version-2目录[ray@hadoop203zookeeper

colin.peng·2022-03-18 04:38

大数据的框架及基础认识

MySQL：SQLLinux：大数据技术框架都是部署在Linux系统上需要学习什么第一方面：大数据离线分析Hadoop2.x(Common、HDFS、MapReduce、Yarn)：存储、分析环境搭建处理数据思想

leson-xu·2022-02-28 11:41

Hadoop2.7.6_04_HDFS的Shell操作与常见问题

1.HDFS的shell操作1.1.支持的命令及参数1[yun@mini05zhangliang]$hadoopfs2Usage:hadoopfs[genericoptions]3[-appendToFile...]4[-cat[-ignoreCrc]...]5[-checksum...]6[-chgrp[-R]GROUPPATH...]7[-chmod[-R]PATH...]8[-chown[-

weixin_30514745·2022-02-28 10:31

在CentOS7上实现Hadoop2.7.3完全分布式的安装部署（小白版）

这篇博客，从小小白的角度出发，来讲解如何在CentOS7中，来部署安装三个节点（一主两从）的完全分布的Hadoop2.7.3。

沉眠流年的麦子·2022-02-28 10:30

Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)-张勇-专题视频课程

Hadoop2.x初级入门到精通(全面深入的Hadoop实战教程)—756人已学习课程介绍以ApacheHadoop2.5.0为准，进行深入浅出的讲解各个模块的功能、架构、使用，主要四个方面内容：模块一

sundaytian·2022-02-28 10:27

大数据之hbase环境搭建笔记

1.环境选择操作系统：centos7.2hadoop2.7.6jdk1.8_144zookeeper3.4.13hbase1.3.12.搭建过程gedit/etc/profileexportHBASE_HOME

结巴分词·2022-02-28 10:59

9、大数据框架HBase搭建

文章目录大数据框架HBase搭建```准备工作```1、启动hadoop2、启动zookeeper```搭建hbase```1、上传解压配置环境变量2、修改hbase-env.sh文件3、修改hbase-site.xml

liangzai2048·2022-02-28 10:46

Docker-搭建HA版的Hadoop集群

HA：HighAvailable，高可用，在Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF：ASinglePointofFailure)。

君去不知何时归·2022-02-21 21:20

资源管理系统模块yarn

前言yarn是hadoop集群当中的资源管理系统模块，从hadoop2.x开始引入yarn来进行管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及运行在yarn上面的各种任务

康俊1024·2022-02-21 17:08

CENTOS 8 安装HADOOP

本教程基于原生Hadoop2，在Hadoop2.8.5版本下验证通过，可适合任何Hadoop2.x.y版本，例如Hadoop2.7.1,Hadoop2.4.1等。

佑___·2022-02-21 09:52

司小幽·2022-02-21 07:43

Hadoop权威指南读书笔记(2) — Yarn简介及Capacity & Fair Scheduler

Yarn简介Yarn(YetAnotherResourceNegotiator)是hadoop2中引入的一个集群资源管理系统。

多彩海洋·2022-02-21 02:15

sqoop2 配置

1.99.7,官网grammar_cjkRuby:true1Serverinstallationsqoop2官网下载2解压到/usr/tools文件夹下tar-zxvfsqoop-1.99.7-bin-hadoop200

天堂宝宝_V·2022-02-20 05:08

Mac搭建Hadoop2.7.3

看了很多文档搭建、期间遇到很多坑。因此记录下来，希望对入门的小伙伴有所帮助：百度云分享地址：链接:https://pan.baidu.com/s/1atKlT_5muVeEIJMd0lPUyg密码:5y3a因为懒...所以没在上用makedown写，可以看我写的文档里的注意事项，然后访问参考链接进行部署。搭建过程中务必仔细，因为有可能一个小小的失误会导致部署失败，排查过程会很烧脑...（亲身体验！

番茄ozz·2022-02-18 16:35

Apache Spark之文件读写

1.文件系统的数据读写1.1本地文件系统的数据读写在本机上的/usr/local/spark/spark-2.2.0-bin-hadoop2.7/examples/src/main/resources目录下新建一个

Michaelhbjian·2022-02-18 07:55

Yarn与Mesos

Yarn是Hadoop2的产物。提到这个问题就不得不说下Hadoop1与Hadoop2的差别。

YG_9013·2022-02-17 15:55

黑猴子的家：sample 随机抽样

1、Codevalsamplerdd=sc.makeRDD(Array("spark1","spark2","spark3","spark4","spark5","hadoop1","hadoop2",

黑猴子的家·2022-02-15 19:08

部署专题集合

部署专题规划.png基础环境CentOS7集群配置Tomcatsession共享配置Tomcat-页面访问时新Jsp未生效Tomcat8日志配置大数据方向Hadoop2.7.1搭建Hive1.2.1搭建

灼灼2015·2022-02-15 12:56

创建hadoop用户

1.创建用户useraddhadoop2.添加密码passwd3.为hadoop增加管理员权限：vi/etc/sudoers在rootALL=（ALL）ALL下面添加hadoopALL=（ALL）ALL

开宝马的光头·2022-02-15 07:02

[手工]用docker搭建hadoop分布式集群

xu470438000的专栏-CSDN博客http://blog.csdn.net/xu470438000/article/details/50512442//2：启动三个容器，分别作为hadoop0hadoop1hadoop2

葡萄喃喃呓语·2022-02-11 18:17

Hadoop集群+Spark集群搭建（一篇文章就够了）

ubuntu16.04版本一、准备1.1软件版本Ubuntu16.04.6(ubuntu-16.04.6-server-amd64.iso)JDK1.8(jdk-8u201-linux-x64.tar.gz)Hadoop2.7.7

非法小恋·2022-02-11 14:22

大数据人工智能技术全攻略

文章目录大数据介绍人工智能介绍机器学习算法介绍深度学习算法大数据和人工智能的关系和区别大数据部门下分几个小部门或组几个组分工合作关系大数据部门都有哪些职位岗位技能与职责各个职位之间的协作配合关系各个职位对应的职业生涯规划和发展路线总结大数据介绍1、一般说到大数据，自然会提到Hadoop2

充电了么·2022-02-10 02:30

完整集群搭建，hadoop,spark,zookeeper,kafka,redis等，修改hadoop默认日志级别。

环境变量配置在根目录下新建一个soft文件夹以下为安装包，全部放到该文件夹下，解压，并软连接0jdk-8u191-linux-x64.tar1hadoop-2.7.2.tar2spark-2.3.1-bin-hadoop2.73scala

捡书zzz·2022-02-10 01:14

No FileSystem for scheme: hdfs

最近几个项目模块要从hadoop1升级到hadoop2，不过在修改的过程中出现了一些问题，其中一个问题就是在使用FileSystemfs=FileSystem.get(conf);调用hdfs时报错，具体报错信息如下

yhao浩·2022-02-09 16:44

Wrong FS: hdfs:, expected:file:///

这是在对hdfs进行写入操作时发现的错误，最终解决了，给大家分享一下，希望对遇到同样问题的朋友有所帮助，我使用的是hadoop2.6.0版本。

yxdydSky·2022-02-09 16:13

启动Spark报Caused by: java.net.UnknownHostException: iotsparkmaster: unknown error

Hostnamelookupfailurestartingorg.apache.spark.deploy.master.Master,loggingto/usr/iotspark/spark/spark-2.3.0-bin-hadoop2.7

SunnyMore·2022-02-09 07:12

spark-submit解读

CDH5.7.2讨论当执行spark-submit时，会产出如下操作：1、设置HADOOP_HOME=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hadoop2

凡尔Issac·2022-02-08 22:56

docker-Hadoop全家桶 - hadoop283

[TOC]hadoop283.dockerfile#hadoop283-jdk.dockerfileFROMxiaows/debian8-jdk8-ssh:3.0#MAINTAINERXIAOWSWORKDIR

XIAO_WS·2022-02-07 18:20

Hadoop 2.7.6配置手册

苦练再苦练经过女生看不见·2022-02-03 15:01

【教程】手把手教你如何搭建Hadoop单机伪集群

环境准备Linuxcentos7（虚拟机）JDK1.8Hadoop2.5+JDK系统环境配置首先检查系统是否安装JDK，如果安装，确保系统安装JDK版本在1.8+且不是OpenJDK，否则后续安装Hadoop

·2022-01-10 13:32

Hadoop2.7.3环境搭建之伪分布式

目录实验环境实验目录准备工作安装步骤jdk安装安装hadoop伪分布式配置实验环境Windows10+Centos7+Linux+Mobaxterm实验目录准备工作实验步骤准备工作jdk-8u171-linux-x64.tar.gz和hadoop-2.7.3.tar.gz安装步骤jdk安装在根目录下创建tools目录和training目录，执行：mkdirtoolsmkdirtraining将jd

Acolasiajialifen·2021-12-06 17:53

通过Map/Reduce将HDFS数据写入ES，ES数据写入HDFS

环境准备系统centos7java1.8hadoop2.7ES7.15.2（ES单机版本安装可以参考：https://blog.csdn.net/weixin_36340771/article/details

过悟·2021-12-01 10:26

浅析Hadoop完全分布式集群搭建问题

目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x三、Hadoop集群搭建所需工具（链接如下，自行下载）四、Hadoop集群配置前期准备五、Hadoop运行环境搭建六

·2021-11-30 17:18

Linux下Hadoop 2.7.3 安装搭建过程

LinuxHadoop2.7.3安装搭建Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。

·2021-11-30 14:37

Linux下Hbase安装配置教程

(可选)配置hbase-site.xml5.启动HbasePhoenix安装和配置1.Hbase安装包下载2.安装3.配置4.运行Linux下Hbase安装配置首先要安装HadoopLinuxHadoop2.7.3

·2021-11-30 14:36

Hadoop 入门笔记—核心组件 YARN

作者：幻好来源：恒生LIGHT云社区基本概述ApacheYARN(YetAnotherResourceNegotiator)是Hadoop中的资源管理和作业调度系统，在Hadoop2.x时才被引入。

·2021-11-22 09:35

hadoop安装及配置【三台】

1.下载需要的hadoop版本--->单击这里下载hadoop2.上传hadoop-2.7.5到master机器节点的目录~/bigdata下(可以用FileZilla等ftp工具上传)需要预先在master

destinyLee·2021-11-17 08:28

Spark的安装及其配置

1.Spark下载https://archive.apache.org/dist/spark/2.上传解压，配置环境变量配置bin目录解压：tar-zxvfspark-2.4.5-bin-hadoop2.7

lmandcc·2021-11-08 21:00

Hadoop：为什么集群默认块大小是128MB

128MB，突然联想到在HDFS中的块大小也是128MBblock块大小的设置:HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在Hadoop2

小赵呢·2021-10-30 16:48

Hadoop生产调优手册

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode

song_quan_·2021-10-27 11:15

【大数据】☀️搞定Hadoop集群☀️概述&环境配置

目录一、什么是Hadoop框架：二、Hadoop三大发行版：1.ApacheHadoop2.ClouderaHadoop3.HortonworksHadoop三、Hadoop的优势：四、Hadoop组成

故里º·2021-10-24 09:00

【填坑之旅-hadoop】centos7安装hadoop2.10.1 hive 1.2.2 / hdfs 文件上传写入流程 / MapReduce Yarn 流程/zookeeper/hive

hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示第二天hdfs的原理和使用操作、编程第三天mapreduce的原理和编程第四天常见mr算法实现和shuffle的机制第五天hadoop2

alwarse·2021-10-22 11:24

搭建Hadoop2.7.2和Hive2.3.3以及Spark3.1.2

Hadoop简介Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。Hive简介ApacheHive是一个构建于Hadoop顶层的数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供简

·2021-10-20 10:42

基于Centos7的Hadoop2.7应用一

一：JDK1.8的安装(三台主机都执行)1：下载好jdk1.8的安装包，并解压到到一个目录（本人命名为/opt/module/）2：切换root用户，在/ect/profile.d/下面创建一个xxx.sh文件（本人设定为my_env.ssh）,该文件可以用于存放自己配置的环境变量3：切记，最后一定要执行source/etc/profile命令二：Hadoop的安装说明：主机如下hadoop112

天才少年137·2021-10-11 12:32

详细讲解HDFS的高可用机制

目录互斥机制写流程读流程恢复流程在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态

·2021-08-23 18:58

推荐频道

Hadoop2