Hadoop集群第48页

【Hadoop集群搭建】Hadoop运行模式——本地模式（附Hadoop目录结构了解）

上一篇是【Hadoop集群搭建】Hadoop运行环境配置——虚拟机准备（CentOS8）首先来了解一下Hadoop的目录结构。马赛克涂掉的是我之后产生的文件,剩下的是一个原本的干干净净的目录。

烧火棍势力登场·2020-07-15 08:20

Hadoop 源码编译（CDH版）

直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群对于许多的压缩格式都是不支持的（如下图），生产上是不可接受的，故需要重新编译hadoop使之支持压缩。

Exzzla·2020-07-15 08:58

CentOS7中jdk安装和ssh免密和Hadoop集群搭建搭建

CentOS7中jdk安装和ssh免密和Hadoop集群搭建搭建一、前提准备二、JDK安装三、ssh免密登录设置1.更改用户名2.关闭防火墙2.1方法一:2.2方法二:3.添加域名4.修改selinux

V-Suger·2020-07-15 08:23

在三台服务器上搭建完整的Hadoop集群！

文章目录1实验环境3.1安装虚拟机3.2准备工作1）关闭防火墙和Selinux2）安装软件3)配置网络4）新建hadoop用户5）生成ssh密钥并分发6）安装NTP服务3.3MySQL3.4JDK3.5Zookeeper3.6kafka3.7hadoop3.8HBase3.9Hive3.10scala3.11spark3.12storm4遇到的问题及解决1实验环境个人笔记本电脑、虚拟机软件：vmw

Mcq.·2020-07-15 07:09

第四章 Hadoop系统管理

Hadoop配置文件Hadoop集群中的每台计算节点都有一组自己的配置文件。

Sqlver·2020-07-15 07:37

完全分布式hadoop集群搭建

考虑到以后还会去配置，总结记录一下这几天迈过的坑。准备工作：两台笔记本，其中一台主机，一台节点。（条件限制，我只有两台）需要提前下载好的文件：VMware-workstation-full-14.1.2-8497320.exeubuntu-18.04.1-desktop-amd64.isojdk-10.0.2_linux-x64_bin.tar.gzhadoop-2.7.7.tar.gz开始搭建：

一枚cs渣渣·2020-07-15 06:19

Python3在hadoop集群上进行sqoop迁移任务

Python3在hadoop集群上进行sqoop迁移任务废话不多说，直接呈现脚本（从mysql迁移单表到hive）#!

努力学习编程的胖子·2020-07-15 06:58

HBASE2.2.2+hadoop3.1.3分布式集群搭建

安装zookeeper集群备注：zookeeper集群每台服务器必须绑定hadoop集群和HBASE集群的hosts，不然会找不到对应的服务器到官网上下载对应版本的zookeeper，笔者用的版本是：zookeeper

wangzhongxing93·2020-07-15 06:24

Hadoop集群和Hbabse与Zookeeper 启动与关闭需要注意的问题

1：hadoop、ZooKeeper和HBase之间应该按照顺序启动和关闭：启动Hadoop—>启动ZooKeeper集群—>启动HBase—>停止HBase—>停止ZooKeeper集群—>停止Hadoop。2：怎么启动zookeeper:启动zookeeper在每台机器上运行bin/zkServer.shstart查看运行状态:bin/zkServer.shstatusMode:leaderM

Ynzo·2020-07-15 06:17

Hadoop集群（第3期）_VSFTP安装配置

1、VSFTP简介VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是VerySecureFTP从此名称可以看出来，编制者的初衷是代码的安全。安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。在速度方面，使用ASCII代码的模式下载数据时，VSFTP的速度是Wu-FTP的两倍，如果Linux主机使用2.4.*的内核

weixin_34375233·2020-07-15 05:31

Hadoop 硬件规划

weixin_34372728·2020-07-15 05:30

spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new native thread

这个问题我去网上搜索了一下，发现了很多的解决方案都是增加的nproc数量，即用户最大线程数的数量，但我修改了并没有解决问题，最终是通过修改hadoop集群的最大线程数解决问题的。

weixin_34367845·2020-07-15 05:29

Hadoop集群（第4期）_SecureCRT使用

1、SecureCRT简介SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTelnet客户机的所有特点，包括：自动注册、对不同主机保持不同的特性、打印功能、颜色设置、可变屏幕尺

weixin_34220834·2020-07-15 05:31

hbase安装详解

hbase的jar包要和hadoop集群的jar包一致，所以可能存在一个hadoop的jar包替换过程。

weixin_34199335·2020-07-15 05:14

单台机器搭建hadoop集群环境

2019独角兽企业重金招聘Python工程师标准>>>一准备首先创建文件夹，结构如下：weim@weim:~/myopt$lsubuntu1ubuntu2ubuntu3并且将下载的jdk(版本:8u172)，hadoop（版本:hadoop-2.9.1）解压到三个文件夹中，如下：weim@weim:~/myopt$lsubuntu1hadoopjdkweim@weim:~/myopt$lsubun

weixin_34195546·2020-07-15 05:41

【Big Data】HADOOP集群的配置（二）

Hadoop集群的配置（二）摘要:hadoop集群配置系列文档，是笔者在实验室真机环境实验后整理而得。以便随后工作所需，做以知识整理，另则与博客园朋友分享实验成果，因为笔者在学习初期，也遇到不少问题。

weixin_34194087·2020-07-15 05:37

Eclipse连接Hadoop集群并运行wordCount全过程记录

2019独角兽企业重金招聘Python工程师标准>>>为了自己以后方便会看记录一下整个过程，Hadoop集群之前已经搭建好，这部分工作以后再补写。

weixin_34167043·2020-07-15 05:50

大数据系列（4）——Hadoop集群VSFTP和SecureCRT安装配置

前言经过前三篇文章的介绍，已经通过VMware安装了Hadoop的集群环境，当然，我相信安装的过程肯定遇到或多或少的问题，这些都需要自己解决，解决的过程就是学习的过程，本篇的来介绍几个Hadoop环境中需要用到的软件，确切的说是两款：VSFTP和SecureCRT。闲言少叙，进入本篇的正题。背景这里简要说明下这两款软件的作用。1、VSFTP这个从字面就能理解就是搭建FTP服务器用的，为什么要搭建F

weixin_34149796·2020-07-15 05:09

完全分布式（四）Sqoop 安装部署及操作示例

2019独角兽企业重金招聘Python工程师标准>>>本次采用完全分布式系列的hadoop集群，安装配置过程详细参见完全分布式集群（二）hadoop2.6.5安装部署Hive在分布式集群上的部署配置参见完全分布式集群

weixin_33974433·2020-07-15 04:30

Hadoop作业性能指标及參数调优实例（三）Hadoop作业性能參数调优方法

（一）eBayEagle作业性能分析器1.Hadoop作业性能异常指标2.Hadoop作业性能调优7个建议（二）其他參数调优方法二、Hadoop集群报告异常。发现个别作业导致集群事故。

weixin_33860147·2020-07-15 04:50

在Hadoop集群上安装Sqoop数据迁移工具

集群如下：HostNameIPSoftProcessh1192.168.1.31Hadoop,HbaseNameNode(Active),DFSZKFailoverController,HMaster(Active)h2192.168.1.32Hadoop,HbaseNameNode(Standby),DFSZKFailoverController,HMaster(Backup)h3192.168

weixin_30929011·2020-07-15 04:01

hadoop 集群资源配置调优

我们常说打江山难，坐江山更难，hadoop集群搭建不容易，hadoop性能调优就更不简单，之前就因为*-site配置文件中的内存分配不够准确，连demo中的wordcount都运行不起来，另外在我们生产环境中

Helen_Cat·2020-07-15 03:43

大数据学习——HADOOP集群搭建

4.1HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode

weixin_30609331·2020-07-15 03:30

Cannot obtain block length for LocatedBlock故障分析和解决

CannotobtainblocklengthforLocatedBlock异常，get也一样，这样无法访问hdfs文件的问题必须解决，Mark一下问题背景和解决过程一.问题背景问题产生的原因可能是由于前几日Hadoop

weixin_30519071·2020-07-15 03:45

Hadoop集群配置搭建

环境：Centos6.9，Hadoop2.7.1,JDK1.8.0_161,Maven3.3.9前言：1、配置一台master服务器，两台或多台slave服务器。2、master可以无密码ssh登陆slave3、解压安装Hadoop，配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件,配置好之后启动hadoope

weixin_30276935·2020-07-15 02:25

hadoop集群崩溃，因为tmp下/tmp/hadoop-hadoop/dfs/name文件误删除

hadoop执行start-all后，显示正常启动。startingnamenode,loggingto/opt/hadoop-0.20.2-cdh3u0/logs/hadoop-hadoop-namenode-localhost.localdomain.outlocalhost:startingdatanode,loggingto/opt/hadoop-0.20.2-cdh3u0/bin/../

weixin_30252155·2020-07-15 02:41

Hadoop 入门指南

Hadoop入门指南分布式文件系统——HDFS一、介绍二、HDFS设计原理三、HDFS的特点Hadoop单机版环境搭建一、配置免密登录二、Hadoop(HDFS)环境搭建三、Hadoop(YARN)环境搭建Hadoop

鱼骨 Sam·2020-07-15 02:03

[Hadoop] Zookeeper 安装部署与简单操作

Hadoop集群中，zk节点的数量n/2+1个，其中n>1，一般集群中zk的数量为3/5/7/9个。多个zk可以搭在同一个节点上。

cindysz110·2020-07-15 02:43

基于ambari的hadoop集群和spark安装

简介：在两台服务器（一台为ubuntu14.04，另一台为redhat6）上通过ambari搭建hadoop环境，并启用spark。打算将ubuntu作为server，redhat6作为client。1.实现两台服务器的互相无密登陆ubuntu的ip为10.20.31.202，主机名（hostname）为server204，全限定域名FQDN为server204redhat6的ip为10.20.3

liliechao·2020-07-15 01:47

hbase、mongodb、redis、lucene、 solr研究

Chukwa是基于Hadoop集群中监控系统，简单来说就是一个“看门狗”(WatchDog)Hive是DataWareHouse和MapReduce交集，适用于ETL方面的工作。

火龙果研究院·2020-07-15 01:39

Hadoop集群完全分布式搭建教程-CentOS

本篇在前一篇《Hadoop单机模式和伪分布式搭建教程》的基础上完成完全分布式的搭建，所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。注意截图中的slaver应该是slave，哈哈，搭建的时候多打了r，没弄清slaver和slave的区别。1.说明本教程中电脑为8G内存，故而将使用四个节点作为集群环境，其中一个为master，3个为slave（分别是slave1、slave2和slave3、

shu_lin·2020-07-15 01:37

Hadoop集群搭建

资料：zookeeper-3.4.7.tar.gz链接：http://pan.baidu.com/s/1nvNzJNb密码：8rcwhadoop-2.7.1_64bit.tar.gz链接：http://pan.baidu.com/s/1i4LVGXZ密码：z813jdk-7u55-linux-i586.tar.gz链接：http://pan.baidu.com/s/1hsnIjVe密码：zvr81

醉糊涂仙·2020-07-15 00:34

hadoop和hive配置kerbros安全认证

需求：对新建hadoop集群和hive集群的安全认证安装部署。

Aidon-东哥博客·2020-07-15 00:15

Hive配置+haddop为底层存储系统+远程mysql+简单的hive数据操作（详细哦）

Hive配置+haddop为底层存储系统+远程mysql+简单的hive数据操作说明：关于hadoop集群、habse集群配置可参考我的前三篇博客。

洲洲的第二人生·2020-07-15 00:19

【大数据】HDFS,YARN,HADOOP集群部署

1:准备好环境包[root@hadoop001data]#ll总用量532404-rw-r--r--1rootroot426105493月3109:22hadoop-2.6.0-cdh5.7.0-src.tar.gz-rw-r--r--1rootroot3115854843月3109:24hadoop-2.6.0-cdh5.7.0.tar.gz-rw-r--r--1rootroot17327162

袁河之滨·2020-07-15 00:12

hadoop基本知识及环境搭建(docker)

NameNodeHdfs核心,master,仅内存存储hdfs元素据,如文件目录结构,块列表和位置对元数据的修改会在备份在fileSystemImage文件镜像中不持久化各个块信息(由DataNode上传)是hadoop

菜到抠脚的cxy·2020-07-15 00:23

配置sqoop的环境变量

首先，sqoop是基于Hadoop工作的，所以在这之前，确保你的Linux环境下，已经有可以正常工作的hadoop集群，当然伪分布式和完全分布式都可以。

tao_wei162·2020-07-14 23:28

Hadoop集群的搭建及Hadoop生态圈

目前是动态IP，所以需要配置IP地址为静态IP/etc/sysconfig/network-scriptsll|grepifcfg-ens33可查看此文件的权限，只能在root下更改viifcfg-ens33:BOOTPROTO=dhcp改为BOOTPROTO=staticONBOOT=yes添加四行代码：IPADDR=192.168.220.138NETMASK=255.255.255.0GAT

sxhBK6303·2020-07-14 23:43

纯脚本实现 sftp采集lzo压缩文件解压缩直接入hdfs（中途不落地，全程linux管道操作）

进入Hadoop集群之前，还需要解压缩成明文，才能进一步处理。第一版实现是个什么过程呢？，首先一个expect批处理，所有文件下载到文件接口机。然后再一个批处理，全部文件解压缩。

夜魔009·2020-07-14 23:50

hadoop自学日记--2.hadoop集群环境搭建

hadoop自学日记–2.hadoop集群环境搭建搭建环境本人使用简单的windows7笔记本，使用VirtualBox创建Centos虚拟机来安装HadoopVirtualBox：6.0.8r130520

aladdin_sun·2020-07-14 23:14

以容器部署Ganglia并监控Hadoop集群

网上有很多Ganglia部署的教程，每一个我都觉得繁琐，我的目的只是用来监控Hadoop测试集群，能即刻使用才是王道，于是我想到通过Rancher部署Ganglia应用服务（类似于我在上一篇文章中部署Jmeter容器集群的方式），以容器的方式一键部署，省去了中间繁琐的安装过程。第一步：安装部署Docker1、对于CantOS安装Docker最好是CentOS7，这样可以保证内核至少是3.10（通过

smooth-z·2020-07-14 22:34

Hadoop-2.4.1学习之InputFormat及源代码分析

向Hadoop集群提交作业时，需要指定作业输入的格式（未指定时默认的输入格式为TextInputFormat）。

skyWalker_ONLY·2020-07-14 22:39

Centos7 上搭建Hadoop3.1.1集群

Centos7上搭建Hadoop3.1.1集群基本网络配置不论是虚拟机还是物理机,Hadoop集群需要在网络可以共享,且可以访问外网的主机上搭建IP主机名192.168.100.101Hadoop1192.168.100.102Hadoop2192.168.100.103Hadoop3

mengfill·2020-07-14 21:26

Hadoop集群的搭建3（很全面）

Hadoop集群的搭建3（很全面）该文章用于记录学习过程。多余的话不多说了，如有需要请观看正文。注：第三篇更新步骤11-13。

青春是首不老歌丶·2020-07-14 20:34

阿里云服务器搭建hadoop伪分布式集群的坑

所以直接通过外网ip是没有办法连接hadoop集群的所以会导致报这种错。File/hdfsapi/test/a.txtcouldonlybereplica

幼稚园导包侠·2020-07-14 20:26

解决Java程序读写HDFS文件的错误：No FileSystem for scheme: hdfs

『3』Hadoop集群配置依赖要能正确读取HDFS文件，程序就需要知道Hadoop集群的配置信息，如果你不是用“hadoopjar”命令来运行你的程序，而是用“java”命令来运行的（例如javacom.codelast.MyProgramme

bean-Lee·2020-07-14 20:13

MapReduce详细分析

一、MapReduce概述1、定义MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。

JLUBJTU·2020-07-14 20:56

大数据——Hadoop集群的搭建

hadoop环境搭建注：三个重要网址hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop官方网址：hadoop.apache.orghadoop环境搭建网址：https://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common

BHBshy·2020-07-14 19:27

Windows 的java客户端实现上传文件到Linux的Hadoop集群上(注意ip和端口是否一致)(已修改)

我这几天一直在学大数据，处于入门阶段，然后老师的视频中教学有用windows的java客户端上传文件到Linux的Hadoop集群，但是这边出BUG了一直上传不上去，运行程序后一直没反应。。。。

_好吗_好的·2020-07-14 19:39

Hive的基本应用

DML的使用；了解Hive高级应用；Hive内置函数使用及Hive自定义函数；了解Hive常用优化策略；实验环境Javajdk1.7；apache-maven-3.6.0；MyeclipseC10；CDHHadoop

Eyeshort·2020-07-14 19:30

推荐频道

Hadoop集群