Hadoop集群

修改 hadoop 集群及hbase集群的pid文件存放位置

今天准备把hbase集群和hadoop集群停了做一些配置调整，结果运行stop-all.sh的时候无法停止集群，都提示nodatanode,nonamenode等等之类的信息，于是我翻看了一下stop-all.shstop-dfs.sh
xiao_jun_0820·2020-06-30 00:43

1.CentOS 7 安装

1.新建虚拟机为了学习Hadoop，使用虚拟机来实验Hadoop集群环境。使用VMWare来安装CentOS7操作系统。（1）新建虚拟机：文件->新建虚拟机-->典型安装。
奉先·2020-06-30 00:23

Flink on yarn集群搭建

flinkonyarn集群的搭建以及怎么提交任务.这篇博客写的比较详细,内容较多,希望大家耐心看完,干货满满版本信息:flink-1.6.0zookeeper-3.4.10hadoop-2.9.0zk和hadoop
JasonLee'blog·2020-06-30 00:34

Zookeeper深度解析（概念、原理机制、应用场景）

（Zookeeper作为Hadoop项目中的一个子项目，是Hadoop集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理Hadoop集
BigSun0·2020-06-29 22:01

大数据Hadoop集群中常用的任务调度框架

在大数据的集群环境中，经常用到的任务调度框架有如下几个，根据公司的业务的需要选择适合自己的业务调度的框架，调度框架anzkaban,crontab（Linux自带）、zeus(Alibaba)、Oozie(cloudera)，下面将分别介绍各个调度框架使用任务调度工具功能：时间调度：基于时间条件触发程序运行依赖调度：基于其他程序的执行结果进行调度执行数据可用性调度：一、anzkaban的介绍Azk
奔跑的小鲫鱼·2020-06-29 22:19

openTSDB的分布式集群的安装和使用

1安装提前确保安装了jdk确保安装了hadoop集群确保安装了hbase的集群本次在centos7上测试成功192.168.100.200master（zk、namenode、resourcemanager
豹变·2020-06-29 22:27

hadoop2.3.7新加结点相关问题汇总

现有Hadoop集群新加结点流程及问题汇总一、引言说明：本文是在hadoop集群基本部署完成后，后续新加结点过程中的总结。
scot_·2020-06-29 22:42

HDFS配置Kerberos认证

HDFS配置Kerberos认证2014.11.04本文主要记录CDHHadoop集群上配置HDFS集成Kerberos的过程，包括Kerberos的安装和Hadoop相关配置修改说明。
wulantian·2020-06-29 21:30

Centos7 安装配置hadoop2.7.2超详细过程

这是我自己部署的一套hadoop集群，里面参考夹杂了一些其它人的资料，先发表以作备份集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
工程狮一枚·2020-06-29 21:10

单击运行可以正常import pyhdfs 但是在hadoop集群上就报错 importerror

单击运行可以正常导入pyhdfs但是在hadoop集群上就报错Container:container_1528938271503_0001_01_000004ondata1_43759_1528938463504
wqq奋斗的小鸟·2020-06-29 20:58

java.net.preferIPv4Stack设置

使用了Java网络编程，涉及到ipv4和ipv6的问题，在hadoop集群中由于机器配置不一，会导致不同机器获取的机器名长短不一，从而引发一系列问题，如“hadoop或yarn集群任务数据本地化很差（后面会写篇文章进行分析
wodeyuer125·2020-06-29 19:49

hadoop集群配置

配置环境本文以centos764位虚拟机1台主节点2G2核心，3台slave1G1核其中一台充当主备secondaryNamenodejdk1.8hadoop2.8集群环境搭建hadoop的环境搭建其实就是hdfs,yarn的相关集群配置。hdfs需要namenode(master)和多个dataNode(slave)，另外最好用一个物理分开的secondarynamenode用于备份nameno
阿太哥·2020-06-29 19:24

hadoop集群服务器软硬件规划

一、硬件选型：1、服务器：太贵：大型机、小型机（400W左右），一般起步公司假设年收2000W，硬件成本占1/4不太现实2、PCServer：适合：最适合hadoop的支持廉价机器的，20-5W不等3、云服务：小公司适用，但是如果数据增长过快，可能很快就需要自行搭建硬件集群，进行数据迁移。以滴滴为例，目前全球日数据量是2000TB4、普通PC机器，稳定性差，可用于实验环境。二、集群规模：1、核心因
李思苇·2020-06-29 17:33

从kinit到kerberos安全机制

/conf/kerberos.keytabsherlocky/[email protected]查阅一番资料后了解到，之所以有这个命令，是由于该shell脚本接下来会访问Hadoop集群，从上面拉取文件做一些处理任务
不爱吃汤圆的汤圆坨坨·2020-06-29 17:57

HBase超详细版本教学二

Hadoop集群的正常部署并启动HBase的解压上传到/opt/software目录下将包解压到/opt/module下[fxy@hadoop101software]$tar-zxvfhbase-2.0
三里屯VIP·2020-06-29 15:44

Hadoop集群环境搭建

Hadoop集群环境搭建本机基本配置网卡配置配置主机名关闭防火墙安装ssh客户端克隆虚拟机删除一块网卡更改ip修改主机名hosts映射免密登陆安装jdk安装Hadoop集群策划，解压配置hadoop-env.sh
韩利鹏·2020-06-29 13:37

Hadoop高可用集群搭建（HA）

集群规划1.3HA说明2.HA集群安装配置2.1搭建Hadoop前期工作2.2搭建zookeeper2.2.1解压zookeeper2.2.2修改配置2.2.3拷贝zookeeper到其他节点2.3安装配置Hadoop
韩利鹏·2020-06-29 13:37

完美解决Hadoop集群无法正常关闭的问题!

相信对于大部分的大数据初学者来说，一定遇见过hadoop集群无法正常关闭的情况。有时候当我们更改了hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。
Alice菌·2020-06-29 12:33

hadoop-zookeeper-flume-kafka启动关闭脚本

/bin/bashcase$1in"start"){echo"--------启动集群-------"echo"--------启动hadoop集群-------"/opt/module/hadoop-
xy@·2020-06-29 12:11

kylin部署与问题解决

也会影响其他集群的运行（比如我出现过hadoop集群
无痕灬·2020-06-29 11:16

Apache Hue 入门(看这一篇就够了!)

通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作
王傲旗的大数据之路·2020-06-29 11:47

MapReduce 分布式计算系统

一，实验步骤MapReduce编程入门实例之WordCount：分别在Eclipse和Hadoop集群上运行在Eclipse环境下运行MapReduce程序（WordCount程序）首先看一下我的项目结构和
A卖鞋的乱臣贼子·2020-06-29 10:51

大数据采集架构

概述一般来说，当在Hadoop集群上，有足够数据处理的时候，通常会有很多生产数据的服务器。这些服务器的数量上百甚至成千上万。
凌晨的地铁·2020-06-29 09:11

配置两个Hadoop集群Kerberos认证跨域互信

两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用KerberosRealmA
彬在俊·2020-06-29 09:00

hadoop集群的安装和部署（完全分布式运行模式）

1、Hadoop运行环境的搭建1.1虚拟机环境准备1.克隆虚拟机2.修改克隆虚拟机的静态IPvim/etc/sysconfig/network-scripts/ifcfg-eth03.修改克隆虚拟机的主机名vim/etc/sysconfig/network4.修改hosts文件sudovim/etc/hosts在后面添加如下内容192.168.x.xxx主机名1192.168.x.xxx主机名21
心 若止·2020-06-29 09:25

Bad owner or permissions on /root/.ssh/config

**vmwarecentos部署hadoop集群，启动hadoop节点，报错Badownerorpermissionson/root/.ssh/config**原因：SSH关于公钥认证Permissiondenied
Henry Heng·2020-06-29 08:31

无痛搭建hadoop集群并运行Wordcount程序

目录前置准备查看本地网络信息查看网络连接状态更改网络信息更改主机名对虚拟机进行克隆得到slave1和slave2节点配置slave1和slave2的参数信息建立主机名到ip的映射配置ssh免密登录关闭防火墙与SELinux安装JDK创建新用户hadoop环境配置下载与安装环境配置更改配置文件进行传输与连接运行Wordcount程序前置准备首先，打开自己的虚拟机，我使用的是centos7的系统，但是
Veritaswhs·2020-06-29 08:49

关于使用Docker安装hadoop集群重启后/etc/hosts中之前设置的ip消失

在CentOS7使用Docker安装hadoop集群中，我们已经成功用Docker安装了hadoop集群，但是当容器重新启动之后，之前/etc/hosts文件设置的ip和主机名的映射也会消失，重新再使用这几个容器的时候还需要重新设置
Captain.Y.·2020-06-29 08:11

Hive搭建

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能，Hive底层是将SQL语句转换为MapReduce任务运行一、前期准备1.保证Hadoop
❤_Queen·2020-06-29 07:16

CDH私有部署

数据平台的私有化部署首先涉及的是Hadoop集群的搭建方案，然后将我们布在各项目中的技术方案迁移到集群中。
ioyow·2020-06-29 07:23

ubuntu 18.04 hostname 修改不生效

今天安装了ubuntu18.04因为是做hadoop集群想把主机名改了使用sudonano/etc/hostname修改，然后重启，不生效。
沙赞·2020-06-29 06:20

/usr/local/hadoop/libexec/hadoop-functions.sh: 行 2360: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPR

启动hive之前，请先启动hadoop集群。
白痴才子·2020-06-29 05:31

【HADOOP】hadoop安装（windows10+docker+hadoop）

原因很简单…系统注册表弄崩溃了，只能重装系统，然后hadoop集群没了。（真是个悲伤的故事）  想尝试一下新的安装方式拓宽眼界，然后因为百度到的教程
Artlex·2020-06-29 03:03

启动Hadoop集群时$ ./sbin/start-dfs.sh，DataNode没有启动

$jps3555SecondaryNameNode3295NameNode3756Jps原因：多次格式化namenode导致的namenode与datanode之间的不一致（多次格式化，版本不一致）解决：把Hadoop下的log和tmp文件夹删掉、Hadoopdata里面文件删除（没有Hadoopdata文件，则将Hadoop下的dfs下的data里面文件删掉）过程：①先关闭dfs：./sbin/
_Easyway·2020-06-29 03:57

Hadoop集群环境搭建

一、主要内容Hadoop集群搭建主要分为以下几个步骤：1.安装虚拟软件VMwareWorksation2.配置虚拟机3.集群虚拟机4.搭建Hadoop2.10.0分布式集群*注链接包含所需环境搭建所有文件下载安装包密码
一角灯辉·2020-06-29 01:27

HDFS客户端的权限错误：Permission denied

搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天
钻石大门·2020-06-29 01:03

Hadoop集群中hdfs出现:Operation category READ is not supported in state standby.异常问题的分析与解决

翻译:该主机状态为待机,不支持操作类别READ.如果Hadoop启动正常,发现主节点无法对分布式文件系统进行hdfs操作查看主NameNode节点的状态:$hdfshaadmin-getServiceStatenn1nn1具体根据个人定义,有些人定义的是namenode1等等.若是发现状态为standby,说明他不能进行HDFS操作,非活跃节点~查看副NameNode节点的状态:$hdfshaad
Fushicho_XF·2020-06-29 01:32

大数据Hadoop之Hive数据仓库安装

Hive只在一个节点上安装即可1.上传tar包2.解压tar-zxvfhive-0.9.0.tar.gz-C/cloud/3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能联通hadoop
hooroom·2020-06-29 01:21

hadoop集群的kerberos认证

部分现场的集群增加了kerberos认证,导致了一些linux脚本,hadoop程序,甚至是hbase访问的失败就把如何进行kerberos认证总结了下分成两个方向:一.命令行下的kerberos认证二.java程序里的kerberos认证一.命令行下的kerberos认证1.使用用户名和密码做认证用户名即principalname:[email protected]密码为:xxxxxxki
new个对象先·2020-06-29 00:15

hadoop集群上部署flink环境

搭建背景：目前已经在某个服务器上搭建好了hadoop集群，部署flink环境只需要通过xshell进行操作步骤：1、打开xshell，连接hadoop集群所在服务器2、查看hadoop版本,如图，可知版本是
余三二·2020-06-29 00:38

解决启动Hadoop集群，从节点没有启动（DataNode等）

问题在集群主机点启动HDFS集群和YARN集群之后，查看各个节点启动情况：主节点全部启动成功，从节点启动失败[root@master-node~]#jps6432Jps5427NameNode5811ResourceManager5531DataNode5917NodeManager[root@slave-node1~]#jps2244Jps[root@slave-node2~]#jps1818J
月正明·2020-06-28 20:44

VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

写在前边的话：最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop
weixin_34357267·2020-06-28 17:51

hue(04)、Hue集成Hive数据仓库

2019独角兽企业重金招聘Python工程师标准>>>在hue(02)、Hue集成Hadoop集群(HDFS和YARN)中我们在hue中集成了hdfs和yarn，可以很方便的在hue中操作hdfs中的数据和查看
weixin_34348111·2020-06-28 17:49

使用hadoop进行大规模数据的全局排序

说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台lowcost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试
weixin_34347651·2020-06-28 17:45

快速搭建Kerberos服务端及入门使用

尽管有许多配置参数和设置，但配置一个受Kerberos管理的Hadoop集群还是相当简单的。只要清楚地了解在前面部分中介绍
weixin_34320159·2020-06-28 16:58

基于Docker快速搭建多节点Hadoop集群

2019独角兽企业重金招聘Python工程师标准>>>一.项目简介GitHub:kiwanlau/hadoop-cluster-docker博客：基于Docker快速搭建多节点Hadoop集群直接用机器搭建
weixin_34292924·2020-06-28 16:39

从kinit到kerberos安全机制

/conf/kerberos.keytabsherlocky/[email protected]查阅一番资料后了解到，之所以有这个命令，是由于该shell脚本接下来会访问Hadoop集群，从上面拉取文件做一些处理任务
weixin_34248849·2020-06-28 15:13

十一项全球最具权威的大数据资质认证

正因为如此，具备大数据分析相关经验的数据科学家与分析师以及了解如何打理Hadoop集群与其它技术的
weixin_34235457·2020-06-28 14:19

在Hadoop集群中安装flume组件

hadoop学习过程中，用到安装flume组件，过程记录如下：安装flume服务，yum-yinstallflume-ng*，serviceflume-ng-agentstart查看flume安装位置whereisflume-ng在flume安装位置的conf文件夹下，新建配置文件testflume.conftail1.sources=src1tail1.channels=ch1tail1.sin
weixin_34161029·2020-06-28 12:11

HAS-插件式Kerberos认证框架

企图冒充的节点由于没有事先得到的密钥信息，无法与集群内部的节点通信，从而防止了恶意的使用或篡改Hadoop集群的问题，确保了Hadoop集群的可靠安全；Hadoop的用户也可以继续使用熟悉的认证方式
weixin_34148508·2020-06-28 12:58
上一页 56 57 58 59 60 61 62 63 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他