Hadoop集群

VMWare安装Hadoop集群

参考：http://wenku.it168.com/d_000049179.shtml1.机器配置共有三台机器，主机名为node1，node2,node3ip子网掩码网关node1:192.168.10.1255.255.255.0192,168.10.255namenodenode2:192.168.10.2255.255.255.0192,168.10.255datanodenode3:192
xhjx2618·2020-07-04 03:12

从VMware虚拟机安装到hadoop集群环境配置详细说明

Linux操作系统安装调试安装说明本次采用的操作系统的LinuxCentOS（Linux的一个版本），Hadoop集群并行计
Tech_Hog·2020-07-04 03:51

linux-配置hadoop集群（配置文件及环境配置）

文章目录一、前期准备1.虚拟机启动成功后注意以下配置2.Linux(CentOS)虚拟机中jdk需要配置好【注意：关闭防火墙】3.将hadoop压缩包拖入4.使用tar-zxvf命令解压文件5.将文件夹名字简化6.生成密钥7.设置免密登录二、hadoop环境配置1.输入cd/opt/hadoop/etc/hadoop，进入hadoop2.配置hadoop-env.sh3.配置core-site.x
:）คิดถึง·2020-07-04 03:34

hadoop集群环境下hbase安装步骤（环境及相关文件配置）

文章目录一、hbase安装前必备步骤1.hadoop集群搭建2.zookeeper安装步骤（hbase依赖于zookeeper）二、hbase安装步骤1.将hbase拖入opt文件夹中2.解压安装包并删除安装包
:）คิดถึง·2020-07-04 03:34

hadoop集群环境下hive安装的详细步骤

文章目录一、hive安装前必备步骤1.hadoop集群搭建2.MySql安装（建议在非主节点的虚拟机上安装）二、安装hive（安装在主节点上）1.将hive拖入到opt文件夹2.解压hive-1.1.0
:）คิดถึง·2020-07-04 03:34

hadoop集群环境下zookeeper安装的详细步骤

文章目录一、Hadoop集群搭建二、zookeeper安装及配置（每一台虚拟机上都需要安装）1.将zookeeper拖入到opt文件夹中2.解压zookeeper-3.4.6.tar.gz3.配置环境变量
:）คิดถึง·2020-07-04 03:34

hadoop机架感知与网络拓扑分析：NetworkTopology和DNSToSwitchMapping

NetworkTopology用来表示hadoop集群的网络拓扑结构。hadoop将整个网络拓扑组织成树的结构(可以参考这篇文章https://issues.apache.org/j
weixin_34283445·2020-07-04 03:10

Hadoop集群（第5期）_Hadoop安装配置

1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salv
weixin_34060741·2020-07-04 03:18

使用Shell脚本一键部署Hadoop

测试环境Linux系统版本：CentOS7实现功能1、Java环境一键配置2、Hadoop单机版一键安装3、Hadoop伪分布式一键安装4、Hadoop集群部署5、伪分布式hadoop初始化6、集群设置
丶气质ン稳拿。·2020-07-04 02:55

基于Virtualbox虚拟机搭建hadoop集群环境

1.1安装centos7在centos官网下载centos7镜像文件，在Virtualbox软件中导入镜像文件进行安装，本次由于实验环境限制，只安装了三台centos7虚拟机，分别命名为hadoop1,hadoop2,hadoop3，为保证三台虚拟机能够正常通信，三台虚拟机的网络连接方式均设置为仅主机（Host-only）适配器模式，每台虚拟机分配内存为2G，存储为8G。在VrtualBox中搭建
liu_xue_feng·2020-07-04 02:26

virtualBox搭建hadoop集群（1）虚拟机网络配置

virtualBox搭建hadoop集群（1）虚拟机网络配置工作环境：笔记本电脑，win10，wifi上网步骤：1、下载、安装virtualBox2、下载ubuntu系统镜像3、新建虚拟机ubuntu100
幻影03·2020-07-04 02:53

Hadoop集群免密登录配置

一、引言当我们启动Hadoop的时候，每启动一个节点就需要我们输入一次密码，但如果有很多台机器一起在跑，可能会多达几百几千个节点，很明显如果在生产环境中，这种操作绝对是不可取的。这个时候就需要我们对Hadoop进行SSH免密登录配置。二、原理Hadoop在启动节点的时候，其实都是系统内部在进行SSH登录，而每次进行SSH登录，就会需要我们用密码进行授权。这样解决办法就很简单了，我们只需要把SSH的
打代码一点也不好·2020-07-04 01:52

hadoop集群搭建【伪分布式】

一、hadoop集群搭建前准备在linux中安装好jdk，配置好jdk环境变量安装好hadoop单机版注：如果单机版不会安装，可以点击下面连接去查看hadoop单机版安装二、安装hadoop集群复制单机版
lyq7269·2020-07-04 00:10

树莓派Raspberry Pi搭建Hadoop集群

竟然无法想象，树莓派搞得像模像样的哦！看看别人怎么在上面运行OpenJDK的。Hadoop就不是我能玩得来的了。Hadoop是由Java实现的，所以在树莓派上运行就和在其他x86平台上运行一样简单。首先，我们需要安装支持树莓派RaspberryPi的JVM。可以选用OpenJDK或者Oracle的JDK8。我个人推荐JDK8，其速度稍微快些，但是OpenJDK安装更容易些。推荐阅读：Ubuntu1
laohuang1122·2020-07-04 00:38

hadoop配置机架感知，原理

背景“hadoop权威指南”里面有说明，配置机架感知的目的就是要最大程度发挥hadoop的性能，要做到这点就是知道hadoop集群的网络拓扑结构（itknowsthetopologyofyournetwork
fantasticqiang·2020-07-04 00:21

Docker中提交任务到Spark集群

接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。
MyStitch·2020-07-03 18:00

Docker中提交任务到Spark集群

接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。
Stitch·2020-07-03 18:00

【HDFS篇02】HDFS命令行操作

完成永远比完美重要HDFS的Shell操作基本语法hadoopfs具体命令【推荐】hdfsdfs具体命令常用命令大全启动Hadoop集群//这些命令也都可以按照自己的方式组成脚本哦start-dfs.shstart-yarn.sh-help
focusbigdata·2020-07-03 10:00

大数据运维问题记录(四)

问题描述：有个hadoop集群，跑hive任务的时候慢，而且经常跑的跑的就挂了，报内存不够等等的相关异常，需要我们给解决，优化一下配置问题解决：跑hive慢，一方面是hive语句的问题，另一方面就是hadoop
火车飞侠·2020-07-02 17:49

自动部署Hadoop集群

它帮助我们更好的去管理Hadoop集群相关的服务，也支持一些扩展，
叁金·2020-07-02 17:55

Spark2.1.1中用各种模式运行计算圆周率的官方Demo

1使用单机local模式提交任务2使用独立的Spark集群模式提交任务3使用Spark集群+Hadoop集群的模式提交任务3.1用yarn-client模式执行计算程序3.1.1操作步骤和方法3.1.2
陈南志·2020-07-02 14:33

CentOS7下Hadoop3.2.1集群的安装与部署（下）

在《CentOS7下Hadoop3.2.1集群的安装与部署（上）》中我们我们完成了对Hadoop集群的安装与启动。
pengjunlee·2020-07-02 14:12

VMware+Centos7+Hadoop3.2.0搭建hadoop集群（详细教程！！）

/80467513第二步：Centos7镜像的下载、安装附上我自己写的教程：https://blog.csdn.net/paotianzhou/article/details/97923351第三步：Hadoop
不会freestyle·2020-07-02 14:35

Hadoop组件学习(二)——属性与安全性

1、Hadoop的部分属性2、Hadoop的安全性Hadoop的部分属性1、委任和解除节点Hadoop集群的管理员经常需要向集群中添加节点或从集群中移除节点。
巨坑大数据·2020-07-02 13:21

简单的Pig Latin语句进行文本情感分析

Pig有2种模式，一种是本地模式，一种是hadoop集群模式。本地模式用命令pig-xlocal，集群模式直接用pig就可以启动。从网站上下载pig后解压，再配置环境变量。
第N个日出·2020-07-02 11:00

HBase2.x精通：结合源码讲解Region的三种Spilt策略

欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读一、概述最近在工作中接触到split，于是查看了这块的源代码，先看到了split的策略，今天就说说这个吧；这里我是基于HDP版本的Hadoop
陆继森·2020-07-02 10:30

Centos7下Hadoop集群中Hbase的安装和配置

Hadoop集群中Hbase的安装和配置（Centos7）前提：先要安装并配置好jdk和hadoop一、下载安装Hbase笔者采用的是本地文件传输到虚拟机的方法，使用的是hbase-1.2.6百度网盘链接
hxhRxz·2020-07-02 03:40

hadoop集群搭建_centos7配置静态IP

1.网络配置设为NAT模式虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式2.网络配置打开虚拟机,选中需要修改的节点,步骤如下:编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除网络—>添加网络(VMnet8)—>NAT模式(移除网络是为了在“添加网络”时进行重新分配网段)新的网关IP(静态IP设置时需要用到)2.静态IP设置centos7下,roo用户进行如下操作:查看
flyplayer12·2020-07-02 00:04

基于CentOS7的Hadoop3.2.0安装和分布式系统集群部署详细

2、本文通过4台Linux虚拟机，搭建4个节点的完全分布式Hadoop集群，Linux系统版本是CentOS7，Hadoop版本是3.2.0，Java版本是12。
chengsen5445·2020-07-01 20:18

Hadoop Kerberos安全机制

导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode或者TaskTrack
快乐的霖霖·2020-07-01 20:36

【Hadoop篇07】Hadoop集群脚本编写

积极乐观的态度是解决任何问题和战胜任何困难的第一步Hadoop集群脚本编写编写分发文件脚本应用场景如下：比如有三台主机master1,slave1,slave2如果简历完全分布式的集群就需要将文件从master1
focusbigdata·2020-07-01 19:58

Spark常见故障诊断（一）

本人维护的Spark主要运行在三个Hadoop集群上，此外还有其他一些小集群或者隐私集群。这些机器加起来有三万台左右。目前运维的Spark主要有Spark2.3和Spark1.6两个版本。
泰山不老生·2020-07-01 18:06

flink on yarn模式下两种提交job方式

yarn集群搭建，参见hadoop完全分布式集群搭建通过yarn进行资源管理，flink的任务直接提交到hadoop集群1、hadoop集群启动，yarn需要运行起来。
b078109·2020-07-01 17:58

hadoop 2.7.3 源码分析（四）：namenode启动流程

启动我们通过命令$start-dfs.sh启动hadoop集群的namenode和datanode,在namenode启动的过程
iblks·2020-07-01 17:50

hadoop集群配置入坑问题汇总(centos7, hadoop2.6.5-3.1.2)

持续更新问题写在前面纯小白一个，从前痴迷理论，如今幡然悔悟，宁愿半死不活在坑里，爬出来再幡然悔悟，也不愿脚踩空地，软软踏踏的。尤其是大数据开发，组件众多，没有对操作系统和编程的基础，能理解也依然前途漫漫。作为一个java和python的半吊子，自确定了入这个坑，觉得多踩踩坑吧，什么时候爬出来坑，幡然悔悟了，也就融会贯通了吧。坑是数不清的，更不能瞎踩，再小的问题没踩过都不能轻视，具体问题具体分析，因
adhero·2020-07-01 16:02

Hadoop配置LDAP集成Kerberos

本文主要记录cdhhadoop集群集成ldap的过程，这里ldap安装的是OpenLDAP。LDAP用来做账号管理，Kerberos作为认证。
Junjie_M·2020-07-01 15:45

在VM上安装centOS7&配置Hadoop环境

3.配置Hadoop集群写在开头（相关软件下载link和参考的博客）VMware软件的安装https://blog.csdn.net/sehejs_a/article/details/80633379这个博客有
Wood_Du·2020-07-01 14:46

环境搭建-CentOS服务器之间设置免密码登录

  在做大数据项目分布式开发时会用到Hadoop组件，Hadoop集群由Namenode节点和Datanode节点组成，在运行启动集群操作时，需要从Namenode节点登录到Datanode节点，执行相关启动脚本
Statmoon·2020-07-01 14:05

Mahout初体验——配置+HelloWorld

Mahout的主页ApacheMahout，正如其主要介绍的，这是一个ScalableMachineLearning库，而且基于Map/Reduce，可运行在Hadoop集群上。
Sky_Money·2020-07-01 13:13

Hadoop集群集成kerberos

上周周会领导让研究kerberos，要在我们的大集群中使用，研究任务指派给了我。这周的话也是用测试集群大概的做了一遍。目前为止的研究还比较粗糙，网上众多资料都是CDH的集群，而我们的集群是不是用的CDH，所以在集成kerberos的过程中有一些不同之处。测试环境是由5台机器搭建的集群，hadoop版本是2.7.2。5台机器host分别是rm1、rm2、test-nn1、test-nn2、10-14
SeoHyunChyL·2020-07-01 13:04

CentOS7搭建Hadoop集群环境

前言CentOS7虚拟机搭建hadoop集群，共3个节点：master、slave1、slave2软件：java1.8hadoop2.6.03台虚拟机都装有CentOS7(最小化安装)系统，一台机命名为
Lzzwwen·2020-07-01 11:35

从入门到精通 - Fayson带你玩转CDH

还没附上超链接的文章是还没上传的，会再后续更新后陆续补上1.规划设计1.1.on-premise部署规划0001-《CDH网络要求(Lenovo参考架构)》0062-《如何为Hadoop集群选择正确的硬件
Hadoop_SC·2020-07-01 09:27

领英开源TonY：构建在Hadoop YARN上的TensorFlow框架

领英用户超过5.75亿，其Hadoop集群中存储了数百PB的数据，因此需要一种可扩展的方式处理所有这些信息。
大数据首席数据师·2020-07-01 06:37

Hadoop大数据平台安装

《大数据技术》实验一需要在笔记本上搭建Hadoop集群，实验报告根据教程对笔记本上创建虚拟机搭建Hadoop集群的步骤进行了说明。包含所有需要安装的软件与服务的版本，安装路径，安装方法等。
topduke·2020-07-01 06:44

大数据晋级之路（1）Centos7上搭建全分布式Hadoop集群

Centos7虚拟机或者3个在一个局域网内的实际Centos7机器，机器上已安装JDK1.8，至于不会安装Centos7或者JDK1.8的同学可以自行网上百度教程，不为此文重点；关闭禁用防火墙，主要是方便hadoop
King-Long·2020-07-01 05:04

spark yarn集群搭建（三：spark集群搭建）

sparkyarn集群搭建（一：准备工作）sparkyarn集群搭建（二：hadoop集群搭建）Master节点配置：进入/datamgt目录下下载二进制包spark-2.3.1-bin-hadoop2.7
无忧默言·2020-07-01 04:16

hadoop和hadoop集群在CentOS7系统下安装和配置

文章目录一.安装CentOS7的linux系统二.hadoop安装前准备三.hadoop安装和相关文件配置(一)安装Hadoop(二)修改配置文件1.hadoop-env.sh运行环境的文件修改2.core-site.xml配置文件修改(机器ip为192.168.56.101)3.hdfs-site.xml配置文件的修改4.新建mapred-site.xml文件写入如下内容:5.yarn-site
sun_0128·2020-07-01 04:45

Hadoop集群跑mapreduce任务报错Download and unpack failed

sudo-uhdfshadoopjar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarpi1010000application_1570857844866_0007failed2timesduetoAMContainerforappattempt_1570857844866_0007_00000
大而话之-Big Data·2020-07-01 03:27

hadoop集群ambari搭建(1)之ambari-server安装

ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
MrCharles·2020-07-01 01:01

CentOS7环境下搭建Hadoop集群教程

文章目录系统环境所需软件搭建步骤1.虚拟机环境搭建1.1虚拟机安装1.2克隆虚拟机1.3修改虚拟机静态IP1.4修改主机名1.5关闭防火墙及绑定IP2.JDK的安装与配置3.MYSQL的安装与配置3.1下载与安装3.2启动及配置4.SSH免密钥登录5.Hadoop的安装与配置5.1下载与解压安装5.2目录规划5.3环境配置5.4集群测试6.Zookeeper的安装与配置6.1下载安装与配置6.2从
HAHAJustin·2020-07-01 01:33
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他