Hadoop1

YARN架构设计

一.设计思想1.hadoop1.0的旧架构及缺陷最初的hadoop1模型中并没有yarn，一个Hadoop集群可分解为两个抽象实体：MapReduce计算引擎和分布式文件系统。
兰亭已醉·2019-06-13 17:06

006 克隆虚拟机 克隆服务器

需要做一些配置能让Windows连接上我们的服务器克隆完的虚拟机大概要改4个地方1.修改网卡信息密码跟原来的一样都是root我们ifconfig看看好像是不对我们自己修改回车后有两个网卡eth0（以前的hadoop1
C_time·2019-05-20 22:01

大数据-Sqoop命令

Sqoop命令注意：需要将mysql的jar包放在lib文件夹下一、Import命令Sqoop-MySQL导入到HDFSsqoopimport--connectjdbc:mysql://hadoop1:
JP-Destiny·2019-04-29 18:34

hadoop 完全分布式部署(linux) 超详细版

新建一个虚拟机hadoop1为主站，分别克隆两个名为hadoop2和hadoop3的从站。
Henry_Lin_Wind·2019-04-20 14:34

Hadoop HA 双namenode搭建

tar.gzzookeeper-3.4.9.tar.gzhadoop-2.9.2.tar.gz把安装包上传到三台机器的/usr/local目录下并解压配置hostsecho "192.168.56.121 hadoop1
hbxztc·2019-04-12 12:32

Hadoop学习心得整理（环境搭建与使用）

78193113博客）下载hadoop的压缩包到linux解压，进入解压目录下的etc/hadoop目录下，设置相关配置配置core-site.xml（核心配置文件）fs.defaultFShdfs://hadoop1
小小抄写员·2019-03-18 11:52

大数据生态圈相关总结

hadoop1，数据越来越大，尤其是搜索引擎公司，数据的类别---分为三种，结构型，非结构型，半结构型，对应产生的数据库，关系型数据库，非关系型数据库；数据的来源---自己公司业务，爬虫（网络），购买（
lipviolet·2019-03-11 23:50

Mac os Eclipse中连接docker搭建的hadoop集群

现有环境docker中安装了4个container一个namenode（hadoop0）三个datanode（hadoop1,hadoop2,hadoop3）运行进程eclipse中连接安装eclipse
Crystal__jingjing·2019-01-20 16:18

Mac os Eclipse中连接docker搭建的hadoop集群

现有环境docker中安装了4个container一个namenode（hadoop0）三个datanode（hadoop1,hadoop2,hadoop3）运行进程eclipse中连接安装eclipse
Crystal__jingjing·2019-01-20 16:18

sqoop将hive数据导入mysql

:3306/db1--usernameroot--password123456--tabletable1--fields-terminated-by'\001'--export-dir'hdfs://hadoop1
vigel1990·2019-01-16 14:07

HDFS分布式文件储存系统

分布式:分布式系统是由一系列的计算机组成的,收集、整理、处理海量的数据，但用户使用时感知不到背后的逻辑，就像访问单台计算机一样扩展知识:Hadoop的定义狭义：hadoop1=hdfs1+MR1Hadoop2
瓶中怪·2019-01-03 23:55

集群服务器之间免密登录

假设现在集群是3台服务器hadoop1,hadoop2,hadoop3首先保证主机名、hosts、防火墙正确设置1、配置每个节点本身公钥和免密(其实第二行只在hadoop1上执行即可，其余节点最后会发送
wzy_zju·2018-12-26 15:22

HBase集群的搭建 与

HBase集群的搭建（在《HBase伪分布式安装》基础上搭建）1集群结构，主节点(hmaster)是hadoop0，从节点(regionserver)是hadoop1和hadoop22修改hadoop0
chenyuanshengboke·2018-11-11 13:21

（二）hadoop伪分布模式安装

本文以伪分布式模式搭建hadoop1、三种安装模式：单机模式：无法使用HDFS,只能使用MapReduce，主要目的是在本机测试mapreduce代码伪分布式模式：使用一台机器，使用多个线程模拟多台真实机器
秦时盖聂·2018-11-06 13:12

hive：基础使用

describedatabasedefault;OKdb_namecommentlocationowner_nameowner_typeparametersdefaultDefaultHivedatabasehdfs://hadoop1
花和尚也有春天·2018-10-29 01:38

Centos 配置Storm1.2.2

环境简介:使用的是我在上篇blog中配好的HadoopHA环境，在hadoop1上安装nimbus，在hadoop5，hadoop6，hadoop7上安装supervisor下载1.官网上下载Storm1.2.2storm
a247027417·2018-10-22 15:40

Hive基本操作

describedatabasedefault;OKdb_namecommentlocationowner_nameowner_typeparametersdefaultDefaultHivedatabasehdfs://hadoop1
Missayaa·2018-10-15 17:36

Hadoop安装

Hadoop安装一、Hadoop1、安装安装并配置hadoop-2.6.4(在master中)(1)将hadoop-2.6.4.tar.gz安装包复制到hadoop文件目录下（与windows环境下类似
bigleft·2018-09-30 20:14

Hadoop2.7集群环境搭建

目录一、安装Hadoop前的准备二、安装Hadoop1、安装Hadoop2、配置Hadoop的环境变量3、修改Hadoop的配置文件4、启动1）、启动HDFS2）、启动yarn3、启动全部5、Hadoop
哎呦、不错哦·2018-09-08 18:46

Linux下给某个用户加入root权限

Linux给某个普通用户加入root权限，可以在普通用户下sudo命令执行root用户下才能执行的命令例：普通用户：hadoop1、先切换到root用户下suroot[hadoop@localhost~
浅沫之雨·2018-09-06 10:59

centos7 安装storm( 一)

安装地址：hadoop1:192.168.1.60hadoop2:192.168.1.61hadoop2:192.168.1.62下载[root@hadoop1yao]#wgethttps://mirrors.tuna.tsinghua.edu.cn
kaolayao·2018-09-05 12:51

Hadoop生态系统架构以及Hadoop1和hadoop2的对比

Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthr
一尘在心·2018-08-24 17:26

hadoop3.0全分布式集群搭建

搭建环境：CentOS7+hadoop3.0.3+jdk8集群配置：1台主节点+3台子节点主节点：hadoop1子节点：hadoop2hadoop3hadoop4前提准备安装scp服务安装配置jdk配置静态
LousenJay·2018-08-21 22:53

Hadoop2中MR在上Yarn运行的流程

首先要说明的是，Hadoop2和Hadoop1中，MapReduce程序的运行流程是不相同的。之前有关JobTracker的文章，讲述的主要是Hadoop1中的知识点。
dapanbest·2018-07-18 12:56

Hadoop - Hadoop部署

一、解压Hadoop1、解压Hadoop到/home/hadoop/software中tar-zxvfhadoop-2.8.1.tar.gzchown-Rhadoop:hadoo
正经黑天鹅·2018-05-20 22:33

Spark-SparkSQL与Hive整合

javax.jdo.option.ConnectionURLjdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=truej
沙拉控·2018-05-10 22:43

CentOS中Hive1.2安装

1安装Hive安装Hive之前必须先安装Hadoop1、CentOS安装Hadoop2、CentOS中Hadoop单机伪分布式配置1.1下载Hive这里提供清华大学镜像下载链接hive-1.2.2将其通过
JinbaoSite·2018-05-06 15:14

zookeeper集群安装

ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户实验环境：主机名系统IP地址hadoop1
水墨如丹青·2018-04-19 11:02

day06_hive和hbase

2.3.2-bin.tar.gz需要配置mysql的root用户其他IP的访问权限conf/hive-site.xmljavax.jdo.option.ConnectionURLjdbc:mysql://hadoop1
小小初行者·2018-04-01 20:31

HDFS集群机架感知配置

进入配置文件目录cd/root/apps/hadoop-2.7.5/etc/hadoop1、修改配置文件core-site.xmlvimcore-site.xmltopology.script.file.name
cloudstrice·2018-03-28 20:38

hadoop伪分布式部署

hadoop伪分布式部署hadoop安装1，jdk安装2，下载安装包解压3，配置环境变量hadoopHADOOP_HOMEPATH4，配置hadoop1，standalonne|local没有守护进程，
Diligent_ten·2018-03-17 10:40

hadoop伪分布式部署

hadoop伪分布式部署hadoop安装1，jdk安装2，下载安装包解压3，配置环境变量hadoopHADOOP_HOMEPATH4，配置hadoop1，standalonne|local没有守护进程，
Diligent_ten·2018-03-17 10:40

scala筛掉空行可能遇到的问题

input.txt的内容：需求：计算其中各个级别的日志消息条数，即INFO、WARN、ERROR的条数，其中空白的地方为空行，不统计valinput=sc.textFile("file:///home/hadoop1
ForeverLearn_notstop·2018-02-11 23:30

基于hadoop2.6.0搭建5个节点的分布式集群

1、前言我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群2、规划1、主机规划hadoop1
锐湃·2018-01-05 21:22

基于NameNode HA的Hbase安装配置

基于hadoopnamenodeha之上安装hadoopnamenodehaHbase安装配置服务器规划如下：服务角色\服务器10.124.151.18(hadoop1)10.124.151.19(hadoop2
贾己人·2017-12-10 21:47

Hive命令行常用操作（数据库操作，表操作）

describedatabasedefault;OKdb_namecommentlocationowner_nameowner_typeparametersdefaultDefaultHivedatabasehdfs://hadoop1
音阶-陆·2017-12-06 18:10

Linux集群配置免密登录

在4台Linux（Centos）服务器中配置免密登录–>以主机名为hadoop1、hadoop2、hadoop3、hadoop4，用户均为hadoop，密码为hadoop1234为例（免密登录只针对以某个用户的身份登录某个节点
972579·2017-12-04 12:41

大数据学习一： 需要理解的基础概念

技术无法在特定的时间内实现数据的读取，存储，计算等相关操作对大数据的处理方式1采用分布式的思想解决办法来处理大数据2使用分布式的文件系统来解决大数据的快速，准确存储和读取的挑战3使用分布式的框架来解决大数据的分析hadoop1
凡人在世·2017-11-26 22:17

WordCount的实例

scala>sc.textFile("hdfs://hadoop1:9000/sparktest/hello.txt").flatMap(line=>line.split("\t")).collectres8
CatherineHuangTT·2017-11-24 09:18

HBase 高可用搭建

一、节点规划hadoop1、hadoop2HMasterhadoop3、hadoop4、hadoop5HRegionServer二、配置环境变量export HBASE_HOME=/usr/local/
一语成谶灬·2017-11-10 10:12

hadoop2.8.2分布式集群实战

准备环境设置hostname我们定义三台服务器的host那么为hadoop1,had
褚金辉·2017-11-01 20:26

HADOOP集群搭建实战（HA高可靠性模式）

一、环境安装3台服务器的搭建，为了好描述我把服务器的地址分成hadoop1、hadoop2、hadoop3,实际生产环境可以用域名来代替。
POGITA·2017-10-24 17:20

详细解析 hadoop 分布式部署(至lee_ypp的博客)

我是将namenode和jobtracker部署在hadoop1上,hadoop
兮缘·2017-09-04 10:34

Cuurent value:http//hadoop1:50070/webhdfs/v1 Failed to access filesystem root

错误原因是在配置core-site.xml中的用户名，用户组没有与hue中用户名用户组保持一致。core-site.xm配置```xmlhadoop.proxyuser.hue.hosts*hadoop.proxyuser.hduser.groups*```hue.ini配置[desktop]#Webserverrunsasthisuserserver_user=hueserver_group=h
大大鹏123·2017-08-17 14:21

hive原理组件

Hive的服务端组件1.Driver组件：该组件包括：Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker
OOM_and_Exception·2017-08-11 15:31

spark 报错

ERRORorg.apache.spark.executor.Executor[91]-Exceptionintask1.3instage1686049.0(TID5731454)java.io.FileNotFoundException:/hadoop1
博瑜·2017-08-11 11:46

Java通过JDBC操作Hive

1.hadoop的配置文件core-site.xml中fs.defaultFShdfs://hadoop1:9000hadoop.tmp.dir/usr/local/softinstall/hadoop
liuxiangke0210·2017-08-03 09:33

mac或linux下安装hadoop-2.8流程

mac上安装hadoop1,mac下的javall/usr/bin|grep'java'默认:/System/Library/Frameworks/JavaVM.framework/Versions/Current
zhao_xiao_long·2017-06-18 18:01

第一章 hadoop集群搭建

1.搭建三台机子节点说明：hadoop1:NameNode,DataNode,NodeManager,SecondaryNameNode,ResourceManagerhadoop2:                   
superboyLM·2017-06-16 15:00

大数据运维基础面试

简要描述如何安装hadoop1设置IP，主机名，配置SSH免密码登录2安装JDK3解压hadoop安装包4配置hadoop的核心文件hadoop-env.sh，core-site.xml,mapred-site.xml
fanren224·2017-06-16 06:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他