Hadoop2

Hive 基础搭建教程

需要安装Hadoop，教程：Hadoop基础搭建教程需要了解Hive基本概念：Hive基础知识1.相关依赖与版本说明JDK8Hadoop2.8.5Hive2.3.3一般的，Hive需要一个数据库用来保存元数据
edwin1993·2021-05-17 04:11

hadoop上搭建hive(远程模式+hive服务端、客户端)

环境hadoop2.7.1+ubuntu14.04hive2.0.1集群环境namenode节点：master(hive服务端)datanode节点：slave1,slave2（hive客户端）hive
玄月府的小妖在debug·2021-05-16 12:34

Hadoop平台搭建的常见错误及解决方法

问题一警告信息如下：JavaHotSpot™64-BitServerVMwarning:Youhaveloadedlibrary/usr/local/hadoop252/lib/native/libhadoop.sowhichmighthavedisabledstackguard.TheVMwilltrytofixthestackguardnow.It
会编程的李较瘦·2021-05-16 11:29

spark yarn集群搭建（一：准备工作）

linux环境准备spark/hadoop安装包spark-2.3.1-bin-hadoop2.7.tgzHadoop2.7.6注：hadoop版本需要与spark对应的版本一致集群机器主机名IP地址（
无忧默言·2021-05-16 09:36

（三）Hadoop2.6.5 全分布式搭建

首先需要准备四台Linux虚拟机，搭建步骤与伪分布式基本一致，同样部分不再详细描述。1.四台均安装jdk，并配置环境变量2.给四个节点设置时间同步[root@node01software]#yuminstallntpdate-y[root@node01software]#ntpdatentp1.aliyun.com3.分发ssh密钥，先确保每个节点都有.ssh目录，如果没有可以先登陆一下自己，后将
yc_yz·2021-05-15 14:51

Alluxio部署（local模式）

下载（pre-buildforHadoop2.7)http://www.alluxio.org/download`解压tar-xvfalluxio-1.3.0-hadoop2.7-bin.tar生成配置文件
puroc·2021-05-14 16:08

Hadoop集群的搭建

记录下hadoop2.6.5集群的整个搭建流程，以免自己忘了，集由于Hadoop是依赖java的，所以我们也需要准好jdk。
一字节·2021-05-14 00:48

yarn原理详解

Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
scottzcw·2021-05-13 23:28

hadoop/spark节点动态调整

转自：hadoop2.7动态新增节点和删除节点转自：spark集群动态增加worker节点hadoop安装过程中包括yarn的节点，hadoop有多个节点，spark也是多个节点，也区分master和slave
晴天哥_374·2021-05-13 15:09

hbase与zk的独立部署(standalone)

hbase版本：hbase-0.98.20-hadoop2（经测试发现1.
_奔跑的蜗牛_·2021-05-12 17:18

大数据基本操作课程笔记（4）

课程目标1、安装hadoop2、尝试单机模式，伪分布模式，分布模式课前环境master、slave1、slave2三台虚拟机，可以相互ping通，可以免密登录，安装了jdk1.8.0，zookeeper
shi_zi_183·2021-05-10 16:19

spark-2.2.0安装和部署——集群学习日记

下载为了方便，我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0wgethttps://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7
Kwongtai·2021-05-09 16:43

Intellij IDEA2.6 + Hadoop2.9.0 本地开发MapReduce并提交到集群

IDEAHADOOP2.9.0前提需要安装jdk并且配置环境变量解压hadoop2.9.0到指定目录，并且配置环境变量HADOOP_HOME=C:\Work\hadoop-2.9.0HADOOP_BIN_PATH
2010jing·2021-05-08 20:02

Hadoop安装部署 双Namenote

hdp21192.168.95.21hdp22192.168.95.22hdp23192.168.95.23hdp24192.168.95.24hdp25192.168.95.25时间网络同步、关闭selinux创建用户hadoop，密码fujghadoop用户免密登录我准备把所有的文件都放在home目录下Hadoop2.7.3192.168.95.21hdp21
Mr_Gao_·2021-05-07 00:26

##Hadoop2.0(HDFS2)以及YARN设计的亮点

Hadoop2.0(HDFS2)以及YARN设计的亮点-似水流年-CSDN博客http://blog.csdn.net/xiaoshunzi111/article/details/49283213Paste_Image.pngHADOOP2.0
葡萄喃喃呓语·2021-05-04 13:18

5月21日第十四次早课Hadoop

1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?
ly稻草·2021-05-03 08:14

每日一读 11.03

hadoop2.x基于QJM的NameNode共享存储方案分析http://www.aboutyun.com/forum.php?
Vicor·2021-05-02 21:31

6.HADOOP发展史与发行版

实际上，目前Hadoop有三个版本：Hadoop1.0和Hadoop2.0，在2017年，又发布了3.0，但是3.0还远没有被大众用户接受，所以我们常用的是2.Xhadoop官网版本其中，Hadoop1.0
经纶先生·2021-05-01 11:20

黑猴子的家：Hadoop HA - 概念

HDFS的HAYARN的HA3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群。
黑猴子的家·2021-05-01 04:50

Hadoop2.7.3 环境配置

在上一篇简单使用OpenStack创建实例已经有三个VM，此文将在这个基础上搭建hadoop环境。做个记录，方便以后查询。OpenStack下的Ubuntuhadoop-2.7.3jdk将材料上传到VM可以用filezilla,xftp来上传。安装JDK解压$tar-zxvfjdk-8u121-linux-x64.tar.gz配置$vim/etc/profile在最后添加exportJAVA_HO
2010jing·2021-04-30 22:35

Linux部署Nodejs项目

download/下载安装包或者源代码下载node通过xshell登录Linux服务器将安装包上传到指定的安装目录，最好事先规划安装目录#事先创建好mongodb，node，project项目这些文件夹[root@hadoop214
淡就加点盐·2021-04-30 20:01

MapReduce基础编程，实现WordCount实例

MapReduce基础编程，实现WordCount实例，并导入到Linux中1、在Windows下下载Hadoop2、使用idea新建Java工程3、编写代码4、将编写的Java项目导出成jar包5、将
繁华尽头满是殇·2021-04-29 18:10

Hadoop系统架构与简单介绍

Hadoop系统架构一、Hadoop系统架构图Hadoop1.0与hadoop2.0架构对比图YARN架构:ResourceManager–处理客户端请求–启动/监控ApplicationMaster–
Albert陈凯·2021-04-29 03:38

编译hadoop2.7.3-亲自在centos7+jdk1.8上测试过

1.下载maven（apache-maven-3.3.3-bin.tar.gz）wgethttp://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz2.安装maventar-zxvfapache-maven-3.3.3-bin.tar.gz-C/usr/local/src/mvap
t_spider·2021-04-25 18:22

Hadoop HA高可用架构

HadoopHA高可用架构架构的问题及解决方案Hadoop1与Hadoop2模块架构HadoopHA高可用机制HadoopFederation联盟机制HA实现可能遇到的问题两个NameNode的Active
杀智勇双全杀·2021-04-24 23:09

Linux 账户建立和免密登录设置

账户建立：1.建立hadoop用户组：groupaddhadoop2.创建hadoop用户（赋予hadoop用户组并具有root权限）：useradd-s/bin/bash-d/home/hadoop-mhadoop-ghadoop-Groot3
小小一匹狼·2021-04-23 13:50

#HBase搭建

zc741520/blog/388718下载首先参考：http://hbase.apache.org/book.html#_configuration_files确定需要的HBase版本，我已经安装了Hadoop2.7.3
观星·2021-04-23 01:22

Spark on Yarn

版本：spark-2.3.0-bin-hadoop2.6http://spark.apache.org/docs/latest/running-on-yarn.html在YARN上启动Spark确保HADOOP_CONF_DIR
金刚_30bf·2021-04-22 10:31

HDAS HA 高可用

HDFS高可用一、高可用存在背景在Hadoop2.x之前，HDFS集群中只有一个NameNode节点，而NameNode节点可能会发生单点故障，一旦NameNode节点发生单点故障，整个集群都将处于不可用状态
Vince1958·2021-04-21 14:52

mapreduce采用多进程与spark采用多线程比较

转自：Mapreduce多进程与spark多线程ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和
wangliang938·2021-04-20 13:43

伪分布式-spark

解压安装包tar-zxvfspark-2.4.3-bin-hadoop2.7.tgz配置全局环境变量exportSPARK_HOME=/usr/local/src/sparkexportPATH=$PATH
蕴重Liu·2021-04-19 12:25

Hadoop + Hbase 安装部署

hadoop安装链接Linux安装Hadoop软件-##HADOOP安装步骤````1.tar-zxvfhadoop_2.7.1--解压hadoop2.pwd--查看当前路径3.ln-shadoop_2.7.1hadoop
有李说布清呀·2021-04-14 10:05

Spark Core随笔

1.2Spark&FlinkSpark:主要适用于离线计算业务中Flink:主要适用于实时计算业务中1.3Spark&Hadoop出现的时机：Hadoop1.x~Hadoop2.xHadoopSpark
南宫齐世伟·2021-04-13 23:20

2021年 全网最细大数据学习笔记（四）：Hadoop 之 HDFS的基本使用

HDFS间的文件复制4、复制与删除HDFS文件5、查看HDFS文件内容6、对比hdfsdfs三、Java操作HDFS1、前置工作2、示例代码一、学前必备知识2021年全网最细大数据学习笔记（一）：初识Hadoop2021
Amo Xiang·2021-04-10 16:11

linux centos7.6配置Hadoop+Spark+Hbase+Hive+Zookeeper集群

文章目录hadoop&spark集群配置网络配置(桥接模式)ip配置修改用户名（所有节点）配置ssh免密码登录安装JDK1.8.0环境(所有节点)安装Hadoop2.10.0(所有节点)遇到的问题安装关系型数据库
东流-beyond the label·2021-04-08 22:15

大数据人工智能技术全攻略

大数据人工智能技术全攻略大数据介绍人工智能介绍机器学习算法介绍深度学习算法大数据和人工智能的关系和区别大数据部门下分几个小部门或组几个组分工合作关系大数据部门都有哪些职位岗位技能与职责各个职位之间的协作配合关系各个职位对应的职业生涯规划和发展路线总结大数据介绍1、一般说到大数据，自然会提到Hadoop2
u010067340·2021-03-20 15:57

Spark框架深度理解三：运行架构、核心数据集RDD

从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解这篇博客大家可以先去温习一下Hadoop整个体系，然后再来了解Spark框架会更有效率。
master_hunter·2021-03-19 22:13

Hadoop 3.2.1‖联邦模式下突破router的性能瓶颈的实践

上两集回顾：在第一集（点击可参阅详情）中，我们通过性能故障排查解决了Hadoop2.6.0版本的瓶颈问题；在第二集（点击可参阅详情）中，我们将集群由Hadoop2.6.0版本升级到Hadoop3.2.1
·2021-03-12 01:31

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生
·2021-03-12 01:59

Spark

exportJAVA_HOME=/home/jdk1.7.0_17exportSPARK_HOME=/home/spark-1.4.0-bin-hadoop2.6exportSPARK_MASTER_IP
秦汉邮侠·2021-03-11 18:55

hadoop2.7.1本机无法访问centos7虚拟机50070端口

关闭防火墙[root@vm003downloads]#systemctlstopfirewalld.service
pluo1717·2021-03-11 12:59

hadoop2.x伪分布式搭建

【前言】之前搭建了hadoop1.x的伪分布式与全分布式，由于hadoop2.x与hadoop1.x在安装和配置上有较大的区别，所以对hadoop2.x的安装也做一个笔记以便日后学习。
先生_吕·2021-03-10 17:26

Hadoop 3.2.1‖联邦模式下突破router的性能瓶颈的实践

上两集回顾：在第一集（点击可参阅详情）中，我们通过性能故障排查解决了Hadoop2.6.0版本的瓶颈问题；在第二集（点击可参阅详情）中，我们将集群由Hadoop2.6.0版本升级到Hadoop3.2.1
·2021-03-09 22:40

Hadoop2.7.3环境搭建之伪分布式

Hadoop伪分布式环境搭建一、前置条件二、准备工作三、Hadoop安装四、伪分布式配置说明：熟悉Hadoop伪分布式环境搭建基本思路与流程，理解主从式结构体系思想一、前置条件前置条件请自行参考如下资料进行操作，确保虚拟机及操作系统正常安装安装VMware参考：https://blog.csdn.net/sujiangming/article/details/87991536创建虚拟机和安装操作系
若兰幽竹·2021-03-08 21:04

Hadoop Web控制台添加身份验证

我们在安装完hadoop2.x版本之后，默认情况下，可以通过http://ip:50070/dfshealth.html访问hdfs页面，查看namenode和datanode状态，以及hdfs的相关文件等
xiaokebiubiubiu·2021-03-08 00:23

spark安装测试

spark安装测试spark-shell使用提交流程分析spark安装测试解压安装：把安装包上传到/opt/soft下,并解压到/opt/module/目录下tar-zxvfspark-2.1.1-bin-hadoop2.7
海绵不老·2021-03-05 23:02

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生
·2021-02-25 11:24

大数据技术原理与应用：期末考点总结

目录第一章大数据概述第二章Hadoop第三章HDFS第四章HBase第五章NoSQL第六章云数据库第七章MapReduce第八章Hadoop2.x第九章Spark第十章流计算第一章大数据概述1.大数据的
虾米奥·2021-02-18 22:37

spark中读取json_【spark】文件读写和JSON数据解析

vallines=sc.textFile("file://")//文件地址或者HDFS文件路径本地地址"file:///home/hadoop/spark-1.6.0-bin-hadoop2.6/examples
咏恒灬貂蝉·2021-02-11 10:40

HDFS

2.HDFSHadoop2.0以后的版本移除了原有的JobTracker和TaskTracker，改由YarnResourceManager负责集群中所有资源的统一管理和分配，NodeManager管理单个计算结点系统架构
SteveJohnson·2021-02-06 12:55
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他