hadoop2

在centos7中部署hadoop2.8分布式集群并安装hbase

本文详细记录了centos7中安装hadoop2.8分布式集群,之后在hadoop中部署hbase，并简单演示了使用。
郭江伟·2021-06-06 23:20

Win10的pycharm上通过pyspark访问服务器上的SPARK和HBASE

前提：hadoop集群已部署完成Hadoop集群：Hadoop2.6.5spark-2.3.0*.*.*.1hadoop1*.*.*.2hadoop2*.*.*.3hadoop3*.*.*.4hadoop4hbase-env.xmlhbase.zookeeper.quorumhadoop1
木目范·2021-06-06 22:50

hadoop2.x单节点安装

https://my.oschina.net/jackieyeah/blog/657032正在运行的任务hadoopjob-list杀掉任务hadoopjob-killjob_1528518736003_0011给文件加权限hadoopfs-chmod-R755/*.datajava-versionbashrcexportJAVA_HOME=/usr/local/src/jdk1.7.0_79ex
楼剑波_1654·2021-06-06 17:23

(03)Spark学习知识储备

1）、JaveSE基础，Scala语言2）、Hadoop2.x有所认识，有一定的基础，会一些基本东西3）、英语的要求
KyleHai·2021-06-06 04:24

hadoop集群安装

环境：Centos7.0，JDK1.8设置主机名hostnamehadoop1hadoop2hadoop3hosts/etc/hosts192.168.31.17hadoop1192.168.31.210hadoop2192.168.31.65hadoop3
madfrog_hc·2021-06-05 06:11

通过hive shell操作phoenix下的hbase表

环境配置hive-2.3.2hbase-1.4.2phoenix-4.14.0-HBase-1.4spark-2.3.0-bin-hadoop2.7想通过phoenix来统一hbase表的操作，所以首先在
soycici·2021-06-05 02:11

Centos7 最小系统安装hadoop——大数据实验

文章目录1.安装JDK1.1下载JDK1.81.2安装JDK1.82.安装hadoop2.1新建用户并进行相关配置2.2正式安装2.3Hadoop单机配置（非分布式）2.4Hadoop分布式配置参考文章特别注意
PenGoFox·2021-05-26 15:22

hadoop单机及完全分布式集群的安装

1.hadoop我Hadoop的安装目录为/usr/local/workspace/hadoop2.hdfs2.1单机模式单机模式即不使用分布式模式，无需启动namenode和datanode，自动使用
巴中第一皇子·2021-05-23 18:16

hadoop-spark

1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.73.配置环境变量HADOOP_HOME:D
mpro·2021-05-19 06:04

搭hadoop+hbase（mac单机）

摘要单机搭hadoop+hbase流程记录引用学习：1、hadoop2.7.4单机版安装2、HBase环境搭建安装程序准备：hadoop-2.7.7:https://mirrors.tuna.tsinghua.edu.cn
死鱼姐姐·2021-05-18 02:43

pycharm利用pyspark远程连接spark集群的实现

1方法1.1软件配置spark2.3.3,hadoop2.6,python31.2spark配置Spark集群的每个节点的Python版本必须保持一致。在每个节点的$S
·2021-05-17 17:26

Hadoop集群节点之间ssh免密登录

回到根目录，查看目录下有没有.ssh文件，如果没有，可以先用命令：sshHadoop2，登录之后就会出现.ssh：cd.ssh/生成密钥ssh-keygen-trsa需要输入口令，直接回车即可，三次回车就行了此时会产生两个文件将密钥拷贝到其他节点
"Hello World".·2021-05-17 09:29

在centos7虚拟机上搭建伪分布式hadoop

版本选择：hadoop2.9.0，jdk：1.8网上有很多centos系统安装jdk的方法，这里我选择最简单的yum安装安装之前先检查一下系统有没有自带open-jdk命令：rpm-qa|grepjavarpm-qa
风逐叶·2021-05-17 04:38

Hive 基础搭建教程

需要安装Hadoop，教程：Hadoop基础搭建教程需要了解Hive基本概念：Hive基础知识1.相关依赖与版本说明JDK8Hadoop2.8.5Hive2.3.3一般的，Hive需要一个数据库用来保存元数据
edwin1993·2021-05-17 04:11

hadoop上搭建hive(远程模式+hive服务端、客户端)

环境hadoop2.7.1+ubuntu14.04hive2.0.1集群环境namenode节点：master(hive服务端)datanode节点：slave1,slave2（hive客户端）hive
玄月府的小妖在debug·2021-05-16 12:34

Hadoop平台搭建的常见错误及解决方法

问题一警告信息如下：JavaHotSpot™64-BitServerVMwarning:Youhaveloadedlibrary/usr/local/hadoop252/lib/native/libhadoop.sowhichmighthavedisabledstackguard.TheVMwilltrytofixthestackguardnow.It
会编程的李较瘦·2021-05-16 11:29

spark yarn集群搭建（一：准备工作）

linux环境准备spark/hadoop安装包spark-2.3.1-bin-hadoop2.7.tgzHadoop2.7.6注：hadoop版本需要与spark对应的版本一致集群机器主机名IP地址（
无忧默言·2021-05-16 09:36

（三）Hadoop2.6.5 全分布式搭建

首先需要准备四台Linux虚拟机，搭建步骤与伪分布式基本一致，同样部分不再详细描述。1.四台均安装jdk，并配置环境变量2.给四个节点设置时间同步[root@node01software]#yuminstallntpdate-y[root@node01software]#ntpdatentp1.aliyun.com3.分发ssh密钥，先确保每个节点都有.ssh目录，如果没有可以先登陆一下自己，后将
yc_yz·2021-05-15 14:51

Alluxio部署（local模式）

下载（pre-buildforHadoop2.7)http://www.alluxio.org/download`解压tar-xvfalluxio-1.3.0-hadoop2.7-bin.tar生成配置文件
puroc·2021-05-14 16:08

Hadoop集群的搭建

记录下hadoop2.6.5集群的整个搭建流程，以免自己忘了，集由于Hadoop是依赖java的，所以我们也需要准好jdk。
一字节·2021-05-14 00:48

yarn原理详解

Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
scottzcw·2021-05-13 23:28

hadoop/spark节点动态调整

转自：hadoop2.7动态新增节点和删除节点转自：spark集群动态增加worker节点hadoop安装过程中包括yarn的节点，hadoop有多个节点，spark也是多个节点，也区分master和slave
晴天哥_374·2021-05-13 15:09

hbase与zk的独立部署(standalone)

hbase版本：hbase-0.98.20-hadoop2（经测试发现1.
_奔跑的蜗牛_·2021-05-12 17:18

大数据基本操作课程笔记（4）

课程目标1、安装hadoop2、尝试单机模式，伪分布模式，分布模式课前环境master、slave1、slave2三台虚拟机，可以相互ping通，可以免密登录，安装了jdk1.8.0，zookeeper
shi_zi_183·2021-05-10 16:19

spark-2.2.0安装和部署——集群学习日记

下载为了方便，我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0wgethttps://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7
Kwongtai·2021-05-09 16:43

Intellij IDEA2.6 + Hadoop2.9.0 本地开发MapReduce并提交到集群

IDEAHADOOP2.9.0前提需要安装jdk并且配置环境变量解压hadoop2.9.0到指定目录，并且配置环境变量HADOOP_HOME=C:\Work\hadoop-2.9.0HADOOP_BIN_PATH
2010jing·2021-05-08 20:02

Hadoop安装部署 双Namenote

hdp21192.168.95.21hdp22192.168.95.22hdp23192.168.95.23hdp24192.168.95.24hdp25192.168.95.25时间网络同步、关闭selinux创建用户hadoop，密码fujghadoop用户免密登录我准备把所有的文件都放在home目录下Hadoop2.7.3192.168.95.21hdp21
Mr_Gao_·2021-05-07 00:26

##Hadoop2.0(HDFS2)以及YARN设计的亮点

Hadoop2.0(HDFS2)以及YARN设计的亮点-似水流年-CSDN博客http://blog.csdn.net/xiaoshunzi111/article/details/49283213Paste_Image.pngHADOOP2.0
葡萄喃喃呓语·2021-05-04 13:18

5月21日第十四次早课Hadoop

1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?
ly稻草·2021-05-03 08:14

每日一读 11.03

hadoop2.x基于QJM的NameNode共享存储方案分析http://www.aboutyun.com/forum.php?
Vicor·2021-05-02 21:31

6.HADOOP发展史与发行版

实际上，目前Hadoop有三个版本：Hadoop1.0和Hadoop2.0，在2017年，又发布了3.0，但是3.0还远没有被大众用户接受，所以我们常用的是2.Xhadoop官网版本其中，Hadoop1.0
经纶先生·2021-05-01 11:20

黑猴子的家：Hadoop HA - 概念

HDFS的HAYARN的HA3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群。
黑猴子的家·2021-05-01 04:50

Hadoop2.7.3 环境配置

在上一篇简单使用OpenStack创建实例已经有三个VM，此文将在这个基础上搭建hadoop环境。做个记录，方便以后查询。OpenStack下的Ubuntuhadoop-2.7.3jdk将材料上传到VM可以用filezilla,xftp来上传。安装JDK解压$tar-zxvfjdk-8u121-linux-x64.tar.gz配置$vim/etc/profile在最后添加exportJAVA_HO
2010jing·2021-04-30 22:35

Linux部署Nodejs项目

download/下载安装包或者源代码下载node通过xshell登录Linux服务器将安装包上传到指定的安装目录，最好事先规划安装目录#事先创建好mongodb，node，project项目这些文件夹[root@hadoop214
淡就加点盐·2021-04-30 20:01

MapReduce基础编程，实现WordCount实例

MapReduce基础编程，实现WordCount实例，并导入到Linux中1、在Windows下下载Hadoop2、使用idea新建Java工程3、编写代码4、将编写的Java项目导出成jar包5、将
繁华尽头满是殇·2021-04-29 18:10

Hadoop系统架构与简单介绍

Hadoop系统架构一、Hadoop系统架构图Hadoop1.0与hadoop2.0架构对比图YARN架构:ResourceManager–处理客户端请求–启动/监控ApplicationMaster–
Albert陈凯·2021-04-29 03:38

编译hadoop2.7.3-亲自在centos7+jdk1.8上测试过

1.下载maven（apache-maven-3.3.3-bin.tar.gz）wgethttp://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz2.安装maventar-zxvfapache-maven-3.3.3-bin.tar.gz-C/usr/local/src/mvap
t_spider·2021-04-25 18:22

Hadoop HA高可用架构

HadoopHA高可用架构架构的问题及解决方案Hadoop1与Hadoop2模块架构HadoopHA高可用机制HadoopFederation联盟机制HA实现可能遇到的问题两个NameNode的Active
杀智勇双全杀·2021-04-24 23:09

Linux 账户建立和免密登录设置

账户建立：1.建立hadoop用户组：groupaddhadoop2.创建hadoop用户（赋予hadoop用户组并具有root权限）：useradd-s/bin/bash-d/home/hadoop-mhadoop-ghadoop-Groot3
小小一匹狼·2021-04-23 13:50

#HBase搭建

zc741520/blog/388718下载首先参考：http://hbase.apache.org/book.html#_configuration_files确定需要的HBase版本，我已经安装了Hadoop2.7.3
观星·2021-04-23 01:22

Spark on Yarn

版本：spark-2.3.0-bin-hadoop2.6http://spark.apache.org/docs/latest/running-on-yarn.html在YARN上启动Spark确保HADOOP_CONF_DIR
金刚_30bf·2021-04-22 10:31

HDAS HA 高可用

HDFS高可用一、高可用存在背景在Hadoop2.x之前，HDFS集群中只有一个NameNode节点，而NameNode节点可能会发生单点故障，一旦NameNode节点发生单点故障，整个集群都将处于不可用状态
Vince1958·2021-04-21 14:52

mapreduce采用多进程与spark采用多线程比较

转自：Mapreduce多进程与spark多线程ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和
wangliang938·2021-04-20 13:43

伪分布式-spark

解压安装包tar-zxvfspark-2.4.3-bin-hadoop2.7.tgz配置全局环境变量exportSPARK_HOME=/usr/local/src/sparkexportPATH=$PATH
蕴重Liu·2021-04-19 12:25

Hadoop + Hbase 安装部署

hadoop安装链接Linux安装Hadoop软件-##HADOOP安装步骤````1.tar-zxvfhadoop_2.7.1--解压hadoop2.pwd--查看当前路径3.ln-shadoop_2.7.1hadoop
有李说布清呀·2021-04-14 10:05

Spark Core随笔

1.2Spark&FlinkSpark:主要适用于离线计算业务中Flink:主要适用于实时计算业务中1.3Spark&Hadoop出现的时机：Hadoop1.x~Hadoop2.xHadoopSpark
南宫齐世伟·2021-04-13 23:20

2021年 全网最细大数据学习笔记（四）：Hadoop 之 HDFS的基本使用

HDFS间的文件复制4、复制与删除HDFS文件5、查看HDFS文件内容6、对比hdfsdfs三、Java操作HDFS1、前置工作2、示例代码一、学前必备知识2021年全网最细大数据学习笔记（一）：初识Hadoop2021
Amo Xiang·2021-04-10 16:11

linux centos7.6配置Hadoop+Spark+Hbase+Hive+Zookeeper集群

文章目录hadoop&spark集群配置网络配置(桥接模式)ip配置修改用户名（所有节点）配置ssh免密码登录安装JDK1.8.0环境(所有节点)安装Hadoop2.10.0(所有节点)遇到的问题安装关系型数据库
东流-beyond the label·2021-04-08 22:15

大数据人工智能技术全攻略

大数据人工智能技术全攻略大数据介绍人工智能介绍机器学习算法介绍深度学习算法大数据和人工智能的关系和区别大数据部门下分几个小部门或组几个组分工合作关系大数据部门都有哪些职位岗位技能与职责各个职位之间的协作配合关系各个职位对应的职业生涯规划和发展路线总结大数据介绍1、一般说到大数据，自然会提到Hadoop2
u010067340·2021-03-20 15:57

Spark框架深度理解三：运行架构、核心数据集RDD

从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解这篇博客大家可以先去温习一下Hadoop整个体系，然后再来了解Spark框架会更有效率。
master_hunter·2021-03-19 22:13
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他