Hadoop2

Linux（centos）上安装hadoop2.x

转载：http://www.powerxing.com/install-hadoop-in-centos/详细的安装过程，上述文章中讲的非常详细，但是在实际过程中有一些问题需要解决：第一个问题：安装Hadoop的时候直接用的bin版本，根据教程安装好之后运行的时候发现出现了：WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryfory
sxy20054·2020-07-05 15:21

【分布式编程】一——基于VirtualBox的Hadoop完全分布式环境搭建

系统架构虚拟机环境：VirtualBoxLinux系统：Ubuntu16.04LTS工具包JDK1.8Hadoop2.7.5拓扑结构：如下操作步骤【注】本步骤以Master为例，其他虚拟机可以使用克隆功能复制
tiweeny·2020-07-05 14:32

hadoop学习笔记(六)——hadoop2.5.2全分布模式实现的部署

环境：centos7+hadoop2.5.2+jdk1.7已经在前两篇博客中出现的步骤具体细节一笔带过，不再展示，具体可以参考ssh免密码登陆，伪分布1)SSH免密码登陆2)主节点安装jdk和hadoop
thinkpadshi·2020-07-05 14:23

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addre
spring8743·2020-07-05 13:22

安装spark//python中os.path.abspath及os.path.join以及正态分布PPF

命令：vim~/.bashrcsource~/.bashrcpsaux|grepsparkpkill-f"spark"sudochown-Rsc:scspark-2.3.1-bin-hadoop2.7/
一只勤奋爱思考的猪·2020-07-05 12:54

大数据技术之Hadoop（HDFS）第8章 HDFS HA高可用

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用
尚硅谷铁杆粉丝·2020-07-05 11:28

pyspark_juypter环境

确保安装juypter和spark.bashrc增加环境变量exportSPARK_HOME=/xxx/hadoop-mahout-maven/spark/spark-2.3.0-bin-hadoop2.7exportPYSPARK_DRIVER_PYTHON
cotecc·2020-07-05 11:51

Centos7搭建Hadoop3.1.3完全分布模式

详细搭建可以参考我的Hadoop2.8.0安装准备本文下载的是3.1.3版本的Hadoop关闭防火墙systemctlstopfirewalldsetenforce0虚拟机的准备安装3个虚拟机并实现ssh
浩翰Redamancy·2020-07-05 09:22

hadoop学习笔记（四）HA环境

我们先来看一下hadoop1.x的架构图image可以看到，有且只有一个namenode，集群可靠性会受到影响，当namenode出现问题时会影响到整个集群工作，所以，在hadoop2.x中解决了这个问题
桐间纱路·2020-07-05 09:56

Windows下的eclipse远程连接Linux下的Hadoop2.7.3

前提条件：Ubuntu/CentOS系统下安装好hadoop环境Windows系统下安装好eclipse步骤：下载eclipse连接hadoop所需的文件https://pan.baidu.com/s/1FhxQdQ7svCEl8mxw21QzMw下载的文件夹包含以下文件：上面的使用说明，为另外三个文件的使用方法，内容如下：1）将hadoop-eclipse-plugin-2.7.3.jar文件复
Hadoop_Liang·2020-07-05 09:47

大数据之Hadoop学习（六）利用Shell命令对HBase数据库基本操作

HBase数据库基本操作一、启动Hadoop和HBase1.打开Hadoop2.启动HBase3.进入Shell界面二、HBase中创建表三、HBase数据库基本操作1.添加数据2.删除数据3.查看数据
w²大大·2020-07-05 09:56

Hadoop集群环境搭建（virtualbox和centos7）

准备1.Cento7的安装2.vitualbox5.23版本（w10环境）3.java8的安装https://www.cnblogs.com/shihaiming/p/5809553.html4.hadoop2.6.0
Cytues·2020-07-05 08:39

从VirtualBox安装到使用Hadoop单词计数详细图解

系统安装完成Ⅱ在linux上安装JDK1.下载并安装JDK2.修改配置变量(1)通过vim进入profile(2)修改环境变量3.检查是否安好Ⅲ下载、安装、配置Hadoop环境、并启动Hadoop1.下载Hadoop2
Aries888·2020-07-05 07:34

windows下安装Hadoop并配置环境变量

archive.apache.org/dist/hadoop/common/直接解压，不需要安装，放在自己想要放到的目录底下需要设置的变量有HADOOP_HOMEC:\hadoop\spark-2.3.3-bin-hadoop2.7PATH
斗破大陆wawa·2020-07-05 06:50

[大数据]Hadoop大数据开发基础----环境配置(一)

自己看书了解一下~下面说一下Hadoop集群的搭建及配置1.Hadoop相关软件及版本软件版本备注LinuxOsCentOS6.864位JDK1.7+64位VMware14pro（10以上的版本都可以啦）Hadoop2.6.5
qq_36563021·2020-07-05 06:40

CentOS7安装hadoop2.7.2 实现伪分布式 测试成功（亲测教程）

CentOS7安装hadoop2.7.2实现伪分布式测试成功（亲测教程）CentOS7安装hadoop2.7.2实现伪分布式测试成功（亲测教程）经过几天的尝试，终于在CentOS7下安装hadoop，实现伪分布式
Lucky_wangtao·2020-07-05 05:42

Setting up IPython Notebook with PySpark

InstallSparkDownloadlatestsparkspark-1.4.1-bin-hadoop2.6.tgztarxvfzspark-1.4.1-bin-hadoop2.6.tgz-C/usr
im_vincent__·2020-07-05 05:48

大数据学习十七：Spark2.3.1编译

http://spark.apache.org/downloads.html2、本次编译所用环境（请确保有VPN，否则一些包无法下载，会编译失败）JDK1.8Maven3.3.9Scala2.11.8Hadoop2.6.0
RacyFu·2020-07-05 05:41

Hadoop 集群搭建伪分布式、集群/分布式

阅读本章需把笔者的如下两章做好才可进行虚拟机VMware中安装linux系统CentOSCentOS7设置静态IP以及windows下ping不通虚拟机、虚拟机ping不通外网解决方案本教程适用于在CentOS7系统中安装Hadoop2
Swt_BigData·2020-07-05 04:21

【Hadoop 】第五天 Hadoop-HA 搭建

文章目录问题Hadoop1.0存在的问题：单点故障和内存受限Hadoop2.0解决方案：现在只讨论HA的实现：ZooKeeper:在HDFS-HA搭建的过程中起着分布式协调作用搭建图HDFS非HA跟HA
SoWhat1412·2020-07-05 04:40

spark伪分布式搭建及spark页面8080端口访问出错的问题

集群搭建都很简单）1、首先到官网下载spark压缩包2、下载命令行中使用：wgethttp://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7
宋哥哥丢了金箍棒·2020-07-05 04:32

[Hbase][大数据]Hadoop2.7.3 下安装Hbase1.2.7

hbase-1.2.7下载地址http://hbase.apache.org/使用secureCRT连接虚拟机进入要保存压缩包的文件夹内[root@server1~]#cd/opt/softwares将Windows上的hbase-1.2.7-bin.tar.gz传输到CentOS上的softwares文件夹内[root@server1softwares]#rz选择要传输的压缩包将压缩包解压到/o
曹纾离·2020-07-05 02:05

Linux下安装Hadoop

本教程适合于原生Hadoop2，包括Hadoop2.6.0,
qinzhaokun·2020-07-05 02:53

Hbase集群搭建

Ø虚拟机：Vmware10.0ØHadoop2.7.0ØZookeeper3.4.6ØHbase-0.98.12.1-hadoop2-bin
学习-分享-成长·2020-07-05 02:09

YARN HA架构部署测试

在Hadoop2.4之前，ResourceManager是纱线集群中的单一故障点。高可用性特性以活动/备用资源管理器对的形式添加冗余，以删除此故障点。
明明德撩码·2020-07-05 02:08

Hadoop基础之HA（高可用）

1.Hadoop2.0产生背景早期的hadoop版本，NN(namenode)是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。
landy8530·2020-07-05 02:16

Hadoop2.6 全分布式安装,配置了联邦

Hadoop全分布式安装2.6共4台机器hadoop01namenodezookeeperzkfc(zookeeperfailovercontroller)hadoop02namenodedatanodezookeeperjournalnodezkfchadoop03datanodezookeeperjournalnodehadoop04datanodejournalnode修改主机名称永久生效重
余音丶未散·2020-07-05 02:55

centos虚拟机设置hostname总是变得问题

后来发现设置hostname最好的方式是修改/etc/hostname文件-bash-4.2$hostnamehadoop2-bash-4.2$vim/etc/hostnamehadoop2~~这是之后重启
编码的三叔·2020-07-05 02:58

详解hadoop1.x和hadoop2.x的区别及补充hadoop3.x新特性

hadoop1.x和hadoop2.x的主要区别在于：1、hadoop1.x没有提供架构中主节点namenode及jobtrack的高可用及负载均机制。而在hadoop2.x中有。
Mr_249·2020-07-05 01:57

Linux 之 Spark 环境部署笔记——Spark安装

1.下载下载地址：https://archive.apache.org/dist/spark/2.解压将安装包放入linux中，然后解压tar-zxvfspark-1.6.0-bin-hadoop2.6
_东门吹雪·2020-07-05 01:18

Linux中基于hadoop安装hive(RHEL7.0+hadoop2.8.3+hive2.3.2)

1下载hive2安装2.1上载和解压缩2.2配置环境变量2.3对hive进行配置2.3.1hive-site.xml相关的配置2.3.1.1新建hive-site.xml文件2.3.1.2使用hadoop新建hdfs目录2.3.1.3检查hdfs目录是否创建成功2.3.1.4修改hive-site.xml中的临时目录2.3.1.5修改hive-site.xml数据库相关的配置2.3.1.6将MyS
myjbase·2020-07-05 00:04

ubuntu20.04server下安装hadoop2.8.5

参考Ubuntu下Hadoop安装（全命令行版）安装环境项目名称版本电脑硬件HuweiMatebookXProi7-8550U16G512G操作系统Windows10家庭中文版虚拟机VMware®Workstation15Pro15.0.0build-10134415运行系统ubuntu20.04server20.04amd64Java虚拟机OpenJDK1.8.0_252-8u252-b09Ha
lyqdy·2020-07-04 23:46

Kettle链接Hadoop的配置过程

版本：Kettle：7.1.0.0-12Hadoop：Hadoop2.6.0-cdh5.10.21、启动SpoonSpoon是Kettle图形化开发工具。
mikeliuy·2020-07-04 23:07

hadoop在windows下安装

apache/hadoop/common/这是一个镜像地址，可以找到很多hadoop的版本我下载的是2.6.5的版本如果镜像找不到可以换地址找http://hadoop.apache.org(官网)将下载的hadoop2.6.5
@进行中·2020-07-04 22:57

Hadoop进阶

Hadoop进阶源码地址：github1第一章概述hadoop的体系架构HDFS架构块：DataNode：NameNode：SecondaryNameNode:Hadoop1.X架构图Hadoop1.X架构图Hadoop2
小小少年Boy·2020-07-04 22:49

《大数据技术原理与应用》第二章：大数据处理架构Hadoop

文章目录2.hadoop2.1简介2.2项目结构2.3安装2.4集群的部署和使用这是慕课网林子雨老师开设的课程，这本书也是林子雨老师写的。感兴趣的戳MOOC《大数据技术原理与应用》。
ErinLiu❤·2020-07-04 22:35

Hadoop之——Hadoop机架感知策略与自定义机架感知实现

2、hadoop2.7.2策略第一个副本在cli
冰 河·2020-07-04 20:58

phoenix入门

1.运行hadoop2.运行hbase3.下载phonix4.拷贝common/phoenix-3.0.0-incubating-client-minimal.jar和common/phoenix-core
键盘上的孤舞者·2020-07-04 20:48

Hadoop HA高可用解析以及脑裂问题

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
彩笔程序猿zxxxx·2020-07-04 20:54

hadoop学习--hbase0.96整合到hadoop2.3.0安装过程

Hbase集群安装前注意1）Java：（hadoop已经安装了），2）Hadoop0.20.x/Hadoop-2.x已经正确安装（hadoop安装参考hadoop2完全分布式最新高可靠安装文档），并且可以
奋斗的鱼·2020-07-04 19:51

Hadoop2.6 HDFS EDIT LOG分析

以hadoopfs-chowndata_sum:data_sum/test/input为例，讲解决EditLog的执行过程。当客户端执行以上命令时，通过RPC调用，服务器端执行NameNodeRpcServer.setOwner方法,代码如下：@Override//ClientProtocolpublicvoidsetOwner(Stringsrc,Stringusername,Stringgro
houzhizhen·2020-07-04 17:11

hadoop2.4.0的distcp引起的问题

最近在支持业务部门将数据从hadoop0.20.203迁移到hadoop2.4.0的时候，distcp报了几个错误，在这里记录一下：1、报权限错误15/01/0610:48:37ERRORtools.DistCp
快乐程序员·2020-07-04 17:04

Hadoop2.7.7 centos7 完全分布式 配置与问题随记

Hadoop2.7.7centos7完全分布式配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用
G-Aurora·2020-07-04 17:00

Hadoop2.7.7 centos7 完全分布式 配置与问题随记

Hadoop2.7.7centos7完全分布式配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用
G-Aurora·2020-07-04 17:00

细数搭建hadoop集群中遇到的坑及解决办法

本人环境centos7，JDK1.8,Hadoop2.8.2测试环境时报错1.WARNhdfs.DFSClient:DataStreamerException.Thereare0datanode(s)runningandnonode
laoguan123·2020-07-04 16:00

geowave+geoserver+hbase+hadoop完全分布式部署安装部署

的快速非切片动态渲染技术，很是震撼，感叹已经落伍了，耗费一周时间研究了一下centos7下geowave+geoserver+hbase+hadoop完全分布式的部署，坑太多了，给大家参考吧安装版本：hadoop2.7.3zookeeper3.4.6hbase1.4.12geowave1.1.0geoserver2.4.0Tomcat8jdko
Mr.Peng~·2020-07-04 15:13

Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)

3.4.6（建议使用Zookeepr-3.4.5，这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了）Sqoop1.4.5Scala-2.10.4Spark-1.0.2-bin-hadoop2J
edentyin·2020-07-04 15:50

hadoop 2.7.1 高可用安装部署

在hadoop2中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。
dlwvvx1943·2020-07-04 14:51

Hadoop Yarn任务调度器

Hadoop2.7.2默认的资源调度器是CapacityScheduler。
这个妹妹我见过的·2020-07-04 14:00

大数据学习笔记之Zookeeper（四）：Zookeeper实战篇（二）

4.3.1eclipse环境搭建4.3.2创建ZooKeeper客户端：4.3.3创建子节点4.3.4获取子节点4.3.5判断znode是否存在4.3.6监听服务器节点动态上下线案例4.1分布式安装部署0）集群规划在hadoop2
Leesin Dong·2020-07-04 14:40
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他