Hadoop2

hadoop 无法load Native库的问题（ Unable to load native-hadoop library ）

此问题的缘由一般来说有两种hadoop2.6及之前的版本官方提供的二进制包本地库多数都是32-bit的，而现在服务器基本都是64bit，所以存在这个问题，这样一般解决办法是与服务器相同的os环境下安装一般类库
kris37·2020-02-26 07:46

spark 集群

salve上,root@slave2:/opt/spark-2.1.0-bin-hadoop2.6/conf#vimspark-env.sh:exportJAVA_HOME=/usr/lib/jvm/java
焉知非鱼·2020-02-26 02:11

通过Loadrunner连接操作Hadoop HDFS

本文以Loadrunner的Java_Vuser脚本为例，来做一次HDFS的文件操作测试，由于LoadRunner11只支持JDK1.6，所以Hadoop选择的Jar包也只能用Hadoop2.6.0，但是这不影响连接高版本的
smooth00·2020-02-26 02:42

hive insert overwrite hdfs(hive输出结果导出到hdfs) 错误

，Hive导出过程出错causedby:java.io.IOException:CannotgetDistCpconstructor:org.apache.hadoop.tools.DistCp.()hadoop2.7.2hive1.2.1
kris37·2020-02-26 01:03

大数据一安装vm12+centos7+sftp+Xshell+hadoop2.7.4之二

主节点（master）复制到从节点(slave)[zhangting@masterhadoop]$scp-rhadoop2.7.4zhangting@slave:~/注意:因为之前已经配置了免密钥登录,
漩Jessie·2020-02-24 20:15

Yarn之状态机分析

Yarn之状态机分析前言hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞。
龙梦起飞·2020-02-24 16:41

SuperMap 大数据基础环境搭建

tar.gzhbase1.3.1.bin.tar.gzgeomesa-hbase_2.11-2.0.1-bin.tar.gzjdk-8u181-linux-x64.tar.gzspark-2.1.0-bin-hadoop2.7
Gerhard_杨光辉·2020-02-24 13:51

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.4/Ubuntu16.04

简介本教程适合于原生Hadoop2，包括Hadoop2.6.4,Hadoop2.7.1等版本，看了很多资料，自己搭建了好几次，特做个总结，按照步骤来都能成功。
Clannad_汐·2020-02-24 10:21

hadoop3自学入门笔记(2)—— HDFS分布式搭建

一些介绍Hadoop2和Hadoop3的端口区别Hadoop3HDFS集群架构我的集群规划nameiprole61192.168.3.61namenode,datanode62192.168.3.62datanode63192.168.3.63secondnamenode64192.168.3.64datanode1
有理想的coder·2020-02-23 21:00

异常：Sqoop找不到或无法加载主类Sqoop

++++环境hadoop2.5.2sqoop1.4.6异常错误:找不到或无法加载主类org.apache.sqoop.Sqoop网上解决方案最终解决办法是吧sqoop目录下的sqoop-1.4.4.jar
水他·2020-02-23 05:11

hadoop2.7.3部署记录

参考了网上很多的文档，终于部署成功，记录下来方便大家环境OracleVMVirtualBoxVM1：master10.22.4.31/24centOS-7-1611VM2:slave0110.22.4.33/24centOS-7-1611VM3:slave0210.22.4.34/24centOS-7-16111.修改主机名[root@master~]#hostnamectlset-hostnam
辉耀辉耀·2020-02-22 19:20

##Hadoop 2.0+YARN启动脚本分析与实战经验

Hadoop2.0+YARN启动脚本分析与实战经验-郑文亮-博客园http://www.cnblogs.com/zhwl/p/3670997.html总的来说这个启动过程分为多个层次，分别是：整个集群级别的配置
葡萄喃喃呓语·2020-02-22 15:43

ubuntu16.04 本地安装hadoop

1.jdk1.8环境搭建2.下载hadoop2.7.73.创建hadoop文件夹sudomkdir/usr/share/hadoop4.解压hadoopsudotar-zxvfhadoop-2.7.7.
WJXZ·2020-02-22 06:04

六、Spark集群搭建

集群搭建(3)二、Hadoop集群搭建三、Hive搭建（不需要搭建集群）四、Zookeeper集群搭建五、kafka集群搭建六、Spark集群搭建本节所需的安装包有：※spark-2.0.2-bin-hadoop2.7
国家一级蹦迪运动员·2020-02-22 02:13

大数据——hadoop2.0集群搭建

hadoop2.0集群搭建hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。
大数据开发学习·2020-02-21 23:48

Hadoop安装教程_单机/伪分布式配置

本教程适用于原生Hadoop2.7，主要参考了官方安装教程，按照步骤，基本能够顺利安装并体验Hadoop的精彩之处。
羽恒·2020-02-21 23:07

《编程狂人》第八十二期，程序员必看的技术周刊

2015年度Eclipse社区报告FIS3发布，来自百度的前端解决方案VS2015将于7月20日发布，所支持的C++特性已经完成Google云项目将存储于Git之上贾扬清：希望Caffe成为深度学习领域的Hadoop2015PHP
推酷·2020-02-21 13:52

hadoop集群～NameNode/Journal Node

HadoopJournalNode作用-八戒_o-开源中国社区https://my.oschina.net/u/189445/blog/661561hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动
葡萄喃喃呓语·2020-02-21 02:34

华为云服务器centos7.2下hadoop2.8.0完全分布式

前言:使用云服务器有一个特别需要注意的地方,就是/etc/hosts文件中ip地址要是私网ip,不能用公网ip,否则报java.net.BindException2017-06-2815:25:07,371ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode:Failedtostartnamenode.java.net.BindException
HUAWEIMate20·2020-02-20 20:18

大数据环境部署（一）

1.软件版本软件版本号jdk1.8.xscalaScala2.11.12zookeeper3.4.10kafka2.11_0.11.0.1hadoop2.6.5spark2.3spark-2.3.0-bin-hadoop2.6
梧上擎天·2020-02-20 13:16

linux安装hive 2.3.4

1.安装hadoop详细请参见本人的另外一片文章《Hadoop2.7.3分布式集群安装》2.安装mysql数据库详细请参见本人的另外一片文章《linux安装mysql5.7.27》3.下载hive2.3.5
yuhan_sining·2020-02-19 20:47

5堂Hadoop必修课，高手锻造之路

第一堂课：大数据集群搭建葵花宝典由浅入深，四步成“狮”1）快速搞定伪分布Hadoop集群搭建2）高可用的5节点Hadoop分布式集群搭建（Hadoop2.6.0）3）生产环境：CDH5高可用集群环境搭建
小讲嘚吧嘚·2020-02-19 07:11

+hadoop2.7.3

参考：http://blog.csdn.net/gamer_gyt/article/details/52045663hadoop2.7.3yarn模式已经搭建完成.hadoop安装目录：/home/hadoop
观星·2020-02-19 03:39

hive2.1.1部署记录

参考了网上很多的文档，终于部署成功，记录下来方便大家本文衔接《hadoop2.7.3部署记录》http://www.jianshu.com/p/07d6d93c0009上文有过的部署将不再赘述。
辉耀辉耀·2020-02-17 08:47

[土木匠] 编译hadoop2.9源码并搭建环境

【转载请注明出处】：土木匠https://www.jianshu.com/p/3921b1706b24因为以前安装Hadoop编译版的时候遇到过问题，时间比较久了，具体问题有些描述不清了，建议大家下载源码自己编译安装，如果遇到bug自己直接可以修改安装。本文的实验系统是mac，但是其他环境类似。1.安装jdk参考文章http://www.jianshu.com/p/8f60af7642632.安装
土木匠·2020-02-16 09:08

HBase 1.2.2完全分布式安装

官方参考文档：http://hbase.apache.org/book.html0x00前提1.Zookeeper正常运行2.HadoopHDFS正常运行具体请参照上一篇文章：Hadoop2.6.0分布式环境安装
明月的味道·2020-02-16 08:47

阿里云 安装 sqoop 1.99

image.pngsqoop还是比较简单首先官网下载tar包并解压tar-zxvfsqoop-1.99.7-bin-hadoop200.tar.gz-C/usr/local重命名mvsqoop-1.99.7
Helen_Cat·2020-02-16 07:42

hadoop-ha完全分布式高可用

10.33.101.243master10.33.101.244slave0110.33.101.247slave021、创建账号#以root用户创建hadoop用户和组创建hadoop用户和组groupaddhadoopuseradd-ghadoophadoop#修改用户密码passwdhadoop2
SiLiangfeng·2020-02-15 19:55

Hadoop2-HDFS-read file

Hadoop读书笔记2-HDFS-readwritefileHDFS是一个分布式文件系统，在HDFS上写文件的过程与我们平时使用的单机文件系统非常不同，从宏观上来看，在HDFS文件系统上创建并写一个文件，流程如下图（来自《Hadoop：TheDefinitiveGuide》一书）所示：(注意L：这是读文件的示意图。贴错图了)具体过程描述如下：Client调用DistributedFileSyste
raincoffee·2020-02-15 11:16

Flink安装及实例演示

1.7.2)二、传入虚拟机并解压压缩包下载完成后，通过虚拟机工具复制粘贴到虚拟机中（直接拖过去可能文件大小会出问题），虚拟机工具安装参考接着来到压缩包的存放位置tar-xvfflink-1.7.2-bin-hadoop26
就像空中月·2020-02-13 22:00

CentOS 伪分布式配置Hadoop2.7.3

安装JDK设置ssh免密码登入rsa密钥认证：$cd~/.ssh#进入本机home目录$ssh-keygen-trsa#生成本机id_rsa（私钥）、id_rsa.pub（公钥）$ssh-copy-idlocalhost#将公钥拷贝到要免登陆的机器上，切勿使用私钥#此处localhost为远程主机的localhost或dsa密钥认证：$ssh-keygen-tdsa-P''-f~/.ssh/id_
SnorlaxSE·2020-02-13 07:03

hadoop集群搭建

Centos版本：CentOSLinuxrelease7.3.1611(Core)jdk：java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64hadoop版本：hadoop2.7.3
Kavim·2020-02-13 07:55

无标题文章

display/TEZ/Indexdownloadhttps://github.com/wankunde/tezhttps://github.com/apache/tezclouderaversionhadoop2.5.0
万昆·2020-02-12 10:58

Hadoop--MapReduce阶段的Split阶段

接下来笔者将会分别详细介绍着四个阶段，也会加上Hadoop2.6.0的源码进行分析。从而加深读者对Split阶段的理解。
songsongJ·2020-02-12 08:44

Hadoop HA 配置

NameNode，还有一个secondaryNameNode，secondaryNameNode作为冷备份，在NameNodefail的时候并不能接替NameNode的工作，即Hadoop的单点问题，因此Hadoop2
虾米在海飘·2020-02-12 05:40

2018-11-20 在Ubuntu 18中进行Hadoop伪分布式安装

我PC上是win10和Ubuntu18.0.4双系统hadoop2.8.5jdk1.81.安装配置jdk从orcle官网上下载jdk，解压复制到/usr/local/下/usr/local/jdk1.8
偕_2bb8·2020-02-12 03:03

Spark分布式搭建

前期准备jdk-8u141-linux-x64.tar.gz安装包scala-2.12.7.tgz安装包hadoop-2.7.3.tar.gz安装包spark-2.3.2-bin-hadoop2.7.tgz
你妈平砍连击带顺劈·2020-02-11 05:33

Linux上面安装hadoop3.2.0教程

ContentsLinux上面安装hadoop3.2.0教程一、安装java并配置环境变量1.安装Java2.配置linux下java环境变量二、安装配置hadoop1.安装hadoop2.hadoop
惟月慎行·2020-02-11 05:26

搭建Spark集群(一)——使用VirtualBox建立虚拟机

windows7系统）CentOS7.0安装文件hadoop-2.6.0.tar.gz、scala-2.10.5.tgz、jdk-7u79-linux-x64.rpm、spark-1.3.1-bin-hadoop2.6
cyfloel·2020-02-11 00:51

hbase 1.2.4安装

安装hadoop2.7.3安装zookeeper安装hbase1.2.4配置hbase中的hbase/conf/hbase-site.xml文件hbase.master10.1.234.209:6000hbase.master.maxclockskew180000hbase.rootdirhdfs
我是Mr小赵先生·2020-02-10 15:16

正式安装Hadoop2.5的伪分布式

就是修改几个配置文件配置环境变量hadoop-env.shimage.png要用到的vim知识：D删除从当前位置到该行结尾如果不知道JAVA_HOME是什么：切换到底行模式，然后echoJAVA_HOME。复制到该位置配置核心组件core-site.xml要用到的vim知识：G跳转到尾行image.png配置文件系统hdfs-site.xmlimage.png配置计算框架mapred-site.x
jose_dl·2020-02-10 10:56

11. HDFS主要流程之HA切换流程

在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，即每个HDFS集群中只有一个Namenode，一旦这个节点不可用，整个HDFS集群就将处于不可用状态。
ZFH__ZJ·2020-02-10 00:18

sqoop1将mysql数据导入数据库

环境：hbase1.1.9集群zookeeper-3.4.9集群hadoop2.7.1集群注：sqoop2不支持直接将mysql数据导入hbase,所以选择sqoop1一、sqoop1安装1解压安装sudotarxvfzsqoop
玄月府的小妖在debug·2020-02-09 13:50

Ubuntu1404下安装Hadoop240（单机模式）

一、在Ubuntu下创建hadoop组和hadoop用户增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。1、创建hadoop用户组2、创建hadoop用户sudoadduser-ingrouphadoophadoop回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。如果不输入密码，回车后会重新提示输入密码，即密
JeffDing·2020-02-09 12:14

hadoop搭建伪分布式集群（centos7+hadoop-3.1.3）

地址3.修改主机名为hadoop4.修改/etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装Java环境第二部分Hadoop正式安装1.安装Hadoop2
日常_笔记·2020-02-08 06:21

hadoop(16)--Hbase集群搭建

Hbase的集群比Hadoop的集群简单很多，话不多说1,解压我用的Hbase还是很早的版本,只要和hadoop相匹配就行，主要匹配hadoop2.x就可以tar-zxvfhbase-0.96.2-hadoop2
ROCK_杰哥·2020-02-07 04:41

sqoop安装和使用

apache/sqoop/https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/http://archive.apache.org/dist/#更多历史版本本教程：hadoop2.7.5hdfs
geiliHe·2020-02-07 00:00

如何搭建高可用Hadoop集群

介绍为了解决Hadoop1.x的单点故障问题，Hadoop2.x引入了高可用集群的概念。HDFS架构遵从Master/Slave拓扑，
alvin_wang·2020-02-06 02:29

centos7搭建hadoop2.10高可用(HA)

本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jns(journalnodes)IPhostname进程
七星6609·2020-02-03 10:47

centos7搭建hadoop2.10高可用(HA)

本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jn(journalnode)；3台zk(zookeeper
七星6609·2020-02-02 23:00
上一页 60 61 62 63 64 65 66 67 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他