Hadoop2

ganglia在hadoop中的配置:hadoop-metrics2.properties

ganglia3.6.0hadoop2.0.0-cdh4.2.0使用hadoop-metrics2.properties,在文件中添加以下内容,#forGanglia3.6support*.sink.ganglia.class
种菜的·2020-08-14 17:21

08-永不停歇的大象-Hadoop高可用与自动故障转移

Hadoop高可用与自动故障转移本章目标什么是Hadoop高可用什么是故障转移自动故障转移1什么是Hadoop高可用在Hadoop2.0之前，也就是Hadoop1.0面临NameNode的单点故障（singlepointoffailure
isscollege·2020-08-14 17:33

ganglia在hadoop中的配置:hadoop-metrics2.properties 以及各监控项含义

http://blog.csdn.net/ljq32/article/details/37662665ganglia3.6.0hadoop2.0.0-cdh4.2.0使用hadoop-metrics2.
beyondlpf·2020-08-14 16:01

HDFS Hedged Read

Hedgedreads是HDFS的一个功能，在Hadoop2.4.0之后引入。一般来说，每个读请求都会由生成的一个线程处理。
王小禾·2020-08-14 16:04

源码编译zepplin踩过的那些坑

官方教材：http://zeppelin.apache.org/docs/0.7.3/install/build.htmlStep1.确定系统环境和需要的各软件版本Centos6.7OraceJDK1.8Hadoop2.6.0
走向自由·2020-08-14 16:41

（Hadoop）Hadoop高可用

hadoop2.0的改进与提升组件Hadoop1.0局限和不足Hadoop2.0的改进HDFSNameNode存在单点故障风险HDFS引入了高可用机制MapReduceJobTracker存在单点故障风险
Cx️XM·2020-08-14 15:03

Hadoop-将python代码运行在hadoop上

1.启动hadoop,start-all.sh启动hadoop2.copylocalexampledatatohdfsbin/hadoopdfs-copyFromLocal/opt/tmp/user/hduser
qingwuh·2020-08-14 13:03

Hadoop生态系统

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。YARN是
子鱼_sunmac·2020-08-14 13:10

Hadoop2.7.2之集群搭建（三台）

原文地址：http://blog.csdn.net/uq_jin/article/details/51513307如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124如果你还没有试过单机模式，请参考：http://blog.csdn.net/uq_jin/article/details/51451995参考：http:
廖振钦·2020-08-14 11:37

spark RDD中的partition和hdfs中的block的关系

hdfs文件是分布式存储，每个文件根据配置被切分成block(hadoop2.x默认128M)。为了达到容错的目的，根据配置每个block块存放N个副本，官方推荐正常情况下保留
sunkl_·2020-08-14 11:05

Hadoop2.4.1部署（完整版）

原文地址引言转眼间，Hadoop的stable版本已经升级到2.4.1了，社区的力量真是强大！3.0啥时候release呢？今天做了个调研，尝鲜了一下2.4.1版本的分布式部署，包括NNHA（目前已经部署好了2.2.0的NNHA，ZK和ZKFC用现成的），顺便也结合官方文档http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop
青竹居士·2020-08-14 04:19

Spark集群Win10本地开发环境搭建

Java（必要）1.下载java2.安装java3.配置环境变量二、安装scala（不必要）1.下载scala2.安装scala3.配置scala环境变量4.验证安装三、安装Hadoop（不必要）1.下载hadoop2.7.72
达娃里氏·2020-08-14 02:16

Linux下编译使用hadoop-2.6.0 Eclipse插件（一）：编译

LinuxMint17(Ubuntu14.04)Eclipse:eclipse-inst-linux64.tar.gz参照原文：README二、相关依赖JDK1.8:下载地址ant1.9.7：下载地址Hadoop2.6.0eclipse
市井牛虻·2020-08-14 01:19

虚拟机Ubuntu下Hadoop2.6.1的安装和配置（伪分布式）

安装前提：因本人是在虚拟机中安装的Hadoop，故在此主要讲解的是虚拟机中的安装，本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386，其中配置如下图一、安装VMwareTools安装了VMwareTools后，可以在宿主机和虚拟机之间直接拷贝文件。先运行命令  
yuzhuzhong·2020-08-13 23:29

在Ubantu上安装配置Hadoop3，Hadoop3编译运行java程序

/article/details/82928809https://blog.csdn.net/kongxx/article/details/79350554需要注意的是，Hadoop3配置xml文件与Hadoop2
xiaoyisha·2020-08-13 23:56

hadoop 3.X超详细搭建集群

之前集群搭建过hadoop2.6和2.7，但是听说hadoop3.x有新特性，减少了IO的次数，据介绍并行计算能力是spark的10倍。
JoeyData·2020-08-13 22:35

大数据(1)：基于sogou.500w.utf8数据的MapReduce程序设计

环境：centos7+hadoop2.5.21.使用ECLIPS具打包运行WORDCOUNT实例，统计莎士比亚文集各单词计数（文件SHAKESPEARE.TXT）。
weixin_33910759·2020-08-13 21:02

Ubantu下搭建Hadoop2.x完全分布式集群

原文地址：http://jingyan.baidu.com/article/27fa73269c02fe46f9271f45.html一、工具/原料·linux系统（本篇使用的是CentOSv6.5）·Hadoop安装包（本篇使用的是hadoopv2.6.0）二、环境要求1.1需要安装JDK6.0以上版本（可自行解压安装或使用自带的软件安装包，如yum）2.2需要无密码登录的SSH环境（安装ssh
mars-kobe·2020-08-13 20:52

hadoop2.6快速离线部署

1.关闭防火墙-#firewall-cmd--state-#systemctlstopfirewalld.service-#systemctldisablefirewalld.service-#vi/etc/selinux/configSELINUX=disabled，然后重启2)虚拟机IP配置BOOTPROTO=staticIPADDR=192.168.220.20NETMASK=255.255
thinkpadshi·2020-08-13 19:30

sqoop与hbase导入导出数据

环境：sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7说明：1.文中的导入导出的表结构借鉴了网上的某篇博客2.mysql导入hbase可以直接通过sqoop进行3.hbase
thinkpadshi·2020-08-13 19:30

sqoop1.4.6离线部署于hadoop2.6之上与hive导入导出数据

1).下载最新的sqoop1.4.6安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar2).解压到/usr/local，跟hadoop同一级别#tar-xzvfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz-C/usr/local#mvsqoop-1.4.6.bin__hadoop-2.0.4-alphasqoop1.43)添
thinkpadshi·2020-08-13 19:30

搭建Hadoop2.0.0CHD4.4.0

配置hadoop环境变量涉及到几个xml配置文件hadoop-env.sh：配置hadoop依赖的环境，如：jkdcore-site-xml：core的配置项，例如hdfs和mapreduce常用的i/o设置等hdfs-site.xml:hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等yarn-site.xml：mapreduce配置项master记录运
sunmeng_Alex·2020-08-13 19:32

hadoop完全分布式部署

一、服务器准备1、操作系统:centos6.52、ip规划:192.168.3.100master192.168.3.101hadoop1192.168.3.102hadoop23、修改主机名[root
azhou46·2020-08-13 13:39

在CentOS环境下，使用PyCharm进行Spark开发

2实现代码自动补全将Spark中的spark-2.4.0-bin-hadoop2.7/python/pyspark文件夹（注意，不是bin/pyspark可执行文件），
张之海·2020-08-13 12:47

搜狗搜索日志分析系统500w数据（一、数据预处理（Linux））

环境：maxos上parallel虚拟机安装的centos7hadoop2.6.0一、数据预处理（Linux环境）搜狗数据的数据格式：访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t
_WWWZP·2020-08-13 12:39

Mac下docker搭建Apache Hadoop完全分布式集群

软件包准备ApacheHadoop2.9.2https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gzjdk1.8.231https
迷茫的老年人·2020-08-12 22:38

Spark2.4.5集群安装与本地开发

下载官网地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz验证Java是否安装
架构设计之道·2020-08-12 16:26

mahout最新版+hadoop2.4.1运行kmeans分布式算法

但是mahout0.10之前都只能支持到hadoop1.x版本，所以大部分使用hadoop2.x的朋友，很苦恼，虽然网上各种办法，大都折腾的很，浪费时间且错误百出，鉴于此，将本人集成的成功案例分享给大家
wonderful_life_mrchi·2020-08-12 00:12

hadoop2.7.2安装

一、下载jdk8并配置环境变量二、下载hadoop2.7.2解压（tar-zxvf文件名）三、（1）修改相关配置文件hadoop-env.shyarn-env.shmapred-env.sh在其中增加java
我是波哥·2020-08-12 00:03

HDFS分布式文件系统

hadoopo原理hadoop2.0的HA机制有两个namenode，一个是activenamenode，状态是active；另外一个是standbynamenode，状态是standby。
weixin_34336526·2020-08-11 23:32

Yarn 的组成及其工作流程

在后面的Hadoop2中改成了Yarn+MapReduce架构，将资源的调度工作交给了Yarn，MapReduce只负责计算。这样就能保证Hadoop集群技能跑MapR
weixin_33989780·2020-08-11 23:58

【Hadoop需要的Jar包】Hadoop编程-pom.xml文件

JDK版本的要求Hadoop2.7以及之后的版本，需要JDK7；Hadoop2.6以及之前的版本，支持JDK6；对于Hadoop1.x.x版本，只需要引入1个jar：hadoop-core对于Hadoop2
weixin_33875839·2020-08-11 23:50

Yarn resourceManager 无法启动

YarnresourceManager无法启动错误日志：在日志hadoop2/logs/arn-daiwei-resourcemanager-ubuntu1.log中problembindingto[ubuntu1
weixin_30706691·2020-08-11 23:46

基于Docker搭建大数据集群（三）Hadoop部署

主要内容Hadoop安装前提zookeeper正常使用JAVA_HOME环境变量安装包微云下载|tar包目录下Hadoop2.7.7角色划分角色分配NNDNSNNcluster-master是否否cluster-slave1
njpkhuan·2020-08-11 22:06

Mac单机Hadoop2.7下安装Spark2.2+配置SparkSQL查询Hive表+spark-sql CLI 查询

下面简单记录mac单机spark安装测试的过程已安装好单机的伪分布式Hadoop，见Mac单机Hadoop安装备忘已安装好单机的hive，见Mac-单机Hive安装与测试单机Mac安装spark并做简单yarn模式shell测试配置SparkSQL查询Hivespark-sqlCLI查询Hive一、安装Spark1-下载安装scalahttps://www.scala-lang.org/downl
hjw199089·2020-08-11 21:11

Hadoop Web项目--Mahout0.10 MR算法集锦

1.涉及技术及下载项目开发使用到的软件有：Myeclipse2014，JDK1.8，Hadoop2.6，MySQL5.6，EasyUI1.3.6，jQuery2.0，Spring4.1.3，Hibernate4.3.1
fansy1990·2020-08-11 21:52

vmware 10.0.1、ubuntu-14.04.5和hadoop2.8.5 搭建hadoop小集群

说明：用的工具和软件如下（我的宿主机为win764位）：vmware10.0.1、ubuntu-14.04.5-desktop-amd64.iso(桌面版)、hadoop2.8.5环境：我在宿主机上用vmware
一只小棉花·2020-08-11 21:18

Mac brew install hadoop 出现 not linked

问题初始是install时linked不成功，导致后边hadoop不能用~ᐅbrewinstallhadoopUpdatingHomebrew...Warning:hadoop2.8.1isalreadyinstalled
afunyusong·2020-08-11 21:52

MAC下Hadoop2.7.2配置

一、检测JDK版本1、java-versionk-MacBook-Pro:~$java-versionjavaversion"1.8.0_60"Java(TM)SERuntimeEnvironment(build1.8.0_60-b27)JavaHotSpot(TM)64-BitServerVM(build25.60-b23,mixedmode)2、若终端无法识别java命令，在百度或google
KirogiYi·2020-08-11 20:59

使用命令行编写运行第一个hadoop程序

预备：1、预先准备已安装好javaJDK、Hadoop2、环境：ubuntu3、文件夹介绍3.1hadoop安装在/home/usr/nancy/hadoop/hadoop-2.9.2下3.2创建的wordcount
NancyNancy_·2020-08-11 20:45

【Hbase】hbase入门使用教程

该文章的前期准备hadoop安装zk安装本文所用的hbase版本是0.98.9在安装hbase前，先确保下依赖组件的各个版本，本文的hadoop版本是2.6，在官网上没有给出支持的相关说明，但是我们仍然来使用hadoop2.6
chiweitree·2020-08-11 16:31

Hadoop编译源码（面试重点）

版本：ApacheHadoop2.7.2下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2
爪 哇·2020-08-11 13:03

（超详细+亲测有效）Ubuntu18.0.4安装并配置hive-2.3.7

一、环境及相关文件下载（下载地址永久有效）Ubuntu18.0.4、Hadoop2.7.7、mysql8.0.20。
菜菜初学者·2020-08-11 11:18

Hbase的安装步骤

解压Hbasetar-zxvfhbase-0.98.12.1-hadoop2-bin.tar.gz配置环境变量vi~/.bash_profileexportHBASE_HOME=/home/hbase-
差不多de先生·2020-08-11 05:39

windows 环境下，IDEA 开发HBase与Java连接hbase长时间无反应问题

1.本地环境hbase1.2.1错用了hadoop-core.jar，应该使用hadoop2版本的jar2.本地环境没有配置regionServers的host要现在hbase安装主机上的ect\hosts
muyingmiao·2020-08-11 05:01

Debzium系列-Debzium MySQL Binlog 集成到Hive 坑（一）

环境说明kakfa2.5debezium-debezium-connector-mysql-1.2.0confluentinc-kafka-connect-hdfs-5.5.1(hadoop2.x的)集成思路
数据新玩法·2020-08-11 05:13

Hadoop快速入门

1）数据量大2）数据时效性3）数据多样性（1）数据存储类型多样性（2）数据分析类型多样性4）数据价值1.4应用场景1）个人推荐2）风控3）成本预测4）气候预测5）人工智能1.5工作方向1.6分布式二、Hadoop2.1Hadoop
zhou_zhao_xu·2020-08-11 05:06

Hadoop Mapreduce本地调试

我的本地开发环境是Mac10.11.4,Hadoop2.6.4,集群操作系统是centos6.7MapReduce的本地调试方式:1.Mapreduce运行在M
咕噜大大·2020-08-11 05:11

Hadoop(1)---运行Hadoop自带的wordcount出错问题。

在hadoop2.9.0版本中，对namenode、yarn做了ha，随后在某一台namenode节点上运行自带的wordcount程序出现偶发性的错误（有时成功，有时失败），错误信息如下：18/08/
weixin_34234721·2020-08-11 04:17

hadoop开发步骤

xshell,xftp6.设置静态IP7.三个ping还可以进行ipa看一下有没有IP，还可以通过xshell8.免密码登录9.使用yum安装vim10.安装jdk（window，linux）11.安装hadoop2.612
q935829913·2020-08-11 03:57
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他