Hadoop2

Sqoop2的安装和使用

解压并安装sudotarxvfzsqoop-1.99.6-bin-hadoop200.tar.gzsudomvsqoop-1.99.6-bin-hadoop200sqoop/sudochmod-R775sqoop
玄月府的小妖在debug·2020-03-15 11:55

Spark SQL 探索

1.环境说明Hadoop2.7.1集群Spark2.0.1集群Hive2.0.12.内容简介SparkSQL基本操作3.参考文档本节推荐阅读的理论文章：3.1SparkSQLandDataFrameGuide
玄月府的小妖在debug·2020-03-14 19:32

Hadoop集群执行start-all.sh后没有namenode没有启动

Date:2019/09/08Version:Hadoop2.7，ubuntu16.04LTSHadoop集群配置好后，执行start-all.sh启动集群后，然后执行jps查看java进程，发现没有namenode
pluo1717·2020-03-13 17:11

Hadoop从入门到精通1：Hadoop2.x环境搭建之本地模式

Hadoop有三种工作方式：本地模式，伪分布模式和全分布模式。它们三者的特点分别是：本地模式只需要一台机器，使用的是本地文件系统而不是HDFS文件系统，功能是用于测试MapReduce程序；伪分布模式也只需要一台机器，使用的是HDFS文件系统，在一台机器上模拟全分布模式的全部功能，用于开发测试Hadoop程序；全分布模式需要多台机器，基于HDFS文件系统的主从分布式架构，用于实际的生产环境。本节就
金字塔下的小蜗牛·2020-03-13 08:23

Windows中安装hadoop2.7.3

最近频繁写MapReduce，测试代码需要打jar包上传到服务器上在进行测试，每次调试的时候很是费时费力，故写下该篇文章，对初学hadoop的人来说应该还有用需要的物件1.win7系统2.Hadoop2.7.3
青蓝莓·2020-03-13 03:03

在Hadoop 2.0上实现深度学习

如何在Hadoop2.0上实现深度学习？-文章-伯乐在线http://blog.jobbole.com/84619///鉴于深度学习天生就继承了迭代性，MapReduce模式可能不太适合运行这些算法。
葡萄喃喃呓语·2020-03-13 02:51

提交任务到集群

Hadoop2.7.4+Spark2.2.0滴滴云分布式集群搭建过程使用IDEA+sbt构建Scala+spark应用，统计英文词频代码很简单importorg.apache.spark.
14142135623731·2020-03-12 19:40

CentOS7配置ssh无密码登录

ssh-keygen然后一路回车默认就好本机免密码登录，使用下面命令ssh-copy-idlocalhost如果想从当前机器免密码登录到另一台机器，例如，想从当前主机名为hadoop1的机器，免密码登录到主机名为hadoop2
sphsyv·2020-03-12 12:13

GeekBand 系统设计与实践

1.分布式系统2.CAP理论3.数据库系统3.1ACID与BASE3.2具体结构设计4.异步通信5.一致性定义第二周1.系统设计基本意识2.Hadoop与MapReduce2.1Hadoop2.2MapReduce2.3BigTableThisisGoogle'sscalabledatabase.Itprovidesawaytocreatemassivetablesofinformationind
bilinbilin·2020-03-12 08:08

spark sql use hive

sparksql通过SparkSQL查询hive中的数据要求提供操作截图切换数据库，选择指定的表；操作sunyonggang@gg01:~/spark-1.4.0-bin-hadoop2.6$.
yonggang_sun·2020-03-12 01:00

org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)问题

在Windows10远程开发Hadoop2.6.0版本时遇到了这个错误，本地电脑已经配置基本的要求（Hadoop环境变量配置，winutils.exe文件放入bin目录下），网上的方案很多都是通过在Windows
Super~me·2020-03-11 13:00

利用Spark提供的属性来提升Spark Web UI的安全性

本文基于Spark2.1.0版本、Hadoop2.7.3版本如无特殊说明，本文的SparkWebUI，特指:[DriverWebUI]（默认是http://运行Driver程序的主机IP:4040)Spark
俺是亮哥·2020-03-10 17:59

1 Hadoop简介和编译 2018-05-11

.Hadoop官网http://hadoop.apache.org/2.hadoop版本说明①.hadoop1.x：HDFS：分布式文件系统，存储MapReduce：分布式计算+资源调度和作业调度②.hadoop2
lizhigang·2020-03-09 23:27

sqoop2安装以及使用demo.md

sqoop1.4.x也被称为sqoop1,sqoop1.99.x也被称为sqoop2软件环境Hadoop-2.6.3伪分布式+sqoop1.99.6注意：sqoop1.99的各个版本和hadoop2的版本之间存在一个兼容性的问题
zjlearn·2020-03-09 19:43

win +本地pyspark

www.cnblogs.com/jackchen-Net/p/6667205.html#_label3在sitepackages下新建pyspark.pth文件，并添加D:\apps\spark\spark-2.2.1-bin-hadoop2.7
Kean_L_C·2020-03-09 14:16

Hadoop 2.6.0 HDFS Rack Awareness（机架感知）原理与配置步骤详解

Hadoop2.6.0HDFSRackAwareness（机架感知）原理与配置步骤详解前言：  多副本前提下，在访问HadoopHDFS集群时，访问速度直接受到Datanode选取策略的影响。
耗子在简书·2020-03-09 05:44

大数据开发基础上学习笔记

1.hadoop2环境搭建下载了Hadoop2.5.2，在Ubuntu16.04下安装，按照视频的步骤配置好hadoop开发环境。
52d6e6e954b4·2020-03-08 07:48

Eclipse安装Hadoop插件配置Hadoop开发环境

第三方的编译教程：https://github.com/winghc/hadoop2x-eclipse-plugin二、放置插件并重启Eclipse将编译好的插件hadoop-eclipse-plugin
Alukar·2020-03-07 14:12

Hadoop2.6.1 安装

1.安装jdk配置环境变量apt-getinstallopenJdk8exportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_
lixinxin·2020-03-07 08:30

hadoop安装

sudoaddgrouphadoopsudoadduser--ingrouphadoophadoop2.现在只是添加了一个用户hadoop，它并不具备管理员权限，因此我们需要将用户hadoop添加到管理员组
lmem·2020-03-07 01:08

3 HDFS详解 2018-05-24

SecondaryNameNode(SNN)：第二名称节点；2.Block数据块大小：旧版本：64M新版本：128M参数：dfs.blocksize3.副本数dfs.replication:3一个块会变为3个块hadoop2
lizhigang·2020-03-07 00:46

Hadoop2.0 NameNode HA和Federation简明理解

引子为什么需要NameNodeHA和Federation？1.规避NameNode单点故障，secondarynamenode只是定期做checkpoints，无法保证数据完整性，当nn失效时无法即时顶替；2.随集群规模扩大，NameNode内存出现瓶颈，Federation作用是“扩容”架构原理NameNodeHA实现方式：1.有主备NameNode，分别在active和standby模式。两者
柠樂helen·2020-03-06 13:26

Spark 2.x+IntelliJ IDEA 2017.3开发环境搭建和开发示例

【原创】Helenykwang于2018-01-1318:10:18编写不用maven，不用sbt，只需三个库一、环境说明集群：Spark2.1.2+hadoop2.3开发机OS：win7Jdk1.8.0
柠樂helen·2020-03-06 10:46

Sqoop导入HBase，并借助Coprocessor协处理器同步索引到ES

1.环境Mysql5.6Sqoop1.4.6Hadoop2.5.2HBase0.98Elasticsearch2.3.52.安装（略过）3.HBaseCoprocessor实现HBaseObserverpackagecom.gavin.observer
水他·2020-03-06 08:03

Linux系统Hadoop下载

下载Hadoop，选择“*.tar.za”版本下载方法一：进入Web官网下载官网下载：https://archive.apache.org/dist/本人选择hadoop2.2下载：https://archive.apache.org
Ada54·2020-03-05 21:09

深入理解MapReduce原理

在这篇文章中我们会对MapReduce（Hadoop2.x的版本）的概念、执行流程、工作原理进行深入探讨。
杨赟快跑·2020-03-05 21:37

Hadoop用户的无密码信任关系实验

1、新建用户hadoopuseraddhadoop2、切换到hadoop用户su-hadoop3、先清空.sshwenjrm-rf.ssh4、生成秘钥ssh-keygen[hadoop@hadoop001
糊涂蟲·2020-03-05 04:33

centos+hadoop+hive 安装

环境：windows10、virtualBox、centos6.8、hadoop2.6.0、jdk1.7.0_79、mysql本文主要分为4大块，分别是virtualbox下centos安装、hadoop
晴天哥_374·2020-03-05 00:47

1 - Hadoop2.0集群搭建流程详解

1.使用vm安装centos7.0可以参考文章:CentOS7.0系统安装配置步骤及网络开启配置详解(https://blog.csdn.net/youzhouliu/article/details/51175364)2.配置linux虚拟机桥接模式,设置上网第一个虚拟机,定为master可参考文章:#主机桥接Centos7联网问题总结3.使用vm克隆两个虚拟机,组件集群克隆的两个虚拟机,分别为s
夏光辉·2020-03-04 23:45

Spark 集群搭建

.安装好Hadoopspark集群搭建步骤1.安装Scala==============================================到官网下载Hadoop对应版本的Scala我的是Hadoop2.2.0
起个什么呢称呢·2020-03-04 06:26

Hadoop实战（3）_虚拟机搭建CDH的全分布模式

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式建立Linux虚拟机(全节点)客户机操作系统：rhel-server
padluo·2020-03-04 00:42

Hadoop2.6.4配置

hadoop用户#添加hadoop用户useraddhadooppasswdhadoop(按照提示输入密码)并将其加入sudoers，方便后续配置操作，可参考用户不在sudoers文件中的解决方法下载Hadoop2.6.4cd
AdonisGe·2020-03-03 11:28

【Spark实战】Spark之读写HBase

tar.gzHadoop：hadoop-2.6.0-cdh5.4.5.tar.gzZooKeeper：zookeeper-3.4.5-cdh5.4.5.tar.gzSpark：spark-2.1.0-bin-hadoop2.61.2Spark
_和_·2020-03-03 07:41

大数据一安装vm12+centos7+sftp+Xshell+hadoop2.7.4之一

一．安装简介项：1．安装centos7+vm12+hadoop2.7.4+sftp5+Xshell5（克隆后不需要考虑网络配置，它是自增长的。
漩Jessie·2020-03-02 08:22

在CentOS 6上轻松搭建Hadoop（本地模式）

Hadoop的下载4、JDK和Hadoop环境设置5、配置Hadoop6、启动Hadoop0x01：过程1、添加特定的组（hadoop）和用户（hduser）【以root用户登录】1)groupaddhadoop2
明月的味道·2020-03-02 08:03

centos7 安装 hadoop2.8.1

1，查看操作系统版本[hadoop@vm172-31-64-34~]$cat/etc/centos-releaseCentOSLinuxrelease7.0.1406(Core)2，主机规划172.31.64.33master172.31.64.34slave1172.31.64.12slave23，创建hadoop用户登录各主机，执行useraddhadooppasswdhadoop4，免密登录
rich_linn·2020-03-02 04:32

Hadoop2.7.2完全分布式部署安装

目前自己摸索了几天，终于打Hadoop2.7.2的完全分布式安装弄好了。写篇文章Mark下，自己回头可以看一下，也希望对读者有点帮助。目前还是有些问题的，会在文章尾部列出，希望知道的朋友指点一点。
StephenZ·2020-03-01 17:19

hadoop常见问题解决

[TOC]启动hadoop2.6遇到的datanode启动不了datanode的clusterID和namenode的clusterID不匹配。
百炼·2020-03-01 16:53

Sqoop2安装

再者，其对Hadoop的支持版本有些特别要求，比如Hadoop1和Hadoop0.x还有Hadoop2.x的兼容性等。在下载时一般要注意其兼容的Hadoop版本（Sqoop官网
insoPlus·2020-03-01 13:27

window下搭建eclipse运行MapReduce环境

下搭建eclipse运行MapReduce环境date:2016-07-1309:47:21tags:MapReducecategories:大数据系统环境及所需文件eclipse-jee-mars-2hadoop2.7.2hadoop-eclipse-pluginhadoop.dll
Skye_kh·2020-03-01 08:54

异常：sqoop，hbase，NoSuchMethodError，HTableDescriptor，addFamily

场景Sqoop1.4.6Mysql5.6Hadoop2.6.4HBase1.2.2将mysql的数据导入到hbase中Commondsqoopimport--connectjdbc:mysql://localhost
水他·2020-03-01 08:08

Mac+eclipse+hadoop2

此文主要介绍mac环境下，在eclipse中搭建hadoop2的开发环境，以编写mapreduce程序。
朝圣的路上·2020-02-29 06:04

Sqoop部署、使用以及排错

1、Sqoop部署Sqoop1.4.4在Hadoop2.2.0集群上的安装sqoop安装部署(笔记)2、Sqoop的使用①相关链接使用sqoop将MySQL数据库中的数据导入HbaseSqoop1.4.4
司小幽·2020-02-28 22:21

Hadoop HA高可用解析以及脑裂问题

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
Mervyn_2014·2020-02-28 17:29

详解Hadoop2.7.2 编译64位源码

一、环境准备1.CentOS配置最好是用新克隆的虚拟机，虚拟机内存设置大一点（我设置的4G），配置网络，主机名，关闭防火墙，关闭selinux注意：采用root角色编译，减少文件夹权限出现问题2.jar包准备(hadoop源码、JDK8、maven、ant、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）apac
默默走开·2020-02-28 15:39

Coursera---Bisic Hadoop Stack(lession test1)

答：SQLtoHadoop2.WhatispartofthebasicHadoopStack'Zoo'?
花生花二三说·2020-02-28 13:14

hadoop部署出现java.lang.illegalargumentexception：uri has an authority component错误

今天在部署hadoop2.6.0完全分布，在用hdfsnamnode-format命令格式化namenode时出现java.lang.illegalargumentexception：urihasanauthoritycomponent
reedom1991·2020-02-28 11:46

Hadoop安装

1.Hadoop广义：以hadoop软件为主的生态圈狭义：hadoop软件hadoop1.xhdfs存储数据mapreduce分布式计算以及任务调度hadoop2.xhdfs存储数据分布式文件系统mapreduce
一生逍遥一生·2020-02-28 05:09

Mac 安装 Hadoop2.7.3步骤记录

一、安装Homebrew(已安装的可以省略这一步)Homebrew是OSX中的方便的套件管理工具。采用Homebrew安装Hadoop非常简洁方便（中文官网：http://brew.sh/index_zh-cn.html）复制下面代码在终端中运行就可以得到安装：/usr/bin/ruby-e"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew
ElliottSheng·2020-02-27 21:12

WOT架构师系列访谈（6）Databricks研究员连城

Spark（也包括微软的Dryad，Google的Dremel以及Hadoop2的Tez）则
葡萄喃喃呓语·2020-02-26 09:15
上一页 59 60 61 62 63 64 65 66 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他