hadoop1

win10下Spark java读取Hbase数据

本文采用的配置为spark2.1+hadoop2.7.3+Hbase1.3.0安装hadoop1、hadoop在官网下载src之后解压，创建新系统环境变量HADOOP_HOME并把值设置为hadoop解压所在目录
shelmi·2017-05-09 14:17

hadoop,大数据面试都会问哪些问题

6、hadoop1和hadoop2的区别？笔试：1、hdfs中的block默认保存几份？2、哪个程序通常与nn在一个节点启动？并做分析3、列举几个配置文件优化？4
SCGH_Fx·2017-05-03 17:00

Flume一个数据源对应多个channel，多个sink

原文链接：http://www.tuicool.com/articles/Z73UZf6hadoop2和hadoop3上的收集的数据送到hadoop1集群上，然后hadoop1送到多个不同的目的。
liuxiangke0210·2017-04-30 12:28

Namenode HA原理详解

在hadoop1中NameNode存在一个单点故障问题，也就是说如果NameNode所在的机器发生故障，那么整个集群就将不可用(hadoop1中有个SecorndaryNameNode，但是它并不是NameNode
daydayup_668819·2017-04-26 18:33

hadoop1.0 和hadoop2.0 任务处理架构比较

阅读更多刚刚看到一篇文章对hadoop1和hadoop2做了一个解释图片不错拿来看看Hadoop1.0从上图中可以清楚的看出原MapReduce程序的流程及设计思路：首先用户程序(JobClient)提交了一个
stuming_zeng·2017-03-13 17:00

创建HDFS的FileSystem对象的小心得

FileSystemfs=FiileSystem.get(newURI("hdfs://hadoop1:9000"),newConfiguration());以这种方式可以创建fs对象，但缺点时，使用了空白的
alexanda2000·2017-03-02 21:59

Hadoop2.x 体系结构和源码编译

体系结构Hadoop1的核心组成包括HDFS和MapReduce。HDFS和MapReduce的共同点就是他们都是分布式的。
FlinkMe·2017-01-15 11:00

hadoop2.6 HA部署

因为需要部署spark环境，特意重新安装了一个测试的hadoop集群，现将相关步骤记录如下：硬件环境：四台虚拟机，hadoop1~hadoop4，3G内存，60G硬盘，2核CPU软件环境：CentOS6.5
alexanda2000·2016-12-25 14:49

secureCRT连接虚拟机与使用设置

ip和用户名，端口选择22（默认），点击连接后面会要求输入密码，这个密码是自己之前设置的假设上一步已经设置好，则左侧会出现Sessions以及自己的虚拟机ip，可以将名字由虚拟机改成主机名或其他名字，如hadoop1
一叶_障目·2016-11-23 12:27

Spark的shuffle剖析！

比如wordcount，显示在3台节点上，分别计算了spark的数量、hadoop的数量、scala的数量，结果如下：节点1：(spark1)(hadoop1)节点2：(hadoop1)(scala1)
moviebat·2016-11-14 16:29

hdfs的理解

Hadoop1版本默认是64M，假设80M东西，就被分成64M和16M东西。那么他是按照这样的格式来划分的。每个快是分散存储的。可能这个快64M是在这个datonode
qingliangdexiar·2016-11-14 12:06

大数据——从零开始写MapReduce程序

大数据—从零开始写MapReduce程序[email protected]、在Mac上配置Hadoop1）安装JAVA1.7.0_79，用java-version检验是否安装成功。
brycezou·2016-11-08 21:09

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图
ymq267·2016-11-05 02:00

eclipse运行hadoop1版本错误如下 ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIO$POSIX$Stat

今天在eclipse下测试Hadoop1版本的本地运行模式：但是程序一直抛出一个异常：ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIOPOSIXStat
a2011480169·2016-10-17 14:00

大数据开发利器：Hadoop（1）

Hadoop目前有三个版本：hadoop1，Hadoop2.0和Hadoop3.0Alpha1。本文将主要介绍前两个版本的核心组件及工作流程。1.2Hado
知庸vv·2016-10-09 23:22

大数据开发利器：Hadoop（1）

Hadoop目前有三个版本：hadoop1，Hadoop2.0和Hadoop3.0Alpha1。本文将主要介绍前两个版本的核心组件及工作流程。1.2Hado
知庸vv·2016-10-09 23:22

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。
fengshulin·2016-08-05 15:00

mycat 入门例子

---》需求按某种类型把表分库---》机器：*mysql1操作系统版本:centos6.5x64数据库版本:mysql5.1.73数据库名实例:db1hostname:hadoop1*mysql2操作系统版本
eefffffffffffff·2016-07-11 19:30

mycat 入门例子

阅读更多---》需求按某种类型把表分库---》机器：*mysql1操作系统版本:centos6.5x64数据库版本:mysql5.1.73数据库名实例:db1hostname:hadoop1*mysql2
ynp·2016-07-11 19:00

hadoop、大数据面试题（11） 比较好

6、hadoop1和hadoop2的区别？笔试：1、hdfs中的block默认保存几份？2、哪个程序通常与nn在一个节点启动？并做分析3、列举几个配置文件优化？
孟德新书·2016-06-20 10:33

01-Hive创建表

本实验集群3台，一个主节点(hadoop1)，三个从节点(hadoop1,hadoop2,hadoop3)，zk在三个节点中都安装。本实验的数据都是自己设
自我再教育·2016-06-02 10:37

hadoop2.2.0集群的HA高可靠的最简单配置

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。
nengyu·2016-05-31 07:00

基于hadoop2.6.0搭建5个节点的分布式集群

前言 我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群2、规划 1、主机规划 hadoop1
ljc520313·2016-05-20 16:00

部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation

注:本文基于官方文档以及其他资料,整合hadoop1的核心组成是两部分，即HDFS和MapReduce。在hadoop2中变为HDFS和Yarn。
gao634209276·2016-05-19 14:21

简单HDFS使用Journalnode HA部署

基于之前hadoop集群,实验Journal共享实现namenode的高可用,本篇只配置Hadoop的HDFS,其他Yarn,zookeeper,等均不关系.节点hadoop,hadoop1,hadoop2
gao634209276·2016-05-18 15:33

zookeeper集群搭建

阅读更多第一步：服务器配置三台CentOS6.5准备好之后，假设它们的IP地址分别为192.168.220.21,192.168.220.22和192.168.220.23.将它们的host分别命名为hadoop1
jinjzk·2016-05-17 11:00

大数据学习线路图

近期开始大数据的学习，在学习之前给给自己定义了一个大数据学习路线大数据技术学习路线指南一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3
kuchensheng·2016-05-14 12:51

hadoop配置免密码ssh登录

在master上更改权限在搭建hadoop集群时，需要机器相互可以免密码ssh，操作如下（四台机器都要操作）：ssh-keygen-trsa讲产生的公钥复制到master机器上并重命名，以hadoop1
吴小全·2016-05-10 22:13

hadoop配置免密码ssh登录

在master上更改权限在搭建hadoop集群时，需要机器相互可以免密码ssh，操作如下（四台机器都要操作）：ssh-keygen-trsa讲产生的公钥复制到master机器上并重命名，以hadoop1
WuXiaoQuan824212·2016-05-10 22:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。
cainimasb41·2016-05-07 10:25

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。
cainimasb41·2016-05-07 10:00

sparksql演示

//启动spark-shellbin/spark-shell--masterspark://hadoop1:7077--executor-memory3g//RDD演示valsqlContext=   
泡海椒·2016-05-03 20:00

Hbase单机版安装

2.Hbase0.98分别支持hadoop1和hadoop2，hadoop1已经不更新了，所以选用hbase0.98-hadoop-2。
carlosfu·2016-04-29 14:00

最详细的hadoop2.2.0集群的HA高可靠的最简单配置

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。had
shushugood·2016-04-18 19:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。
·2016-04-12 11:00

windows下搭建hadoop工程（一）

二、启动hadoop1、修改hadoop配置文件，在conf目
u010223431·2016-04-12 09:00

hbase使用问题记录

regionserverrunningasprocess45320.Stopitfirst. hadoop3:regionserverrunningasprocess50231.Stopitfirst. hadoop1
huangxia73·2016-03-22 16:00

【hadoop】14、hadoop2.5的mapreduce的 配置

配置mapreduce 加上这个mapreduce.framework.nameyarn然后在yarn-site.xml里面进行配置 yarn.resourcemanager.hostname hadoop1
phlsheji·2016-03-06 18:00

Hadoop中如何将namenode和secondary namenode分开在不同服务器上。

简单来说4台机器，hadoop1做master，其他三台hadoop2hadoop3hadoop4作为slave。现在我要将secondarynamenode放到h
shawnplaying·2016-02-22 14:00

Hadoop中如何将namenode和secondary namenode分开在不同服务器上。

简单来说4台机器，hadoop1做master，其他三台hadoop2hadoop3hadoop4作为slave。现在我要将secondarynamenode放到h
shawnplaying·2016-02-22 14:00

hadoop2 环境的搭建（自动HA）

hadoop113、hadoop114journalnode：hadoop110、hadoop111、hadoop112resourcemanager：hadoop110nodemanager：hadoop112、hadoop1
菜七·2016-02-20 11:00

spark实现hadoop中获取文件名的功能

hadoop1版本中提供了获取文件名的功能，就是在map阶段可以获取每一行记录属于哪个文件，可以得到这个文件名，代码如下：//获取文件名 InputSplitinputSplit=(InputSplit
字母哥·2016-02-20 08:34

hadoop2 环境的搭建（手动HA）

1、手工切换ha的环境的搭建（比hadoop1多出来journalnode的配置）namenode：hadoop110和hadoop111datanode：hadoop112、hadoop113、hadoop114journalnode
菜七·2016-02-19 21:00

spark实现hadoop中获取文件名的功能

阅读更多hadoop1版本中提供了获取文件名的功能，就是在map阶段可以获取每一行记录属于哪个文件，可以得到这个文件名，代码如下：//获取文件名InputSplitinputSplit=(InputSplit
字母哥·2016-02-19 17:00

spark例子

1、Wordcount程序测试：进入spark-shell中valtext_file=sc.textFile("hdfs://hadoop1:8020/ai/README.txt")valcounts=
qq_16365849·2016-02-19 15:00

KVM虚拟化笔记（十六）------kvm到kvm（V2V）迁移

kvm到kvm虚拟化的迁移分为如下步骤：（一），在源主机上进行如下操作：（1），查看源kvm虚拟机hadoop1迁移到其他的虚拟主机上。
lqbyz·2016-02-14 17:07

KVM虚拟化笔记（十六）------kvm到kvm（V2V）迁移

kvm到kvm虚拟化的迁移分为如下步骤： （一），在源主机上进行如下操作： （1），查看源kvm虚拟机hadoop1迁移到其他的虚拟主机上。
lqbyz·2016-02-14 17:07

KVM虚拟化笔记（六）------kvm虚拟机的克隆

接下来我们一一进行测试：（一）kvm主机虚拟机的直接克隆1，查看虚拟机的配置文件和磁盘文件：[root@KVM qemu]# cat /etc/libvirt/qemu/hadoop1.xml    hadoop1
lqbyz·2016-02-04 15:56

KVM虚拟化笔记（六）------kvm虚拟机的克隆

接下来我们一一进行测试：（一）kvm主机虚拟机的直接克隆1，查看虚拟机的配置文件和磁盘文件：[root@KVM qemu]# cat /etc/libvirt/qemu/hadoop1.xml   hadoop1
lqbyz·2016-02-04 15:56

Hadoop 2.6.0 集群部署

配置文件不同，另外需要修改网络方面的配置首先，准备3台虚拟机，系统为CentOS6.6，其中一台为namenode剩余两台为datanode；修改主机名主节点为：hadoopha，数据节点主机名分别为hadoop1
自由的web·2016-01-25 16:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他