Hadoop相关

MapReduce:详解Shuffle过程

最近在学习hadoop相关的原理性的东西，但是找了很久也没有能把mapreduce的整个执行过程能将的比较清楚的文章，下面这一片虽然讲解的并非非常详细，当时好歹也留下了一个概要的说明吧，先把这篇文章转过来
281824088·2014-07-20 12:18

MapReduce:详解Shuffle过程

最近在学习hadoop相关的原理性的东西，但是找了很久也没有能把mapreduce的整个执行过程能将的比较清楚的文章，下面这一片虽然讲解的并非非常详细，当时好歹也留下了一个概要的说明吧，先把这篇文章转过来
281824088·2014-07-20 12:18

MapReduce工作原理图文详解

前言：前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。
残风vs逝梦·2014-07-08 21:00

MapReduce工作原理图文详解

MapReduce工作原理图文详解前言：前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。
nysyxxg·2014-07-06 17:00

hadoop2.2.0 nodemanager启动后失败分析！！！

在安装好hadoop2.2.0集群后，依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。
仙剑奇侠·2014-04-16 22:00

转- MapReduce工作原理图文详解

前言： 前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。
myhadoop·2014-04-11 14:00

Ganglia 3.6.0 监控 Hadoop 2.2.0

一、hadoop相关配置HADOOP_PATH/etc/hadoop/目录下有两个配置文件：hadoop-me
Mrknowledge·2014-04-11 12:00

MapReduce工作原理图文详解

MapReduce工作原理图文详解前言：前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。
dpc27149·2014-04-10 18:04

Hadoop资源感知调度器

初学者和实践者，网址是：http://www.chinahadoop.cn/本博客微信公共账号：hadoop123（微信号为：hadoop-123），分享hadoop技术内幕，hadoop最新技术进展，发布hadoop
myhadoop·2014-04-03 23:00

如何编写Hadoop调度器

初学者和实践者，网址是：http://www.chinahadoop.cn/本博客微信公共账号：hadoop123（微信号为：hadoop-123），分享hadoop技术内幕，hadoop最新技术进展，发布hadoop
myhadoop·2014-04-03 23:00

云印刷项目在找你

程序员，数学专业，熟悉印刷业务优先考虑招聘条件：本科以上，有大型网站工作经验优先，党员优先技术要求：熟悉LINUX操作系统、PHP语言、JAVA语言熟悉MYSQL数据库、MONGODB、REDIS熟悉HADOOP
whyytong·2014-03-29 09:00

MapReduce工作原理图文详解

前言： 前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。
Flood_Dragon·2014-03-14 15:00

hadoop实例分析之WordCount单词统计分析

 WordCount单词统计分析 最近在网上看了hadoop相关资料以及单词计数的一个实例，结合网上的资料和自己的看法简要分析一下执行过程。
zwx19921215·2014-02-26 11:00

Hadoop云计算技术介绍

本文主要介绍Hadoop相关技术，涵盖了MapReduce算法思想、基本框架、运行流畅和编程粒度等内容。对其内容详细阅读
李航421·2014-01-16 10:00

Hadoop项目架构及与其他项目的结合关系

虽然Hadoop的核心内容是MapReduce和Hadoop分布式文件系统，但与Hadoop相关的Common、Avro、Chukwa、Hive、HBase等子项目也是不可或缺的。
wangjianno2·2014-01-11 21:00

Hadoop相关概念整理

1，Hadoop是一个实现了MapReduce计算模型的开源分布式并行编程框架。Hadoop目标是支持大的数据文件并且是以顺序读为主，以文件的读的吞吐量为目标，并结合与Mapreduce框架紧密结合2，Hadoop由HDFSMapReduceHbaseHive和Zookeeper组成，其中HDFS和ZooKeeper最重要成员。3，Hadoop的优点：扩容能力成本低高效率可靠性缺点：并发控制缓存一
追寻北极·2013-12-27 17:32

大数据之Linux服务器Java环境搭建

那么我今天就来为这三台机器分别搭建一套Java编译环境，为什么要搭建Java编译环境呢，因为往后我们要用的Hadoop相关的软件工具绝大多数都是跟Java相关的。
笑城戈·2013-12-25 12:00

Hadoop 2.2.0单机版安装

   以前对Hadoop有过一点了解，但没有深入，现在越来越感觉这东西挺有意思的，打算学习下，前两天买了两本Hadoop相关的书，先粗略的翻了下，今天就动手先把环境搭起来。   
时间在追我·2013-12-19 18:00

crontab 执行环境变量的问题

记录一下一个折磨我N天的crontab的问题问题是这样的我写了个php脚本run.php，脚本里面调用了一下hive命令(hadoop相关的东西)生成hive_result.txt，同时在hive命令执行前和执行后都会用
loveczp·2013-12-17 20:00

Hadoop学习笔记：Apache Hadoop生态系统

这里收集整理了跟Hadoop相关的Apache下的开源项目，以供后续分析研究。ApacheHadoopHadoop是一个大数据处理框架，它可用于从单台到数以千计的服务器集群的
gobitan·2013-12-09 21:00

Ironfan在大数据集群部署、配置管理中的应用

介绍在Serengeti中，有二个最重要最关键的功能：一是虚拟机管理，即在vCenter中为一个Hadoop集群创建和管理所需要的虚拟机；另一个是集群软件安装配置管理，即在已安装好操作系统的虚拟机上安装Hadoop
vBigData·2013-12-09 14:31

Ironfan在大数据集群部署、配置管理中的应用

介绍在Serengeti中，有二个最重要最关键的功能：一是虚拟机管理，即在vCenter中为一个Hadoop集群创建和管理所需要的虚拟机；另一个是集群软件安装配置管理，即在已安装好操作系统的虚拟机上安装Hadoop
vBigData·2013-12-09 14:31

hadoop经典系列(十一)性能分析实验初步

【试验目的】本试验目的是为了总结hadoop相关参数优化对性能的影响。
85977328·2013-12-03 13:00

hadoop经典系列(十一)性能分析实验初步

【试验目的】本试验目的是为了总结hadoop相关参数优化对性能的影响。
85977328·2013-12-03 13:00

hadoop经典系列(十一)性能分析实验初步

【试验目的】本试验目的是为了总结hadoop相关参数优化对性能的影响。
85977328·2013-12-03 13:00

Hadoop Streaming shell 脚本命令汇总

HadoopStreaming由于编程相对容易，开发效率比较快，在项目中比较采用这种方式进行JOB的开发，在提交JOB的时候，都会把相关的命令整合到一个shell文件，这里作个汇总，虽然现在没有机会做Hadoop
xyl520·2013-10-18 23:00

使用 Sqoop 使HDFS Informix 数据可以互相写入

1.下载sqoop-1.3.0-cdh3u6.tar.gz，实验中所有hadoop相关子项目都是cdh版，解压到指定目录。
huoyunshen88·2013-07-03 18:00

Cloudera manager free 的使用

Cloudera可以简化Hadoop的安装配置过程，自动在集群节点上安装hadoop相关组件，创建用户。所有机器上一定要安装好Perl包。
caozs·2013-06-17 10:34

Cloudera manager free 的使用

Cloudera可以简化Hadoop的安装配置过程，自动在集群节点上安装hadoop相关组件，创建用户。所有机器上一定要安装好Perl包。 
caozs·2013-06-17 10:34

在 CentOS 6.4上安装python

      想找一个Hadoop相关的工作，很多都需要熟悉Python或Linux Shall脚本的脚本，故决定开始学习python。
flyingdutchman·2013-06-12 13:00

Hadoop教程(三): MR重要运行参数

JobConfigurationJobConf是MR任务的配置对象，也是描述MR任务在Mapreduce框架中如何执行的主要途径，框架将如实的以该对象包含的信息来执行MR任务，但要注意以下特殊情况：一些配置参数被管理员在hadoop
roycewong·2013-06-03 00:00

Hadoop教程(三): MR重要运行参数

JobConfigurationJobConf是MR任务的配置对象，也是描述MR任务在Mapreduce框架中如何执行的主要途径，框架将如实的以该对象包含的信息来执行MR任务，但要注意以下特殊情况：一些配置参数被管理员在hadoop
roycewong·2013-06-02 16:00

Hadoop运维记录系列(二)

摘要:下周准备去某地做Hadoop相关的技术培训，主要负责讲解Hadoop的安装部署和运维部分，赶制了一份PPT，将平时工作中遇到的问题也提取了一下，希望能对Hadoop运维相关人员有所帮助，算是个补上的运维记录吧
caodaoxi·2013-05-23 09:00

hive使用（1）

     最近学习hadoop相关的知识，今天在安装hive的时候，发现一个问题。
bigdata.len·2013-05-14 15:00

HBASE松散数据存储设计初识

最近关注Hadoop，因此也顺便关注了一下Hadoop相关的项目。HBASE就是基于Hadoop的一个开源项目，也是对Google的BigTable的一种实现。       BigTable是什么？
wxyFighting·2013-05-07 09:00

hadoop相关(以期为单位）

学习Hadoop不错的系列文章1）Hadoop学习总结（1）HDFS简介地址：http://forfuture1978.iteye.com/blog/615033（2）HDFS读写过程解析地址：http://blog.csdn.net/forfuture1978/article/details/6001302（3）Map-Reduce入门地址：http://blog.csdn.net/forfut
anhuidelinger·2013-04-29 08:00

hadoop相关知识

关键字：hadoop相关知识 相关视频： http://www.17hadoop.com/ziyuanxiazai/119.html 此hadoop视频，主要介绍了hadoop
zhaoshijie·2013-04-19 16:00

Hadoop相关子项目整理

PigHadoop客户端使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce作业上传到集群运行，减少用户编写java程序的烦恼三种运行方式：GruntShell，脚本方式，嵌入式 HbaseGoogleBigtable的开源实现列式数据库可集群化可以使用shell、we
lskyne·2013-04-02 17:00

hadoop相关参数对集群的影响

随着HBase的上线带来了一些问题，在调整原来参数的过程中，影响到了之前相关任务的执行过程其中就有个参数：mapred.reduce.parallel.copies 当初上线的时候，设置是20。由于后面在对hbase做相关批量导入数据时，将此值修改成6。然后脚本在运行时在reduce阶段，ReadtimeOut的超时现象。 
chenyi8888·2013-03-21 16:00

MapReduce工作原理图文详解

前言：前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。
luyee2010·2013-02-28 18:00

Hadoop相关技术

Apache的Hadoop是什么？Apache的Hadoop项目™®开发出可靠的，可扩展的，分布式计算的开源软件。Apache的Hadoop的软件库是一个框架，允许大型数据集通过计算机集群使用简单的编程模型，进行分布式处理。它的设计规模从单一服务器到数千台计算机，每个提供本地计算和存储。软件库是用来检测和处理应用层失败的，而不是依靠硬件提供高的有效度，因此在计算机集群上提供高度可用性服务，其中每个
xieyun1977·2013-02-18 09:00

Hadoop相关部署二：Hive安装部署

1.1  解压缩Hive 将Hive的tar包解压到/opt目录下： tar –zxvf hive-0.7.1-cdh3u3.tar.gz 解压缩后的Hive目录如下： 其中bin目录下是一些可执行的脚本文件，在conf下是相关的配置文件，也是我们要修改的主要地方，lib下是一些相关的jar包，包括mysql的连接包、hbase的包等都会放到lib下。 将Hive的安装路径添加
joerong666·2013-01-29 17:00

hadoop-1.1.1 eclipse插件编译

  在ubuntu上进行hadoop相关的开发，需要在eclipse上安装hadoop开发插件。
sxfcct·2013-01-09 16:00

RHADOOP 初试

环境安装可以参考以下文章:http://chen.yi.bo.blog.163.com/blog/static/1506211092012720111910827/注意事项：1.环境变量设置：另外需要配置Hadoop
只是因为你·2013-01-06 11:00

Hadoop相关的考题

//Hadoop基础 Doug Cutting所创立的项目的名称都受到其家人的启发，以下项目不是由他创立的项目是 A．    Hadoop B．    Nutch C．    Lucene D．    Solr 答案：D 配置Hadoop时，JAVA_HOME包含在哪一个配置文
·2013-01-05 19:00

从几个角度看hadoop相关参数优化

HDFS文件系统调优 1、系统角度             存储方式，NameNode采用raid1+0，DataNode采用磁盘组JBOD方式               在顺序读文件的场景中，比如mapreduce，可以调整文件系统预读缓存的大小。              文件挂载设置noaptime、nodiratime，提升文件系统的性能2、hdfs的参数优化            df
yangbutao·2012-12-31 11:00

Hadoop相关的考题

//Hadoop基础DougCutting所创立的项目的名称都受到其家人的启发，以下项目不是由他创立的项目是A．HadoopB．NutchC．LuceneD．Solr答案：D配置Hadoop时，JAVA_HOME包含在哪一个配置文件中A．hadoop-default.xmlB．hadoop-env.shC．hadoop-site.xmlD．configuration.xsl答案：B知识点：hado
michael_zhu_2004·2012-12-19 11:04

2012年度十大杰出IT博客之 向磊

按说我应该是个程序员，但其实我平时工作中挺跨界的，目前在暴风影音从事Hadoop相关的开发和运维工作。服务器排障
IT博客大赛·2012-12-18 10:46

HDFS读书笔记-总体介绍（一）

原文地址，点我一直以来对hadoop相关系列的学习都是较为零散的，不成体系。没有经过自己总结和沉淀的资料也很难长久的消化和在工作中实际运用。故而也希望通过这样系列的方式对所学习，所了解的资料进行总结。
youzai24·2012-12-17 10:00

Hadoop运维记录系列(二)

下周准备去某地做Hadoop相关的技术培训，主要负责讲解Hadoop的安装部署和运维部分，赶制了一份PPT，将平时工作中遇到的问题也提取了一下，希望能对Hadoop运维相关人员有所帮助，算是个补上的运维记录吧
Slaytanic·2012-12-09 01:50
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他