甘道夫

【甘道夫】并行化频繁模式挖掘算法FP Growth及其在Mahout下的命令使用

    今天调研了并行化频繁模式挖掘算法PFPGrowth及其在Mahout下的命令使用，简单记录下试验结果，供以后查阅：环境：Jdk1.7+ Hadoop2.2.0单机伪集群+ Mahout0.6（0.8和0.9版本都不包含该算法。Mahout0.6可以和Hadoop2.2.0和平共处有点意外orz）部分输入数据，输入数据一行代表一个购物篮：4750,19394,25651,6395,55922
u010967382·2014-06-17 18:00

【甘道夫】Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】

引言：前面转载过一篇团队兄弟【伊利丹】写的NNHA实验记录，我也基于他的环境实验了NNHA对于Client的透明性。本篇文章记录的是亲自配置NNHA的详细全过程，以及全面测试HA对客户端访问透明性的全过程，希望对大家有帮助。实验环境：Hadoop2.2.0的4节点集群，ZK节点3个（ZK节点数最好为奇数个），hosts文件和各节点角色分配如下：hosts：192.168.66.91master19
u010967382·2014-06-15 11:00

【甘道夫】NN HA 对于 Client 透明的实验

之前转载过一篇【伊利丹】写的NNHA实验记录，该博客描述了主备NN透明切换的过程，也就是说，当主NN挂掉后，自动将备NN切换为主NN了，Hadoop集群正常运行。今天我继续做了一个实验，目的是实现NN的切换不会对Client端程序造成影响，即NN切换对Client透明。首先，很重要的一点：要保证core-site.xml中的      fs.defaultFS    hdfs://hadoop-c
u010967382·2014-06-13 16:00

【甘道夫】Hadoop培训讲义

本人原创的Hadoop培训讲义，包括1.0,2.0相关核心理论知识，适合希望快速入门的同学阅读，不包括2.3.0版本以后知识。下载地址：http://download.csdn.net/detail/u010967382/7475515
u010967382·2014-06-10 11:00

【甘道夫】通过Mahout构建贝叶斯文本分类器案例详解

背景&目标：1、sport.tar是体育类的文章，一共有10个类别；  用这些原始材料构造一个体育类的文本分类器，并测试对比bayes和cbayes的效果；  记录分类器的构造过程和测试结果。2、user-sport.tar是用户浏览的文章，每个文件夹对应一个用户；  利用上题构造的文本分类器，计算每个用户浏览各类文章的占比；  记录计算过程和结果。实验环境：Hadoop-1.2.1Mahout0
u010967382·2014-05-09 10:00

【甘道夫】通过Mahout构建贝叶斯文本分类器案例详解

背景&目标：1、sport.tar是体育类的文章，一共有10个类别；  用这些原始材料构造一个体育类的文本分类器，并测试对比bayes和cbayes的效果；  记录分类器的构造过程和测试结果。2、user-sport.tar是用户浏览的文章，每个文件夹对应一个用户；  利用上题构造的文本分类器，计算每个用户浏览各类文章的占比；  记录计算过程和结果。实验环境：Hadoop-1.2.1Mahout0
u010967382·2014-05-09 10:00

【甘道夫】通过Mahout构建推荐系统--通过IDRescorer扩展评分规则

通过Mahout构建推荐系统时，如果我们需要加入某些过滤规则（比如：item的创建时间在一年以内），则需要用到IDRescorer接口，该接口源码如下：package org.apache.mahout.cf.taste.recommender;/** *  * A {@link Rescorer} which operates on {@code long} primitive IDs, rat
u010967382·2014-05-09 09:00

【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0

准备：确保hadoop2.2.0集群正常运行1.eclipse中建立java工程，导入hadoop2.2.0相关jar包2.在src根目录下拷入log4j.properties，通过log4j查看详细日志log4j.rootLogger=debug, stdout, Rlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appen
u010967382·2014-05-09 09:00

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件

目标：编译ApacheHadoop2.2.0在win7x64环境下的Eclipse插件环境：win7x64家庭普通版eclipse-jee-kepler-SR1-win32-x86_64.zipApacheAnt(TM)version1.8.4compiledonMay222012javaversion"1.7.0_45"参考文章：http://kangfoo.u.qiniudn.com/arti
u010967382·2014-05-09 09:00

【甘道夫】win7环境下eclipse连接hadoop1.2.1报错简单解决：重编译FileUtil.java

Win7环境下通过eclipse连接hadoop1.2.1集群时，会遇到如下报错：Exceptioninthread"main"java.io.IOException:Failedtosetpermissionsofpath:\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.stagingto0700此时只需要修改o
u010967382·2014-05-09 09:00

【甘道夫】info could only be replicated to 0 nodes, instead of 1

今天为了学习Mahout，部署了一个单机模式的Hadoop-1.2.1过程中logs/hadoop-casliyang-namenode-singlehadoop.log明显报错如下：2014-04-1515:44:03,124INFOorg.apache.hadoop.ipc.Server:IPCServerhandler2on9000,calladdBlock(/tmp/hadoop-casl
u010967382·2014-05-09 09:00

【甘道夫】Mapreduce实现矩阵乘法的算法思路

    大数据计算中经常会遇到矩阵乘法计算问题，所以Mapreduce实现矩阵乘法是重要的基础知识，下文我尽量用通俗的语言描述该算法。    1.首先回顾矩阵乘法基础     矩阵A和B可以相乘的前提是，A的列数和B的行数相同，因为乘法结果的矩阵C中每一个元素Cij，是A的第i行和B的第j列做点积运算的结果，参见下图：               2.进入正题     在了解了矩阵乘法规则后，我们
u010967382·2014-05-09 09:00

【甘道夫】拷贝文件到多台服务器的Shell脚本

在多机集群环境中，经常面临修改配置文件后拷贝到多台服务器的情况，传统的执行scp比较麻烦，所以写了以下shell脚本，可以将指定文件拷贝到多台机器。使用方法请参见HELP部分代码。
u010967382·2014-05-09 09:00

一点说明

本人在公司带领大数据团队，专为团队建了一个博客，在团队博客中化名【甘道夫】，博客地址为：http://blog.csdn.net/fulongfbi今后所有相关博客我均会在本博客和团队博客同时发表。
u010967382·2014-05-09 09:00

HOME

《霍比特人1：意外之旅》年轻，有礼貌的比尔博巴金斯意外的遇到了灰袍巫师甘道夫，开始了一段意外之旅，虽然喜欢探索的巴金斯对冒险有兴趣但是一直没有离开过自己的家乡，很珍惜现在的所有，他的餐巾，他母亲的嫁妆等
盛湘岚·2013-03-15 23:00

视频制作，影视编辑，特效制作，电影特技软件收集

许多电影特效都是由它完成:指环王中“甘道夫”放的那些“魔法礼花”还有“水马”冲垮“戒灵”的场面......后天中的龙卷风......2、IllusionAvid公司的Illusion是集电影特技、合成、
xiaokui_wingfly·2013-03-12 13:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他